여기서 인간이 알 수 없는 것은 인공신경망이 현재 바둑판에서의 승산 및 다음 착수점 확률 분포를 계산하는데 사용한 계수값들의 의미입니다. 이러한 계수값들은 수십억 번의 훈련에 의해서 자동으로 그 값을 가지도록 조정되었기 때문에 왜 그런 값들을 가지게 되는지는 꽤나 설명하기 힘들 것입니다. 

인간으로 비유한다면, 뇌 신경 세포간의 연결 구조 및 연결 강도가 왜 그렇게 되어 있는지 설명하는 것과 비슷한 일이 될 것입니다. 그러나 보통은 그러한 연결 구조 및 강도에 대한 설명 없이도 인간(타인)의 사고를 어느 정도 이해하는 것이 가능하다고 보지 않습니까? 더구나 알파고의 경우 사고의 중간 단계를 면밀하게 관찰할 수 있기에 그 정도면 알파고의 생각을 이해한다고 봐도 좋지 않을까 싶습니다.

2. 알파고가 인간에 비해 매우 강함에도 생각보다 작은 차이로 이기는 이유는 무엇일까?

"알파고는 99퍼센트의 확률로 100집 차이로 이기는 것보다 100퍼센트의 확률로 1집 차이로 이기는 것을 선호하기 때문이다."
알파고의 인공신경망 훈련에서 몇 집 차이로 이기느냐와 상관 없이 승/패에 따라서 계수값 조정이 이루어졌기 때문에 이 설명도 분명 맞다고 생각합니다. 어쨌든 알파고의 인공신경망은 몇 집을 이기느냐와 관계 없이 승률이 조금이라도 높은 쪽을 선택하도록 훈련되었기 때문이죠. 그런데 인공신경망 훈련 방법 뿐이 아니라 프로그램에서 사용한 알고리즘에서도 이에 대한 원인을 찾을 수 있지 않을까 합니다.

알파고는 다음 착수점을 결정하기 위해 몬테카를로 트리 탐색을 사용하는데, 이 때 상대도 자신과 같은 수준의 사고를 한다고 가정하여 수읽기를 진행합니다. 즉 상대방도 자신(알파고)이 생각할 수 있는 최선의 수를 사용하여 대응한다는 가정 하에 자신의 수를 탐색하는데, 이는 인간 최고수와 알파고의 실력차이가 꽤 나는 지금의 상황에서는 지나치게 엄격한 것이죠. 알파고는 그러한 엄격한 상황에서 바둑을 두기 때문에 싸움에서 큰 이득을 못보고 작은 차이로 이기는 결과가 나오는 것이 아닌가 하는 생각도 듭니다. 사실 알파고의 몬테카를로 트리 탐색 알고리즘을 제가 완벽하게 이해하지 못했고(논문만 봐서는 잘 모르겠네요. 실제 코드를 봐야...) 바둑에 대해서도 잘 모르기 때문에 이 부분은 잘못된 망상일 가능성이 있습니다만, 그렇다고 알파고가 일부러 인간을 봐주고 있다든가 하는 생각은 전혀 들지 않습니다. 기계는 늘 최선을 다할 뿐입니다.

만약 바둑 고수가 아닌 바둑 룰도 모르는 평범한 인간과 알파고의 대국을 시키되, 인간측이 돌을 먼저 여러 개 놓고 하는 접바둑을 둔다면 의외로 알파고가 초반에 패배선언을 할 수도 있다고 봅니다. 평범한 인간이 상대라고 하더라도 자신와 동등한 상대로 생각하고 승률 계산을 할 터인데 돌을 몇 개씩이나 먼저 두고 시작한다면 초반부터 패배 확률이 지나치게 높게 나올 가능성이 있을 수 있습니다. 물론 이는 딥마인드측에서 패배 조건을 좀 더 엄격하게 하거나, 시작 후 몇십 턴 이내의 패배선언은 금지하는 안전장치를 프로그램에 만들어두면 나오지 않을 상황이긴 합니다.

3. 완벽하게 안전한 인공지능은 가능할 것인가?

미래에 인공지능이 바둑에 그치지 않고 가사, 운전, 전투 등 훨씬 복잡한 판단이 필요한 분야로 퍼져나갈 경우 분명 인간이 원하지 않았던 행동을 할 여지도 있을 것입니다. 인간에게 무해한 인공지능을 만드는 것이 과연 가능할까요? SF소설가 아이작 아시모프가 제창한 "로봇공학 3원칙"은 다음과 같습니다.

제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 그리고 위험에 처한 인간을 모른 척해서도 안 된다.
제2원칙: 제1원칙에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야 한다.
제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은 로봇 자신을 지켜야 한다.

꼭 이와 동일한 원칙이 아니더라도 안전 장치는 필요할 것입니다. 여기서는 일단 알파고처럼 인공신경망에 기반한 인공지능만을 생각해보고자 합니다. 인공신경망에 안전한 원칙들이 들어가도록 "프로그래밍"할 수는 없기 때문에, 인공신경망을 제어하는 프로그램에 이 원칙을 넣거나 인공신경망 자체가 이러한 원칙을 지키도록 "훈련"시켜야 할 것입니다. 그런데 알파고보다 훨씬 복잡한 일을 수행하는 인공지능에서 과연 이러한 추상적인 프로그램이 가능할 지 의문이며(그러기 위해서는 인공신경망을 제어하는 프로그램 자체도 결국 인공지능에 가까워야 할 것입니다.), 인공신경망이 이러한 원칙을 완벽하게 지킬 수 있도록 훈련시킬 수 있을까 하는 것도 의문이 듭니다. 이런 이유로 절대적으로 안전한 인공지능은 힘들다고 생각됩니다.

또한 범용 로봇에서 이러한 제어 프로그램이 여러 개의 인공신경망 - 바둑 인공신경망, 운전 인공신경망, 가사 인공신경망 등을 관리하는 상황도 상상해볼 수 있습니다. 그러다가 과학적인 호기심과 기타 이유로 여러 개의 인공신경망을 하나로 합치는 과정에서 인공신경망이 창발적인 사고(자아?) 비슷한 것을 가지게 될 가능성도 있지 않을까 합니다. 그런 상황에서는 인공신경망이 제어 프로그램의 감시를 피해 원하는 바를 추구하는 다소 SF소설같은 전개도 그려볼 수 있지 않을까요.

마지막 망상입니다만, 인공신경망을 이용하는 인공지능이 대중화될 경우 로봇 심리학자라는 직업이 생겨날 수도 있다고 봅니다. 인공지능이 기대와 다른 행동을 했을 경우 왜 그러한 행동을 하게 되었는지 분석할 필요가 있을 것입니다. 그런데 인공신경망은 기존의 프로그램과는 달리 인간의 뇌를 훨씬 많이 닮았기에, 이를 디버깅하기 위해서는 정신과 의사와 같은 접근 방법이 필요할 수도 있다고 생각합니다. 이 글을 쓰다보니 마치 블레이드 러너에서 바운티 헌터들이 레플리컨트들를 인간과 구별하기 위해 이상한 질문들을 던지던 상황이 연상되네요. 인공지능에게 적당한 질문을 던지고 인공신경망의 출력값들을 모니터로 확인하면서 인공지능의 심리상태를 체크하는 기계 심리학자의 모습을 상상해봅니다.