:: 연결주의와 초지능 ::

서론

연결주의와 초지능에 대해서 제 나름의 생각을 공개할 수 있는 선에서 조금 이야기해볼까 합니다. 먼저 관련하여 철학적인 얘기를 서론에 언급하면서 시작해보겠습니다.

저는 자유주의자이고, 다원주의자이며, 연결주의자입니다. 자율성, 다양성, 연결성을 높이 여깁니다. 이는 가치관이자 세계관이자 방법론이기도 합니다. 이런 생각이 형성된 여러 원인이 있습니다.

그중 하나는 재레드 다이아몬드 교수의 <총, 균, 쇠>입니다. 그 책을 읽고, 다양성과 연결성의 중요성을 깨달았습니다. 아프리카나 아메리카가 발전하지 못한 이유는, 연결이 끊겨 있었고, 가축이나 곡물의 다양성이 부족했기 때문이었습니다. 즉 씨앗의 다양성이 부족했기 때문이고, 부족한 이유는 지리상 연결이 끊겨 있었기 때문입니다. 우리나라가 경제적으로 부흥할 수 있었던 주요 이유 중 하나는 해안이 많은 반도국이었기 때문이었을 것입니다. 무역을 하려면 상선을 보호할 군사가 필요한데, 군사적으로는 미군의 보호가 있고, 지리적으로는 해안을 갖추고 있습니다. 몽골은 연결성이 떨어져서 발전하기 힘든 것과 대조적입니다.

자유주의는 주로 권위주의의 반대말로 등장합니다. 이를테면 군사독재는 권위주의입니다. 그건 곧 매우 진보적인 성향이 있다는 걸 의미할 것입니다. 원래 진보는 자유죠. 보수는 전통이고요. 권위주의에 반동적 성격을 갖게 된 것은, 개인적인 경험적 맥락도 있습니다. 저는 자유가 매우 중요한 가치라 봅니다. 자유가 없다면, 인간존중이라 할 수도 없습니다. 저는 자유주의자입니다.

그러나 자율성과 다양성과 연결성에도 문제는 있습니다. 그 허점을 인식하고, 반대항을 어느 정도 긍정하려 해왔습니다. 예를 들어 철도 간격을 다양하게 만드는 건 곤란합니다. 표준화 즉 획일화를 해야 합니다. 그리고 권위의 강력한 효용 중 하나는 시간입니다. 권위는 시간을 절약하는 좋은 방법이 됩니다. 군대가 권위적이어야 하는 결정적인 이유는, 군대는 신속해야 하기 때문이겠지요. 연결이 가치있지만, 때로는 고립도 필요합니다. 마다가스카르의 예처럼, 섬에서 다양성이 나오는 수도 있습니다. 지구를 교통망과 통신망을 놓고 연결주의적 관점에서 해석하는것도 상당히 중요한 관점이라 봅니다. 전통적인 관점은 국가를 덩어리로 보는 것인데, 연결주의 관점은 도시간 네트워크라 보는 것입니다. 도시 내부도 네트워크로 해석합니다. 세계를 이해함에 있어서, 덩어리와 네트워크, 두 관점 모두 필요합니다. 관련하여 제프리 웨스트의 <스케일>이란 책이 있습니다. 복잡계 연구는 상당히 가치있는 거라 생각합니다. 아마도 샘 알트만은 복잡계 연구와 창발성에 대해 읽어봤을 것입니다. 그렇다면 스케일의 제약조건도 접해봤을 텐데, 이에 대해 언급하는 걸 들어본 적은 없습니다. hype을 일으켜야 하는 기업가로서, 일부분을 침묵한 것 아닐까 싶습니다.

본론

서론은 이쯤하고, 연결주의에 대해서 이야기해볼까 합니다. 그 옛날 증기기관과 화석연료에 의한, 산업혁명처럼, 오늘날 중대한 변화가 생기고 있습니다. 지능혁명입니다. 인공지능이 경이로운 결과를 내면서, 세상을 뒤흔드려 하고 있습니다. 인공지능의 역사는, 컴퓨터의 역사와 거의 유사합니다. 앨런 튜링을 기준으로 잡자면 이렇습니다.

튜링의 컴퓨터 논문이 1936년입니다.
튜링의 인공지능 논문이 1948년입니다.

거의 함께 해온 것입니다. 그런데 그동안 인공지능은 주로 인간이 일일이 알고리즘을 한땀한땀 설계한 것이었습니다. 이를 전통적인 인공지능이라 부를 수 있습니다. 오늘날 인공지능은 그렇게 하지 않습니다. 그 핵심이 매우 단순합니다. 연결주의 인공지능이라 부릅니다. 그 대표적인 인물로 제프리 힌튼 교수가 있습니다. 튜링상과 노벨상을 탄 분이죠. 딥러닝의 아버지라 불리기도 합니다.

전통적인 인공지능을 대표하는 인물은, 마빈 민스키 교수입니다. 저는 그분의 책을 읽어본 적이 있습니다. <마음의 사회>란 책입니다. 한 두페이지에 걸쳐, 하나의 알고리즘 내지 하나의 지능에 대한 이해를 백과사전식으로 소개한 두꺼운 책이었던 걸로 기억합니다. 그걸 읽으면, 마치 일일이 다양한 것들을 설계해서 정교하게 조립해야만 마음을 모방할 수 있는 것으로 생각됩니다.

앨런 튜링의 논문은 연결주의 인공지능이었습니다. 튜링 이전에도 퍼셉트론이란 뉴런을 모방한 인공지능 논문이 있었습니다. 연결주의는 인공지능 역사 초기부터 있었습니다. 그러나 흥한 것은, 전통적인 인공지능이었죠. 그 결정적 이유는 컴퓨팅 자원이 부족했기 때문입니다. 그동안 인공지능은 반도체와 GPU가 발전하길 기다려온 것입니다. 그리고 빅데이터가 쌓이길 기다려온 것입니다.

연결주의 인공지능 역사에는 일본도 있었던 걸로 압니다. 후쿠시마 쿠니히코(1936')란 학자가 있습니다. 오늘날 메타의 얀 르쿤 교수의 업적이죠. CNN과 유사한 걸 오래 전에 연구해낸 걸로 압니다. 일본이 호황일 때, 인공지능 연구에 있어 선두에 있었던 걸로 압니다. 그때는 컴퓨팅 파워가 뛰어나지 않았습니다. 지능 알고리즘 연구가 먼저 앞서고, 컴퓨팅파워는 수십년 뒤쳐져서 따라오다보니, GPU가 갖춰진 시점에서 성취를 해낸 연구란게, 알고보면 수십년전에 이미 떠올린 아이디어인 경우가 많은 듯합니다. 이에 거론되는 학자 중 한 명은 슈미트후버(1963')라는 독일인입니다. 트랜스포머와 유사한 걸 1991년에 fast와 slow의 조합이란 개념으로 만든적이 있습니다. 일본도 독일도 오늘날에는 인공지능 선두가 아니죠. 돈많은 미국과 중국이 현저한 선두에 있습니다. 캐나다인인 제프리 힌튼 교수(1947')도 주요한 아이디어들을 이미 수십년전에 해놓고 있었던 듯합니다. 컴퓨팅 파워를 기다리고 있었던 거라 역사적으로 해석할 수 있습니다.

연결주의는 단순하지만, 대신 데이터가 많이 필요합니다. 연결주의는 많은 메모리를 차지하고 있고, 그 메모리들을 학습시키기 위해, 많은 데이터가 필요합니다. 메모리 덩어리에 데이터를 부어서, 그 데이터들에 메모리가 적응하게 만드는게, 연결주의 인공지능의 학습 메커니즘이라 할 수 있습니다.

물론 오늘날 AI가 그저 단순한 연결망이기만 한 건 아닙니다. 그 주변에 여러가지 것들이 부착되어 있습니다. 그러나 그것들은 본질적인 거라 할 수 없습니다. 아마 반론이 나오겠지만, 길어지니 논증은 하지 않고 주장만 하겠습니다. 결국은 연결망입니다. 그리고 그 핵심은 GPU에서의 행렬연산입니다. 연결은 수학적으로 곱셈과 덧셈으로 처리될 수 있습니다. 대량의 연결을 함께 처리하면, 그게 행렬입니다. 그외 비선형성, 경사하강, 정규화 등 기술적으로 여러가지가 들어가지만, 핵심은 행렬입니다. 핵심은 연결망의 단순한 연산입니다. 연결은 곱셈으로 처리되고, 여러 연결을 종합할 때에는 덧셈으로 처리됩니다. 그거 하는데 많은 반도체가 들어가고 있고, 많은 전력이 들어가고 있습니다.

알파고도 그렇고, 챗GPT도 그렇습니다. 알파폴드도 그렇고, 나노 바나나도 그렇습니다. 그것은 연결망입니다. 이번에 노벨물리학상과 노벨화학상은 모두 연결주의입니다. 홉필드넷도 볼츠만머신도 알파폴드도 연결주의 인공지능입니다.

여기서 주목해야 할 것은, 이것은 매우 단순한 거란 것입니다. 단순하기 때문에 규모를 키우기가 좋습니다. 복잡하면 규모를 키우기 어렵습니다. 단순합니다. 단순한데 어떻게 놀라운 일을 벌이는 걸까요? — 이 부분을 의아스럽게 생각해야 할 것입니다. 그리고 그것은 자연스럽게 다음 질문으로 이어지게 됩니다.

'초지능도 설마 단순한 거 아닐까?'

뭐 대단히 복잡한게 필요하다면야, 인류가 그걸 못 알아내고 1백년, 2백년, 5백년을 허비하게 될 수 있을 것입니다. 단순하다면 초지능도 임박했다는 의미가 되겠지요.

초지능의 기준이 무엇인지 문제됩니다. 초지능은 흔히 ASI라 불립니다. 이와 구별하여 AGI도 있습니다. 그런데 AGI와 ASI의 기준이 무엇인지는 사람마다 다릅니다. 여러 기준이 가능합니다. 제 개인적인 의견을 붙여서 이야기해보자면 이렇습니다.

AGI의 기준으로 두 가지를 생각해볼 수 있습니다.

AGI의 G는 general입니다. 일반지능이란 얘기인데, 그건 곧 이것저것 다 해낼 수 있다는 의미입니다. 그리고 흔히 인간 수준의 능력을 가리킵니다. 인간이 할 수 있는 일은 인공지능도 할 수 있더라. 한 분야만 아니라, 거의 모든 분야에서 그렇다더라. 거의 모든 활동에 있어서 그렇다더라. 그러면 이 기준에서는 AGI입니다.

저는 다른 기준으로도 볼 필요가 있다고 생각합니다. 경제적 기준으로 AGI인지를 나누는 것입니다. 경제적으로 막대한 변화를 일으킨다면 AGI입니다. 그것이 왜 AGI인가 하면, 그때는 대부분의 사람들이 AGI임을 받아들일 것이기 때문입니다. 보통의 사람들은 내부 알고리즘이나 지능의 본질을 놓고 AGI인지 판단하지 않고, 경제적 충격으로 AGI를 인정하고 납득하게 될 것입니다.

AGI, 인간 수준의 일반적인 지능을 경계로 보는게 의미있는 이유는 제 생각에 두 가지인 듯합니다. 인간의 일을 대체하게 될 수 있다는 점에서 의미가 있습니다. 그리고 인간이 지금까지 생성해온 데이터를 학습하면 기대할 수 있는 일이라는 점에서 의미가 있습니다. 인간보다 더 뛰어난 존재가 만들어낸 데이터는 없습니다.

ASI도 기준을 두 가지로 나눠볼 수 있습니다.

ASI의 S는 super입니다. 즉 인간을 뛰어넘는 인공지능이란 얘기입니다. 바둑에는 이미 ASI가 있습니다. 알파고와 알파제로죠. 그 능력을 놓고 볼 때, 초지능입니다. 바둑은 심지어 인간이 생성한 데이터 없이도 초지능에 이르렀습니다. 원래는 바둑기보를 학습했었는데, 그것 없이도 더 뛰어난 능력을 갖게 되었죠.

인간을 뛰어넘으려면, 인간이 생성한 데이터의 한계를 넘어서야 할 것입니다. 인간의 데이터에만 의존해서는 초지능이 되기 곤란합니다. 그러기 위해서 떠올릴 수 있는, 대표적인 두 가지 전략이 있습니다. 첫째는 인공지능이 직접 경험을 통해서 데이터를 습득하는 것입니다. 알파고가 그 예이죠. 얼마 전에 구글에서 게임 시뮬레이션과 유사한 걸 발표했습니다. 가상환경을 AI가 생성해내고, 그 안에서 인간이 간단한 상하좌우 컨트롤을 하는 것이었습니다.

인공지능이 직접 경험을 통해 학습한다는 것은 다시 크게 둘로 나눌 수 있습니다. 구글이 하는 것처럼, 가상의 세계를 만들어놓고, 그안에서 경험하게 하는 것입니다. 구글은 이런 시도를 오래전부터 해온 걸로 압니다. 인공지능은 가상으로 세상을 만들어낼 수 있습니다. 구글은 유튜브가 있죠. 자료가 엄청나게 많습니다. 그걸로 생성형 AI로 돌리면, 가상환경을 만들 수 있을 것입니다. 가상환경을 게임처럼 미리 만들어놓는게 아니라, 그때그때 새롭게 생성되도록 만들 수 있을 것입니다. 그리고 마치 인셉션의 꿈처럼, 사용자가 그 가상환경이 어떻게 변화되었으면 좋겠는지를 받아서, 그대로 만들어줄 수도 있을 것입니다. 그런 곳에서, 인공지능은 알파고처럼 경험을 쌓을 수 있습니다. 1달 전에 렉스 프리드만 팟캐스트에 하사비스가 나와서, 게임과 인공지능 미래에 대해 이야기한 적이 있습니다. 그는 게임에 대해서도 진정성을 갖고 있는 인물인 듯합니다.

또다른 하나는 실제 세계에서 인공지능이 데이터를 습득하고 학습하는 것입니다. 그 대표적인 곳은 테슬라라 할 수 있습니다. 자동차가 다니면서 데이터를 습득합니다. 자율주행차를 만든다는 것은 곧, 인공지능이 실제 세계의 데이터를 대량으로 습득해서, 그걸 가지고 학습한다는 의미일 것입니다. 뿐만 아니라 일론 머스크의 구상은, 로봇까지 만들어서 실제 세계의 데이터들을 모으려는 것인 듯합니다. 구글과 다르죠. 구글 딥마인드의 데미스 하사비스는 게임 개발자 출신입니다. 그는 가상환경의 게임을 만들어본 적이 있습니다. 반면에 일론 머스크는 제조업을 해온 인물입니다. 자율주행 자동차, 테슬라봇, 스타링크, SNS, 그리고 어쩌면 훗날 뉴럴링크까지. 그것은 데이터를 생산합니다. 여담이지만, 혹시 일론 머스크는 지구정복이라도 꿈꾸고 있는 거 아닐까 하는 생각이 듭니다. 기업 데이터를 다루는 팔란티어와도 인맥으로 엮여있는 걸로 아는데요.

이렇게 인공지능이 경험을 통해서 학습하고, 이를통해 초지능에 이를 가능성이 있습니다. 특히 구글을 과소평가해선 안 된다고 봅니다. 구글에는 과학자적 역량을 가진 연구원들이 많은 걸로 압니다. 기술자 위주의 오픈AI나 일론 머스크 팀과는 다릅니다.

그리고 초지능으로 가는 또다른 돌파구는 조합론적 탐색입니다. 이것은, 컴퓨팅 자원을 대량으로 써서 공리들을 조합하여 여러 경우를 탐색해보고 답을 찾는 거라 할 수 있습니다. 현재 지식의 경계선으로부터, 환각이든 가설이든 무엇이든, 생성해봅니다. 그리고 그것이 맞는지 검토해봅니다. 검증을 어떻게 할 수 있는지도 까다로운 문제인데, 만약 생성과 검증을 자동으로 해낼 수만 있다면, 인간을 뛰어넘을 수 있을 것입니다. 이때 생성과 검증 중 일부를, 전통적인 인공지능이 담당할 수도 있습니다. 아무튼 인간이 끼여들지 않고, 인공지능으로 다 처리해서, 생성과 검증을 해보면 됩니다. 이는 일종의 노가다라 할 수 있습니다. 노가다이긴 한데, 컴퓨팅 파워가 대단하니, brutal force 강제로 밀어부쳐보는 것입니다. 그러다가 인간이 풀지 못한 문제를 풀어내는 수가 있을 것입니다. 바둑의 경우에도, 인간이 두지 않을만한 수도, 인공지능은 둬보고 경험을 쌓았을 것입니다.

수학적 관점에서 문제풀이는 다음과 같이 말할 수 있습니다. 공리가 있습니다. 참이라 간주하는 공리들이 있습니다. 그걸 가지고 문제를 푸는게, 흔한 수학문제입니다. 그 공리들을 잘 조합해서 답에 도달하면 됩니다. 그런데 경우의 수가 너무 많다면, 제한된 시간내에 시도할 수 있는게 많지 않을 것입니다. 이때 공리들을 어떻게 조합해야 가능성이 높을지를 직관해내는 능력을 가진 사람이, 수학 문제를 잘 풀어낼 것입니다. 이를 선택직관이라 부를 수 있습니다. 그런데 컴퓨팅 파워가 대단하면, 매우 많은 경우의 수를 시도해볼 수 있을 것입니다.

선택직관 외에 또다른 하나가 있으니, 공리 자체를 새롭게 만들어내는 것입니다. 이는 생성직관이라 할 수 있을 것입니다. 무엇을 참이라 간주하면 좋을지를 결정하는 것입니다. 이것은 수학 자체를 새롭게 만드는 것에 해당합니다만, 그와 유사한 것을 이미 결정된 공리계 내에서도 할 수 있습니다. 공리로부터 유도하지 않고, 정리를 결정하는 것입니다. 아직 참이라 증명되지 않은 걸 일단 참이라 간주하고, 풀어보는 것입니다. 이때 무엇을 참이라 간주할 것인지 직관적인 선택이 가능할 것입니다.

비유하자면 이런 겁니다. 미로찾기가 있습니다. A가 입구이고, B가 출구입니다. 그러면 풀이방법은 2가지가 있습니다. 하나는 입구에서 시작해서 출구에 도착하는 것입니다. 다른 하나는 출구에서 시작해서 입구에 도착하는 것입니다. 미로는 가역성이란 특성이 있으니, 거꾸로 해서 길을 찾았다면, 똑바로 할 때에도 길을 알아낸 거라 할 수 있습니다. 입구에서 출구로 혹은 출구에서 입구로. 그런데 3번째 방법이 있으니, 마치 낙하산 떨어지는 느낌으로 중간에 어느 지점 C를 딱 찍고, C에서 출구로 가는 길을 찾아내는 것입니다. 그리고 C에서 입구로 가는 길도 찾아내는 것입니다. 둘다 찾았다면, 입구에서 출구로 가는 길도 찾아낸 것입니다. A → C → B로 가면 됩니다. 애초에 C를 찍었을 때, 이는 참이라 간주한 것에 해당합니다. 공리 axiom로부터 비롯되어 참이 되는 것을 정리 theorem라 합니다. C는 theorem인 것입니다. 애초에 미로에서 그 C를 찍었을 때, 그게 만약 맞다면, 경우의 수를 크게 줄일 수 있습니다. (참고로 알파고도 ACB 구조로 해석할 수 있다고 봅니다. 다만 확률적입니다.)

실제 인간은 이런 식으로 많은 걸 판단합니다. 확고히 참이라 인정되는 근본적인 것부터 시작하는게 아니라, 적당한 것에서부터 그걸 참이라 간주하고 생각을 진행해서 결론에 도달합니다. 그리고 대개 그런게 유용합니다. 잘 들어맞습니다. 그러나 그 C가 공리로부터 참이라 인정되는 정리가 아닐 수 있습니다. C는 고정관념 즉 편견에 불과한 것일 수도 있습니다. 그렇더라도 사실 별 문제가 없는 경우가 많습니다. 왜냐하면 남들도 그 편견을 갖고 있기 때문이죠. 나만 틀린게 아니라, 남들도 틀렸을 때, 사회적으로는 별 문제없이 지나갈 수 있는 경우가 많습니다. 오히려 남들은 다 틀렸는데, 나만 맞았을 때, 그걸 말했다가 인디언밥 당하는 수가 있습니다. 누군가는 팔꿈치로 찍으려 할 것입니다. 집단적 편견은 대개 안전합니다. 안전하기 때문에, 잘 안 바뀝니다.

인간은 대부분 A → C는 아예 구하지도 않고, C → B로 결론을 내릴 것입니다. 그러나 컴퓨터는 두 경로를 병렬로 함께 찾을 수 있습니다. C가 없을 때보다 경우의 수가 크게 줄어듭니다. 컴퓨터도 A → C를 생략해버리는 수도 있을 것입니다. 일단 B라는 답을 구하면, 그것이 참인지 거짓인지를 검증하기는 쉬운 일인 경우 그렇습니다. 참이 되는 C를 떠올리고, 그것으로부터 결론을 내리면, 쉽게 검증을 해볼 수 있습니다. (참고: 이와 관련된 컴퓨터과학 용어로 'NP 문제'가 있습니다.)

아무튼 그런데 C가 집단적 편견이 아니라, 통찰에 의하는 수도 있을 것입니다. 어떤 직관에 따라서, 이것이 참일 가능성이 매우 크다는 느낌이 들 수 있을 것입니다. 특히 경험을 많이 쌓았다면 그럴 수 있을 것입니다. 그게 꽤 잘 맞을 때가 많을 것입니다. 인공지능도 많은 경험을 쌓고 그런 걸 알아낼 수 있다면, 인공지능은 단지 컴퓨팅파워에만 의존하여 새로운 걸 탐색하는게 아니라, 그 너머의 능력을 발휘하게 되는 거라 할 수 있을 것입니다. 그리고 아마도 그게 어느 수준을 넘어서면, 아예 공리 자체를 새롭게 만들어낼 가능성도 있을 것입니다. 그건 곧 '새로운 물리학'을 만들어낼 수도 있다는 의미가 될 것입니다. 새로운 물리학이라 할 때, 그것의 핵심은 '공리를 무엇으로 할 것인가'에 있기 때문입니다.

정리하면, 현재 인공지능은 대개 인간이 생성한 데이터들에 의존하고 있습니다. 어떻게 이를 뛰어넘을 수 있을지 문제됩니다. 초지능은 일론머스크 팀처럼 실제세계를 직접 경험함으로써, 혹은 구글처럼 세계모델을 만들고 그 안에서 가상적 경험을 함으로써 인간을 뛰어넘을 가능성이 있습니다. 또한 초지능은 컴퓨팅파워를 이용해서 현재 지식의 프론티어로부터 많은 경로를 탐색하고 검증함으로써 인간을 뛰어넘을 가능성도 있습니다. 알파폴드(단백질과 세포)나 알파지오메트리(기하학)도 이에 해당한다고 할 수 있을 것입니다. 또한 현재 LLM의 추론모델로부터 기대하는 것도 이것에 해당합니다. 어떻게 검증할 것인지가 까다롭기 때문에, 현재로서는 주로 수학이나 코딩 분야에서 성과를 내고 있는 걸로 이해합니다.

그리고 이것들은 기본적으로 연결주의 인공지능에 의합니다. 연결주의는 단순하다는데 그 주된 특징이 있습니다. 복잡한 개념을 써서 한땀한땀 인위적으로 설계된게 아닙니다. 단순한 것을 스케일을 키워놓고, 데이터 먹인 다음에 잘 되는지 확인해보는 식입니다. 잘 되어도 왜 잘 되는지 잘 모릅니다. 현재까지 AI가 그 단순한 핵심에도 불구하고 경이로운 능력을 보이고 있는 걸 보면, 초지능도 단순할 가능성이 있다는 얘기가 될 것입니다. 누군가는 여기에 인간에게는 의식이 있다느니, 혹은 AI는 지능이 아니라 그저 다음 단어 예측기라느니, 하면서 그 가치를 폄하하고, 그 미래를 비관하지만, 그렇게만 볼 수는 없는 거라 봅니다.

알파고나 ChatGPT의 핵심이 단순하다는 것은, 초지능도 단순할 가능성을 시사합니다. 지능이론은 복잡할지 몰라도, 알고리즘은 단순할 수 있습니다.

이 역시 반론이 들어올 수 있습니다만, 인간이 다른 동물과 비교해 해부학적으로 특이한 것은 대뇌라 할 수 있습니다. 체중에 비해 커다란 대뇌를 가지고 있다는 특징이 있는데, 대뇌는 거칠게 말해서, 같은 것의 반복으로 이뤄져 있습니다. 미니칼럼이란 작은 신경조직 단위가 반복해서 이뤄진 것입니다. 대뇌가 복잡해보이는 것은 대뇌 자체의 알고리즘이 복잡하기 때문이 아니라, 대뇌와 연결되어 있는, 대뇌 아래에 있는 것들이 복잡다단하기 때문일 가능성이 큽니다. 달리 말하자면, 대뇌도 스케일업된 것입니다. 단순한 걸 스케일을 키워 만든 것입니다. 스케일을 키우기 위해서, 머리에 많은 공간이 필요했고, 이를 위해 도움이 된게, 불을 써서 먹을 수 있어 턱에 부담을 줄인 거라 알고 있습니다. 그리고 포유류 공통으로 신경세포들을 머리 표면(회백질)에 집중시키고, 중간에는 신경세포들의 연결(백질)로 채우고, 머리 표면은 주름지게 만들어서 표면적을 키운 것, 이런게 스케일업을 하기 위한 유전자의 기술들이었을 것입니다. 그리고 아마도 그외에 디테일한 조정들을 해나가면서, 성능을 더욱 높였을 것입니다. 오늘날 LLM도 스케일을 키워서, 지능을 높이는게 기본이지만, 부수적 기술들을 가지고 비용을 절약하거나 성능을 보다 키울 수가 있습니다. 그건 대개, 경험적으로 이렇게 저렇게 해보고, 더 잘 되는 걸 깨달으면서 진행되며, 그러한 노하우가 곧 그 기술자의 연봉으로 이어지게 되는 것일 겁니다. 규모가 크면, 약간의 %만 성능향상 또는 비용절약이 있더라도, 커다란 이익이 될 수 있고 이는, 기술자에게 많은 돈을 줄 이유가 됩니다.

다만 대규모로 하다가 자칫 실패로 끝나는 수도 있을 것입니다. 이를 '삐끗'이라 해봅시다. 아마도 오픈 AI는 그동안 삐끗을 좀 해온 듯합니다. 과학이 아닌, 경험적인 기술에 의존해서 진행할 때에는, 특히 이 '삐끗'이 운에 의해 일어남으로 인해, 뒤처질 리스크가 있습니다. AI만 아니라, 경쟁이 심한 다른 분야도 마찬가지일 것입니다. 그저 실력으로만 결정되는게 아니라, 운으로도 결정될 수 있습니다. 기술은 이것저것 해보다가 얻어걸리는 걸, 일부 요소로 하여 진행되곤 합니다. 그들 스스로 이건 될 가능성이 크다고 어떤 직관을 갖고 있을 수 있습니다. 그 직관하에 결정이 이뤄질 수 있을 것입니다. 그렇다면 중요한 것은 S급 기술자가 아닐까 싶습니다. 중요한 결정을 하는 S급 기술자의 직관에 의해, 승부가 결정나는 수가 있습니다. 그러나 오픈 AI에서는 S급 기술자들을 여럿 놓친 걸로 알고 있습니다. 대표적인 인물은 일리야 수츠케버죠.

이상 연결주의와 초지능에 대한 이야기를 풀어봤습니다. 지능이론이나 지능알고리즘을 직접적으로 설명하진 않고, 단순성에 주목해서 이야기했습니다. 초지능 알고리즘이 단순하다면, 이미 연구자들이 알아냈을 거 아니냐는 의문이 가능합니다. 뉴턴역학이 단순하지만, 오랫동안 인류는 이를 알지 못하고 지내왔습니다. 뉴턴에 앞서, 갈릴레이도 그러했죠. 단순한데도 모르는 이유는 편견 때문일 수도 있고, 관습적인 기피감 때문일 수도 있습니다. 그러나 그런 것도, 컴퓨팅 자원이 충분히 여유로워지면, 이렇게 저렇게 해보다가 얻어 걸릴 가능성이 있는 거라 봅니다. 거대모델 수준에서는 지금 여유로운게 아닙니다. 시도를 다양하게 해볼 수 없습니다. 그와 반대로 규모가 작으면, 특별히 뛰어난 결과로 잘 나타나지 않을 수 있습니다. 이론없이 기술적 시도로 얻어 걸릴려면, 결과로 확인이 가능해야 합니다. 컴퓨팅 자원이 풍요로워지면, 연구자들 다양한 시도를 해볼 수 있게 됩니다. 초지능 알고리즘은 지능이론을 깊이있게 알고 나서 만들 수도 있지만, 이렇게 저렇게 해보다가 얻어 걸리는 수도 있는 거라 봅니다. 다만 지능이론이 부실하니, 왜 잘 되는지는 모를 수 있겠죠.