:: 학교에서 배우지 않는 수학기초 2편 ::

이번 글은 서론이 깁니다. 수학기초와 기계 그리고 앨런 튜링의 AI에 대한 이야기를 한 뒤에, 본론인 행렬로 들어가겠습니다. 이른바 행렬핑퐁으로 이전 글에 포함되었어야 했던 글입니다. 혹시 읽으실 시간이 없는 분들을 위해 서론 전에 결론을 적어놓겠습니다.

결론

이전 글에서는 두 함수가 출력을 주고 받는 것 혹은 하나의 함수가 재귀적으로 되먹임하는 걸 반복하는 걸 핑퐁이라 불렀습니다.

함수를 놓고 핑퐁하면 수렴합니다. 행렬을 놓고 핑퐁해도 수렴합니다. 이른바 행렬핑퐁입니다. — 행렬핑퐁은 고유벡터로 수렴한다. — 이것이 결론입니다. 함수핑퐁과 마찬가지로, 발산할 수도 있습니다. 이와 함께, 수학기초로서 함수 도메인에 대한 얘기를 할 것입니다.

서론

이전 글의 요약을 해놓고 시작하겠습니다. — 이전 글에서는 유한기계가 수렴하는 걸 보였고(§1 수렴), 숫자가 시공간 등에서 연속성 제약을 받는 경우가 많다고 이야기했으며(§2 숫자), 머신러닝 관점에서 데이터가 주어졌을 때 함수를 만들어내는 걸 보였고(§3 함수), 두 함수끼리 출력을 번갈아 주고받다가 어딘가로 수렴하는 걸 설명했으며(§4 핑퐁), 신호를 보유중인 블록들로 모방하여 수신해석해내는 걸 설명했습니다(§5 블록).

그러면서 이것들은 — 학교에서 배우지 않았거나, 혹은 별로 깊이 생각해보지 않고 넘어간 것들 — 이라 주장했습니다. 이번 글은 그 2편입니다. 이번에는 행렬을 이야기할 것입니다. 그리고 함수 도메인을 이야기할 것입니다. 그리고 느슨하게 AI와 관련지어 이야기할 것입니다. 이 글은 원래 1만8천자였는데, 인터넷 글로서 과도한 것 같아 짧게 오려 왔습니다(약 6천자). 인공지능의 핵심적인 수학이 무엇인지 딱 1개만 말하라 한다면, 행렬일 것입니다.

1편의 다섯 가지 수학기초는 공통점이 있습니다. 그것은 동적이라는 것입니다. 마치 게임처럼, 턴이 진행됩니다. 턴이 진행될 때의 문제들을 다루는 기초라 할 수 있습니다.

시간이 흐르기 때문에, 시간이 충분히 흐르면 어떤 일이 벌어질지 문제되고, 그래서 등장하는게 발산과 수렴입니다. 무한대로 발산하고, 어느 한 점으로 수렴할 수 있습니다. 혹은 진동할 수 있습니다. 누군가는 진동을 발산으로 분류하겠지만, 저는 이전 글에서 이를 주기수렴이라 이야기했습니다. 결론이 고정인지가 중요한게 아니라, 결론이 패턴인지가 중요하기 때문입니다.

시간이 경과할 때, 이를 '기계'라 부를 수도 있습니다. 정적인 수학이 기계적 성격을 갖게 된데 있어 대표적인 중요 인물은 앨런 튜링이라 할 수 있습니다. 제가 볼 때 이렇습니다. 튜링머신은 조합론적 수렴 문제로부터 만들어진 거라 할 수 있습니다. 아마 튜링의 생각과정이 그러했을 것입니다. 이전 글 §1에서 설명한 걸, 더욱 확장해나가면, 튜링머신에 이를 수 있습니다. 앨런 튜링은 1948년 AI 논문을 썼는데, 그때 그가 다룬 것도 바로 조합론적 수렴입니다. 그중 A형 비정형기계와 B형 비정형기계는 연결망이었습니다. 둘다 시간에 따라 어딘가로 수렴하여 정형화된 기계가 되었고, 그것은 함수에 해당합니다. B형 비정형기계에는 작은 루프가 포함되어 있었는데 이걸 건드리면 정형기계가 다시 비정형으로 디폴팅이 되었고 다시 수렴과정을 밟았습니다. 이로써 새로운 함수로 변화할 수 있습니다. B형 비정형기계가 튜링머신과 유사합니다. 소루프가 상태기록기에 매칭됩니다. P형 비정형기계는 연결망이 아니었으나, 쾌락과 고통 개념을 넣어서 학습하는 기계를 선보인 적이 있습니다. 쾌락이면 그대로 두고, 고통이면 디폴팅합니다. 이로써 어떤 함수로 수렴할 것인지를 결정할 수 있습니다. 이것은 오늘날 사전학습을 끝낸 LLM에 해당합니다.

튜링의 AI는 조합론적으로 수렴시키고 마음에 드는게 나올 때까지 디폴팅하여 원하는 기계로 만들고, 오늘날 AI는 경사하강 즉 숫자를 이용하여 점진적으로 오차를 줄여 원하는 기계로 만듭니다. 조합론이라면 기호주의여야 할 텐데, 튜링의 AI는 연결주의로 조합론을 다뤘다는 점이 특이합니다. 이 논문 이후에 나온게 튜링테스트입니다. 저 논문은 혹평*을 듣고 출간이 안되었다가, 무려 20년이 흘러 튜링 사후 1968년에 나온 걸로 압니다. 튜링은 AI 연구를 중단하고, 컴퓨터 만드는데 열중했습니다. (* ChatGPT : 찰스 갤턴 다윈 경입니다. 당시 영국 국립물리연구소(NPL) 소장으로, 튜링의 1948년 보고서 Intelligent Machinery 를 “학생의 에세이” 수준이라며 출판 부적절하다고 평가했습니다.)

A형기계와 B형기계는 행렬로 돌릴 수 있을 것입니다. 즉 GPU로 돌릴 수 있을 것입니다. 당시에는 GPU가 없었죠. 튜링이나 폰 노이만 같은 사람들이, 처음으로 CPU의 원형을 만들던 시절입니다.

특별히 튜링의 연결주의 AI를 언급한 것은 이것이 ASI 즉 초지능으로 가는 열쇠 중 하나라 생각하기 때문입니다. 유치하다며 20년간 파묻히고, 도덕재판에 의해 사망에 이르렀으며, 튜링과 무관하게 인공지능 역사가 진행되었는데, 알고보니 튜링에게 중요한 열쇠 하나가 있었다는 의견이지요. 그 열쇠의 수학기초가 유한기계의 조합론적 수렴입니다.

본론 1 : 행렬핑퐁

함수로 핑퐁할 때 그것은 스칼라값이었습니다. 행렬로 핑퐁할 때는 벡터입니다. 다만 벡터에도 스칼라 성분이 있습니다. 단순하게 설명하기 위해, 이것을 무시하겠습니다. 함수 핑퐁으로 다뤘으니, 벡터의 스케일 성분을 무시하겠습니다. 그러면 다음과 같은 결론에 이르게 됩니다.

고유벡터를 행렬로 곱하면, 고유벡터가 됩니다.

행렬 * 고유벡터 = 고유벡터

v → A → v

함수에서는

3 → f → 3

이걸 이용해서 수렴시켰죠. 처음에 1을 넣었는데, f에 반복해서 되먹이다보면, 3이 됩니다. 일단 3이 되면 계속 3입니다. 수렴이죠.

(1 → f → 2 → f → 2.8 → f →) 3 → f → 3 → repeat

마찬가지입니다. 어떤 벡터에서 시작했든 행렬 A를 반복적용하다가 v에 이른다면, 이제 더이상 변동하지 않고, 행렬 A를 계속 적용시켜도, 여전히 v일 것입니다. 벡터 방향이 고정됩니다.

(c → A → d → A → e → A →) v → A → v → repeat

물론 이는 스칼라인 고유값을 무시하고 이야기한 것이고, 꼭 수렴한다는 보장은 없습니다. 마치 함수를 핑퐁할 때, 주기수렴(즉 진동), 점수렴, 발산이 있었던 것처럼, 행렬도 항상 특정 벡터에 수렴하는 건 아닙니다. 복소수가 아닌 실수 조건에서, 행렬은 고유벡터가 없을 수도 있습니다.

3 → f → 3

이것은 하나의 함수가 되먹이는 것으로, 이를 두 함수로 풀자면

3 → f → (y = x) → 3

입니다. y = f(x) 와 y = x의 핑퐁이죠. 일반화하면

3 → g → h → 3

이것은 함수 g와 함수 h가 핑퐁을 한 거라 해석할 수 있습니다. 함수 g와 함수 h가 출력을 주고 받다보면, 3으로 수렴합니다. 이와 마찬가지로

v → A → v

이것은 하나의 행렬이 되먹이는 것으로, 이를 두 행렬로 풀자면

v → A → I → v

이렇게 단위벡터와 핑퐁한 거라 볼 수 있으며,

v → B → C → v

이것은 행렬 B와 행렬 C가 핑퐁을 한 거라 해석할 수 있습니다. 행렬 B와 행렬 C가 출력을 주고 받다보면, 고유벡터 v로 수렴합니다. 행렬 2개가 아니라, 행렬 5개를 돌 수도 있을 것입니다. 행렬 100개를 돌 수도 있을 것입니다.

v → 행렬 2천개 → v

이럴 수도 있을 것입니다. 중요한 건 이걸 이용해서 수렴할 수 있다는 것입니다. 수렴에 가치가 있습니다. 오늘날 AI에서 최적화는 수렴을 가리키는 거라 이해할 수 있습니다. 원문에는 이걸 가지고 무엇을 할 수 있는지, 언어와 관련해서 이야기했습니다만, 생략하겠습니다.

본론 2 : 함수 도메인

함수 f의 입력도메인은 {1, 2, 3}이라 해봅시다. 그 얘기는 4는 넣어서는 안 된다는 의미일 것입니다. 함수 f의 출력도메인은 {5, 9}라 해봅시다. 그 얘기는 1, 2, 3을 넣었을 때 7이 나오지는 않는다는 의미일 것입니다.

만약 4를 입력했거나, 7이 출력되면 이는 오류입니다. 수학에서는 그건 룰을 어긴걸로 여기고 넘어가면 됩니다. 그런데 이것이 만약 기계이면 어떨까요? 기계인데 도메인을 벗어난 값을 입력했습니다. 컴퓨터 프로그램이라면, error 에러가 날 것입니다. 물리적인 기계라면, 기계가 고장날 수 있습니다. 일단 고장나면, 1을 넣어도 작동하지 않을 것입니다.

이렇게 기계가 붕괴된 것을 두고, '디폴팅'이라 부를 수 있을 것입니다. 이전 글에서 유한기계로 폐쇄상태에서 특정 주기로 수렴시킨 뒤, 입력이 들어올 때 상태가 바뀌고, 원래 주기로 복원될 수도 있지만, 디폴팅되어 다른 주기로 수렴할 수도 있다고 했습니다. 고장났다는 건, 바로 디폴팅에 해당합니다. 더 정확히 말하자면, 원래 주기로 복원되지 않는 디폴팅입니다. 원래 정형기계로 복원되지 않는 디폴팅입니다. 원래 함수로 복원되지 않는 디폴팅입니다. (참고로 행렬은 함수의 일종이라 말할 수 있을 것입니다. 그렇다면 행렬도 도메인이 있다고 말할 수 있습니다.)

함수의 도메인은 숫자가 아니라, 함수일 수도 있습니다. 뉴런들을 연결해서, 망을 만들었다고 해봅시다. 뉴런이 곧 함수라 해봅시다. 전뉴런은 입력도메인이고, 후뉴런은 출력도메인입니다. 입력도메인도 함수들의 집합이고, 출력도메인도 함수들의 집합입니다. 입출력도메인을 합쳐 도메인이라 부르겠습니다.

전전뉴런 → 전뉴런 → 본뉴런 → 후뉴런 → 후후뉴런

본뉴런의 도메인에 전뉴런과 후뉴런이 있습니다. 그런데 그것들은 다시 전전뉴런이나 후후뉴런과 연결되어 있습니다. 전전전전전전전뉴런 — 이런 것도 있을 수 있습니다.

이것은 AI 신경망을 구성하는 인공뉴런도 그렇고, 뇌속에 있는 실제 뉴런도 그렇습니다. 뇌속에 어느 뉴런을 특정 한 뒤, 그것의 도메인을 논할 수 있을 것입니다. 전전두엽의 어느 뉴런이, 시각피질의 어느 뉴런을 입력도메인으로 하고 있는 것일 수 있습니다. 그 뉴런의 전전전전뉴런이 망막의 신경절세포일 수 있습니다. 신경절세포의 도메인은 수정체이고, 수정체의 도메인은 빨간우산이며, 빨간우산의 도메인은 태양일 수 있습니다. 그리고 전전두업의 그 뉴런의 후후후후뉴런은 척수의 어느 운동뉴런일 수 있습니다. 그 뉴런의 도메인은 오른손일 수 있습니다. 오른손으로 빨간우산을 잡습니다. 빨간우산은 오른손의 도메인입니다. 오른손은 함수입니다. 함수에 빨간우산이 입력되고, 함수가 빨간우산을 조작합니다.

보론 : 빨간우산에 대한 거친 묘사

오른손이 빨간우산을 들고 있다고 해봅시다. 비를 막아주고 있습니다. 빨간우산을 오른손으로 쥐고 가만히 들고 있습니다.

이것은 수렴에 해당할 것입니다(상태 G). 바람이 불어서 빨간우산이 뒤쪽으로 기울어집니다(상태 H). 이것은 디폴팅에 해당할 것입니다. 그러자 뇌에서 반응하여, 다시 원래대로 돌려놓습니다. 즉 또다시 디폴팅하여, 우산을 잘 들고 있던 원래대로 돌립니다(상태 G). 또 바람이 불어옵니다. 단단히 쥐고 있으나, 손이 떨립니다. 이것은 주기수렴에 해당할 것입니다. 태풍이 불어와 우산이 날아가버렸습니다.

오른손을 비롯한 신체 부위들을 '기계'라 생각할 수 있습니다. 우산도 '기계'라 생각할 수 있습니다. 바람도 '기계'라 생각할 수 있습니다. 기계는 함수로 돌아갑니다. 혹은 기계는 행렬로 돌아갑니다. 기계의 상태를 '벡터'에 매칭할 수 있습니다.

대뇌벡터 ⇄ 척수벡터 ⇄ 오른팔벡터 ⇄ 오른손벡터 ⇄ 우산벡터 ⇄ 바람벡터

화살표가 행렬입니다. 위에 표현한 구조는 단순화한 것입니다. 더 정확히는 물리적인 것과 신경적인 것을 구분해야 합니다. 그리고 다리벡터도 땅과 함께 구조에 포함해야 합니다. 단순 부정확한 표현입니다.

어떻게 오른손을 벡터라 볼 수 있는지 문제됩니다. 오른손은 복잡한 신체일 텐데, 그걸 어떻게 벡터로 매칭할 수 있는지 문제됩니다.

오른손을 구성하는 정보들이 있을 것입니다. 그것들 각각을 수치로 바꿉니다. 각각 메모리에 매칭합니다. 오른손의 상태는 수치들의 묶음이 됩니다. [4, 1, 3, 0, 7, 2, 0, ... ] 그게 바로 벡터입니다. 오른팔도 마찬가지일 것입니다. 벡터와 벡터의 관계를 표현하는게 바로 행렬입니다. — 행렬들이 핑퐁합니다. 손이 떨립니다. 바람이 사라지고 우산이 고정됩니다. 고유벡터로 수렴합니다. 이로써 오른손에 빨간우산을 들고 있는 사람을, 행렬과 핑퐁으로 표현했습니다. — 'Hey Robot. 우산 들어줘!' — 사람 대신 로봇이 들고 있다고 상상해볼 수도 있습니다. 이 역시 벡터와 행렬의 시간 흐름으로 느슨하게나마 묘사될 수 있습니다.