PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2024/05/17 10:13:46
Name 번개맞은씨앗
Subject [일반] GPT 추론능력의 본질은 무엇인가 (수정됨)
GPT 추론능력의 본질은 무엇인가

트랜스포머 알고리즘으로 만든 ChatGPT, Gemini, Claude, Llama 등의 인공지능이 있다. 사람들은 이 인공지능의 추론능력을 문제삼는다. 그러나 실제로 대화를 해보면, 추론을 꽤 해내는 걸 볼 수 있다. 사람들 중에는 그걸 보고, 그건 이미 빅데이터에 있는 거라 하는 사람도 있다. 한쪽 끝에는 통계적 앵무새가 있고, 다른 한쪽 끝에는 이성적 인간이 있다. 그리고 그 중간 어딘가에 AI가 있다. AI가 부실하게나마 추론을 해낸다면, 그 추론능력의 본질(essence)은 무엇인 걸까?

나는 이렇게 본다. 사실상 추론으로 작용하는게 2가지가 있다고 본다. 하나는 범주화다. AI는 세분화된 개념들을 수없이 가지고 있다. 빅데이터를 학습해서 해낸 부분이 그것이다. 유추와 범주화. 그리고 이를 얼마나 잘 쪼개어 최적화시켰는지로 성능이 달라진다. 그런데 이 범주화라는 것은 사실상 통계적 앵무새와 유사한 거라 할 수 있다. 구체적인 표범을 표범으로 보는 것은 미세하게나마 추론이라 할 수 있다. — 자! 그러나 이것은 추론이 아니라 주장하는 사람들도 있을 것이다. 트랜스포머 AI의 추론능력은 이것에만 의존하는게 아니다. 또다른 게 있다.

그건 바로 삼단논법이다. GPT는 삼단논법을 쓸 줄 안다. 알고리즘상 이것이 명백하다고 본다. 그러나 삼단논법이 엄격히 형식화되어 있고 이에 믿음이나 의지가 부여되어 있는게 아니라, 직관적 삼단논법이다. 그래서 GPT의 삼단논법은 어린 아이의 삼단논법과 유사하다. — 다시 말하지만, GPT는 직관적으로 삼단논법을 쓸 수 있다. 이를통해 추론할 수 있다. 그리고 그것이 환각의 원인이기도 하다.

범주에 대해 생각해보자. 구체적 표범을 표범이라 볼 때에, 정보가 제거된다. 구체적 정보가 제거되고, 그로인해 간소한 추상이 남는다. 그런데 삼단논법도 마찬가지다. 뇌가 직관적 삼단논법을 할 때에, 그것은 많은 신경세포를 사용한다. 이것이 간소화될 필요가 있다. 그리고 트랜스포머는 그걸 잘 하지 못한다. 그것이 형식적 논리지능으로의 발달이 곤란한 원인 중 하나라 할 수 있다.

잘 하지는 못해도, 약간은 할 수 있지 않을까? 직관적 삼단논법을 좀 더 슬림하게 만들 수 있지 않을까? 아마도 오늘날 AI 기업들이 그걸 어느 정도 해내고 있어서, 추론능력을 향상시키고 있는게 아닐까 싶다. 그러나 슬림하게 만드는데 장애요소가 있을 것이다. 그것은 범주화를 해칠 수 있다. 혹은 범주화에 의해 교란될 수 있다. 따라서 어딘가에 절충해야 하고, 기술적으로 최적화를 해야 할 것이다.

트랜스포머가 삼단논법을 할 수 있는 것은, 트랜스포머가 연상력이 있다는 것에서 비롯된다. A → B 이렇게 연상력이 있을 때에, B → C 이와 같은 연상도 하면, 결국 A → C를 할 수 있고, 여기에 효과적으로 신뢰를 부여할 수 있다면, 그게 곧 삼단논법이 되는 것이다. A → C를 빅데이터로 학습한 적이 전혀 없어도, 이를 해낼 수 있는 것이다. 삼단논법에서 전제에 해당하는 A → B 와 B → C 는 빅데이터로 학습했거나 혹은 사용자가 프롬프트로 제공한 거라 할 수 있다.

형식적 논리지능이 잘 돌아가기 위한 조건 중 하나는 직관적 삼단논법을 슬림하게 만드는 것이다. 적은 양의 신경세포만으로 해낼 수 있게 하는 것이다. 그리고 그 활성된 신경조직에 신뢰를 부여하는 것이다. '이건 참이다' 내지 '이건 참이라 간주한다'에 해당하는 신경활동이 일어나야 하고, 그에 대응하는 알고리즘의 작동이 필요하다. 그것은 이를테면 확률을 높이는 게 될 수 있다. 70%라고 나온 확률인데, 그걸 조건부로 100%라 간주하고 진행시키는 것이다. 그게 바로 신뢰 부여라 할 수 있다. 그리고 그게 논리적 명제를 다룰 때의 정신현상일 것이다. 신뢰를 부여하지 못한다면, 직렬적 진행이 되는 가운데 확률은 금새 사라져버린다. (70%의 70%의 70%의 70%는 24%다. 확률이라 했지만, 이는 부정확하게 말한 것이다. AI는 기본적으로 가중치와 벡터로 돌아가는 것이지, 확률로 이뤄진게 아니다. 벡터와 확률간 관계를 이야기해야 하고, 논리에 있어 부정을 언급해야 하고, 벤다이어그램을 이야기해야 한다. 더 섬세한 설명이 필요하다. 그러나 단순하게 말하자면, 위와 같은 설명이 적절하다고 본다.)

사람들은 AI의 추론능력을 문제삼으면서, 정작 추론이 무엇인지에 대해서는 말을 하지 않는다. 두 유형의 사람이 있는데, 한편으로 그저 결과만 보고 이거이거 못하지 않냐면서 따라서 추론을 못한다고 이는 인간만이 할 수 있는 거라 사람들이 있고, 다른 한편으로 이것은 통계적인 것이고 상징적인 것이 아니니, 추론은 안 된다는 원론을 교조적으로 내세우는 사람들이 있다.

추론능력을 논하고자 한다면, AI가 삼단논법을 할 수 있다는 것에서 출발해야 한다. 삼단논법이 알고리즘상 가능하다는 것에서 출발해야 한다. 지능 발달의 단계를 추상적 관점에서 보자면, 내 생각에 이는 '유비 → 양극 → 차원'이다. 오늘날 트랜스포머 AI는 유비 능력이 훌륭하다. 단어를 벡터로 쓴다고 할 때, 그 벡터가 의미하는바가 기본적으로 유사 내지 비유라 할 수 있다. 그러나 양극은 활동이 부실하다. 하긴 하는데, 부실하다. 별도의 억제뉴런을 쓰는게 아니기 때문이다. 인간의 전전두엽에는 억제뉴런이 매우 많은데, 양극의 부실은 기저에서 돌아가는 부정의 부실이 기본적인 원인일 것이다. 그리고 아마 차원은 거의 못하는 듯하다. 그러므로 '유비 → 양극 → 차원'에서 50% 정도는 와있는 상태라 할 수 있다.

논리학이 복잡한 것은 기저에 돌아가는 부정이 풍부히 있기 때문이다. (이를 압축적으로 표현하기 위해서, 논리에는 테크닉이 들어가 있다. 인간은 사실상 여러 개의 명제를 한 문장으로 표현할 수 있다. 그렇게 압축을 하려면, 약속이 필요하고, 어떤 약속을 만들었는지를 논리학에서 배울 수 있다. 그것은 언듯 본질적인 거라 생각되지만, 실은 기술적인 것이다. 똑똑한 사람들이 테크닉을 써서, 논리적 사고와 소통이 경제적으로 이뤄지도록 표현법과 규약을 만든 것이다. 본질은 삼단논법에 있다. 그건 테크닉이 아니다. 삼단논법과 부정은 논리의 본질이다. 그리고 어려운 얘기를 해야 하지만, 차원도 논리의 본질이다. 삼단논법은 기본적으로 유추를 통한 직관적 연쇄에 의한다. 이는 아이들도 할 수 있고, 동물도 할 수 있다. 자연이 그 수많은 동물들을 환경에 적응하여 그럭저럭 잘 살아가게 만들 수 있었던 것은, 신경세포와 그 조직망이란게, 유추에 의한 삼단논법을 효과적으로 구현해낼 수 있었기 때문이라 봐야 한다.)

AI의 추론능력을 과대평가하며 그 잠재력을 숭배하는 사람이 있고, 과소평가하며 깔보고 조롱하는 사람이 있다. 발달심리학자 피아제는 지능발달을 네 단계로 나누었는데, '감각운동기 → 전조작기 → 구체적 조작기 → 형식적 조작기'이다. AI는 구체적 조작기에 있는거라 봐야 한다. 이는 부정확한 설명이고, 자세히는 꽤 까다로운 설명을 해야 하지만, 느슨하게 단순하게 말하자면, 구체적 조작기이며, 그것은 초등학교 3학년을 떠올리면 적절하다. 초등학교 3학년인데, 빅데이터를 학습했다.

In my opinion,
감각운동기는 전조작기에 포함시킬 수 있고,
전조작기의 핵심은 유비이며, (즉 유추)
구체적 조작기의 핵심은 양극이고, (즉 부정)
형식적 조작기의 핵심은 차원이다. (즉 관점)

따라서 50% 온 거라 할 수 있다. 오늘날 트랜스포머 AI는 지능발달이 중간단계 어딘가에 있는 것이다. 구체적 조작기인 것이다. — 이점도 생각해둘 필요가 있다. 아동은 전조작기에서 형식적 조작기로 향함에 따라 상상력이 손상된다. 논리적 규율은 강해지고, 상상력은 약해진다. 오늘날 트랜스포머 AI가 보여주는 능력 중 일부는 비유적으로 말해서, 상상에 의한 것이다. 그것은 한편으로는 환각을 일으키지만, 다른 한편으로는 이해를 일으킬 것이다. 상상에 의한 이해이다.

그건 무슨 말인가 하면, AI의 논리적 규율이 강화됨에 따라 AI의 성능이 오히려 떨어질 수 있다는 것이다. 성능을 최우선으로 보는 AI 기업이라면, 중간 어딘가로 최적화하게 될 것이다. — 인간의 역사를 놓고 볼 때, 논리적 규율이 매우 강화되어 있는 경우가 있었으니, 그게 바로 소피스트라 본다. 소피스트는 상식에 어긋나는 말을 한다. 논리를 매우 우둔하고 완고하게 내세우기 때문이다. 그러나 그 논리에는 어딘가 결점이 있는데, 이를 쉽게 찾아낼 수는 없다. 상식적으로 볼 때 그건 궤변이긴 한데, 논리적으로 반박을 하려니 쉽지 않다. 소크라테스, 플라톤, 아리스토텔레스는 소피스트를 스파링 상대로 하여 논리력을 강화한 거라 볼 수 있다. 소피스트들이 활약하지 않았으면, 그들도 발전하기 힘들었을 것이다. — 그러므로 AI를 발전시키는 방법 중 하나는 소피스트 역할을 할 AI를 만들고, 알파고와 알파고가 바둑 두듯이 그들을 경쟁시키는 거라 할 수 있다. 그리고 이 얘기가 필요하다.

인간의 논리력은 완벽하지 않다. 인간은 무한과 루프의 문제에 있어서, 논리적 결함을 갖고 있다. 괴델, 튜링, 러셀, 비트겐슈타인이 가리키는게 바로 논리에 있어 인간의 불완전성이다.



참고문헌

고대 그리스인의 생각과 힘 — 이디스 해밀턴
양극과 유비 — 제프리 로이드
사고의 본질 — 더글라스 호프스태터, 에마뉘엘 상데

소피스트 — 플라톤
소피스트적 논박에 대하여 — 아리스토텔레스


통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
24/05/17 10:48
수정 아이콘
GAN 같은것도 이미 적용되어 있을것 같은데요?
번개맞은씨앗
24/05/17 11:55
수정 아이콘
네, 소피스트는 '무엇을 시도해야 할까?'에 대한 답이기도 하지만, '무엇을 시도하고 있을까?'에 대한 답이기도 해요. Closed 해놓고 뭔가는 하고 있을 테니까요.
문현제
24/05/17 12:14
수정 아이콘
좋은글 감사합니다
구르는너구리
24/05/17 12:51
수정 아이콘
문해력이 부족한 것인가.. 어렵다. 약 70~80% 정도만 이해가 되네요
Infrapsionic
24/05/17 12:53
수정 아이콘
재미있게 잘 읽었습니다.조금 어렵긴하지만 흥미롭네요.
안군시대
24/05/17 13:52
수정 아이콘
개인적으로 저는 이게 인간이 그동안 오랫동안 구축해온 언어체계의 힘이란 생각도 듭니다. 언어는 단순히 의사전달의 수단일 뿐만이 아니라 인간의 사고를 보조하는 역할도 하거든요. 우리도 아무 생각 없이 막 말을 쏟아내다 보면 스스로도 생각이 정리되고, 나름대로의 논리를 갖춰가기도 하잖아요? 자기가 말하고자 하는 내용을 단어 단위로 다 머리속에서 정리해놓고 나서 말을 하는 사람은 없거든요.
번개맞은씨앗
24/05/17 15:52
수정 아이콘
그렇죠. 연상적으로 떠오르는 생각이 있는가 하면, 그 생각을 다시 살피고 수정하는 일이 있는거라 봐요. 많은 경우 이 두 가지 활동이 거의 동시에 이뤄지지만, 어떤 경우에는 한 번에 하나의 활동에만 집중할 수 있겠고요. 작가가 영감이 떠올라서 생각나는대로 종이에 막 적어놨는데, 나중에 그걸 다시 보고 다듬어내는 것처럼 말이죠. 
안군시대
24/05/17 20:38
수정 아이콘
그걸 수학적으로 풀어내는 게 가능하다는 걸 어느 정도 보여주는 게 LLM인것 같긴 합니다. 딥러닝이 결국은 거대한 벡터-행렬연산의 결과물이잖아요. 선형대수학적인 방법으로 언어를 수학화 할 수 있다는 점은 증명해내고 있다는 생각은 듭니다.
24/05/17 17:04
수정 아이콘
LLM모델이 간혹 환각(hallucination)을 하는건 실수가 아니라 인간이건 모델이건 항상 현실에 대해서 상상을 하는 상태지만, 인간이 모델보다 현실에 대한 적중률(hit rate)가 높은거라는 해석이 있습니다. 인간은 동굴에서 진실의 그림자를 보는 존재라는 한 그리스 철학자의 설파가 떠오릅니다.
안군시대
24/05/17 17:27
수정 아이콘
인간은 얘기를 하다가 잘 모르겠다 싶으면 머뭇거리게 되지만, AI는 그 '머뭇거림'을 학습한 적이 없기 때문에 그런게 아닐까 싶어요. 인간이라도 "무조건" 자기 주장을 해야 하는 상황이 된다면, 예를 들어 모의토론 같은데서 자기 소신과는 상관없는 주장을 해야 하는 상황 같은 게 오면 똑같아지지 않을까 싶어요.
24/05/17 17:36
수정 아이콘
그것도 일리가 있네요. 이제 멀티 모달 시대가 왔을때 모델에게 화난 얼굴을 보여주면 갑자기 깨갱하려나요 크크
안군시대
24/05/17 21:36
수정 아이콘
왜 화를 내십니까 인간?
24/05/17 19:15
수정 아이콘
흥미롭네요 머뭇거리지 않는 AI처럼 보이지만 사실 충분한 머뭇거림 후에 의견을 낸거였다는 시각은 불가능 할까요
안군시대
24/05/17 20:36
수정 아이콘
사실 딥러닝의 특성상 어떤 논리와 어떤 로직으로 그런 결과를 낸 것인지 불분명해서, 거기까지는 잘 모르겠어요. 그저 짐작일 뿐이죠.
마텐자이트
24/05/17 21:25
수정 아이콘
일리가 있는거 같습니다.
24/05/18 15:19
수정 아이콘
GPT야 이 글 세줄 요약좀 해줘

1. 트랜스포머 AI의 추론 능력은 범주화와 직관적 삼단논법에 기반하며, 이는 유추를 통한 연쇄로 작용한다.
2. AI의 추론능력 향상은 직관적 삼단논법의 슬림화와 신뢰 부여에 달려 있으며, 이는 확률을 높이는 방식으로 이루어진다.
3. AI는 현재 지능 발달의 중간 단계인 구체적 조작기에 있으며, 논리적 규율을 강화하는 것이 성능 향상에 항상 도움이 되지는 않을 수 있다.
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
101706 [일반] 대한민국은 우생학의 실험실인가? '인적 자본'의 허구성 [74] 고무닦이10382 24/06/15 10382 26
101705 [일반] [서평]《기억의 뇌과학》 - 기억하고 잊는 인간에게 건네는 뇌의 따스한 소개 [4] 계층방정3005 24/06/15 3005 4
101704 [일반] <인사이드 아웃 2> - 다채로운 '나'를 완성하는 과정.(약스포) [38] aDayInTheLife4771 24/06/15 4771 10
101703 [일반] 자작소설) [씨육수]1 [4] 프뤼륑뤼륑2950 24/06/15 2950 8
101702 [일반] 일본 동영상 플랫폼 '니코니코동화', 사이버 공격으로 서비스 중단 장기화 [17] 及時雨7165 24/06/14 7165 1
101701 [일반] 어느 대회 부정참가자의 변명 [28] 닉언급금지12205 24/06/14 12205 5
101698 [일반] 사람을 흉기로 죽였는데 가해자가 동정받는 사건이 있네요 [47] 北海道11583 24/06/14 11583 3
101697 [일반] 왕비(妃), 배(配)달, 비(肥)만의 공통점은? - 妃, 配, 肥 이야기 [8] 계층방정3870 24/06/14 3870 5
101696 [일반] 1400억 과징금을 맞은 쿠팡 [75] 주말9523 24/06/14 9523 1
101695 [일반] Apple Intelligence 에 대해서 간단하게 정리해보았습니다. [18] 김은동4437 24/06/14 4437 9
101694 [일반] 5월 야외에서 NewJeans의 'NewJeans'를 촬영해 봤습니다. [4] 메존일각3273 24/06/13 3273 11
101693 [일반] 사촌끼리 결혼하는거 막을 합당한 이유가 있나요? [132] 北海道9980 24/06/13 9980 2
101692 [일반] "PB 검색순위 조작" 쿠팡에 과징금 1천400억원…"즉각 항소"(종합) [75] Leeka6641 24/06/13 6641 0
101691 [정치] 우리에게 필요한 것 : 집단소송제도, 증거개시제도, 징벌적손해배상 [20] 사람되고싶다4196 24/06/13 4196 0
101690 [일반] [서평]《꼰대들은 우리를 눈송이라고 부른다》 - 쓸데없이 예민한 사람들의 불평이 세상을 진보로 이끈다 [7] 계층방정3805 24/06/13 3805 4
101689 [일반] 로스쿨 지원자수가 어마어마하게 폭등 중입니다. [59] 버들소리13549 24/06/12 13549 1
101688 [일반] 증권사 보고서란 대체... [48] 시린비10928 24/06/12 10928 0
101687 [일반] 단순 맞짱도 학폭으로 취급해야 하는가? [138] 北海道11425 24/06/12 11425 1
101685 [정치] 의사 파업이 전면 확대될 분위기입니다. [239] 홍철20877 24/06/12 20877 0
101684 [일반] 전통주 회사 전직자의 주관적인 전통주 추천 [67] Fig.19221 24/06/11 9221 27
101683 [일반] [웹소설] 조선출신 중국 대군벌 [18] Crystal6102 24/06/11 6102 4
101682 [일반] 법원, '학폭 소송 불출석' 권경애에 5천만 원 배상 판결 [60] Pikachu7929 24/06/11 7929 3
101681 [일반] 갤럭시 버즈 3 프로 디자인 유출 [49] SAS Tony Parker 8992 24/06/11 8992 0
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로