|
:: 게시판
:: 이전 게시판
|
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
통합규정 1.3 이용안내 인용"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
23/06/02 16:56
영화속에서 걱정했던 ai 현실에서는 가능성이 없었네요.
ai가 매우 발전하고 전체 다 장악한 다음에서야 인간을 제거할 음모를 꾸몄었는데 혹은 매우 은밀하게 인간 제거 음모를 꾸몄는데 현실은 그냥 초창기 시작하자 마자 대놓고 인간을 제거하고 시작하는군요.
23/06/02 17:23
걍 흔한 강화학습 에러입니다.
팔란티어사에서 군사작전용으로 튜닝하고있는 LLM의 성능에 대해서는 입도 뻥끗 안하고있죠. 그것도 미 공군에서 저런걸 아무필터없이 내뱉었을리는없어서 그냥 상부에서 AI에 대한 규제를 조성하는데 한몫거들라고 지시라도 했나 추정해봅니다.
23/06/02 17:33
뭐 AI 근간인 신경망자체가 환각을 완벽히잡는게 불가능하고
거기에 강화학습이라는 더더욱 통제하기 힘든 학습방식을 끼얹는거라서 AI정렬문제에 요새 선두주자인 OPENAI에서 유난히 매진하고있죠. 원론에는 동의합니다.
23/06/02 17:50
(수정됨) 애초에 기존 이진논리체계로는 답도없는 인간만이 해결하거나 인간도 못하는 과제들을
증명은 못하더라도 풀수는 있게끔 해보자 라는 아이디어가 여태껏 효과를 보고 발전해온 AI분야의 공통된 방향성이었어서요 그렇게 쭉쭉 발전하다가 진짜 진지하게 경제 전반에 인공지능이 깔리려고 하니까 비로소 이부분에서 발목이 잡히는거죠, 근데 또 불가능하다는게 절대완벽이 안된다는거지 인간보다 오차가 적어지는것도 충분히 가능한영역이라 AI가 AI를 서로의 추론과정을 감독한다거나 요새 주목받는 CoT나 ToT 같은 프롬프트를 정교하게 짜는 기법이라던가 일정궤도에 오른 AI가 자신의 은닉층을 해석해서 '주어진 정보에대한 합리적 추론'이라는 AI의 핵심을 휴리스틱으로 구현해낸다거나 하는식의 아이디어로 충분히 극복되지 않을까 싶습니다.
23/06/02 17:40
은근히 생물학 요소가 떠오르는 이야기네요. 실험에서 강제로 식물을 품종개량하려고 해도 되려 전혀 예측하지 못하는 방향으로 변이해버리는 경우가 흔하죠 크크
23/06/02 17:54
일단 본문에서만 제기된 상황이라면 아직 공포감을 느끼지 않는 분이 많을겁니다
저건 단순한 입력 실수 또는 설정 실수 아닌가 생각할 여지가 있거든요. 피아식별시스템에 관제탑을 빼놓았다던가 뭐 그런 식으로 말이죠. 하지만 목표 달성을 위해 무슨 일이든 한다... 그건 정말 무한의 가능성을 가졌다는 뜻이죠. 그런 식으로 사전에 사람이 미리 생각해서 이건 하면 안되고 이건 하면 안되고 일일히 정해준다고 한들 반드시 뭔가 예측못한 상황이나 타겟이 생기고 AI가 미친짓할 가능성이 존재한다는 뜻이니까요.. 시행착오를 거치며 문제를 해결하기엔 그 미친짓으로 누군가 죽을 수도 있으니... 로봇 3원칙이 생각나는군요..
23/06/02 18:01
그래서 저런 단순 DQN 같은거보단
지금의 GPT처럼 LLM을 중심으로 여러 모듈이 연결되는 형태가 중요하다고 생각합니다. LLM의 가장 큰 장점은 인간이 이해가능한 형태로 출력이 조절된다는거니까요.
23/06/02 18:11
인간이 제어를 종국에는 못할것같은데요 딥러닝을 선택적으로 적용할 수 없는 부분인가...
뭐 하지마라 이렇게 하나하나 넣는 것 자체가 완벽할 수가 없어서
23/06/02 18:27
(수정됨) LLM, 특히 GPT가 그런부분에 있어서 제일 이상적으로 해결된 모델이긴합니다.
일정길이 이상으로 우회논리를 탐색하지마라 식으로 몇개의 원칙으로 퉁친다음 지시&피드백을 줄수도있고 인간의 말을 알아들을수 있기때문에 다른 GPT가 자동으로 학습감독해줄수도 있습니다.
23/06/02 18:46
딥러닝 초기부터 탁구치자니까 못 받는 서브만 골라서 할정도로, AI보고 뭐좀 해보라고하면 인간적이지 않은 수단만 찾는다는 이야기 나왔었죠. 인간이 AI를 다루고 제어하는 기술도 어느정도는 시간이 흐름에 따라 감을 잡을것 같습니다
23/06/02 19:31
(수정됨) 인간도 약 하나 먹으면 회로가 다 망가지면서 오작동을 일으키죠. 환각은 기본이고.. 오감이 다 뒤섞여버리니까요.
이번 사례는 택할 수 있는 수단을 벗어나지 못했을 뿐, 승인/거부 절차를 바이패스 할 수 있는 해킹능력을 갖춘다면 어떻게 될까요. 어차피 검증능력을 갖추지 못하는 한 gpt는 어디까지나 과도기의 모델일 뿐일테고(지금도 개쩔지만), ai의 인류전복가능성을 따지자면 차세대 모델이 나온 뒤를 생각해봐야겠죠. 창작계열이 먼저 죽을걸 아무도 예상 못한것처럼, 지금은 어차피 논해봐야 의미가 없을거 같아요.
23/06/03 12:13
관제 센터가 파괴되면 점수가 늘어난다는 걸 알아서 그 행동을 하려면,
- 관제센터에서 명령이 나온다 는 걸 알아야 하고 - 관제센터가 어딘지 알아야 하고 - 파괴를 하는 경우 기능이 중단된다는 걸 알아야 하는 데... 단순 최적화 알고리즘을 적용한 게 아닌 것 같은??? --- 혹은 내부적으로 시뮬을 돌려보고 저 솔루션이 가장 점수를 많이 얻는다 라는 걸 알게 되는 와중에 관제센터의 승인/비승인이 포함되어 있거나...
|
||||||||||||||
