PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2022/05/20 07:52:23
Name 문문문무
File #1 6cf3bc5f16ba23b787c47bbc87bea04c.png (56.9 KB), Download : 27
출처 1차는 구글 AI블로그, 2차는 펨코
Subject [기타] 구글의 최신 언어AI (수정됨)



1차출처(구글 AI블로그)
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1

2차출처(펨코)
https://www.fmkorea.com/index.php?mid=mystery&document_srl=4497456898&search_keyword=AI&search_target=title_content&page=1

구글이 작년에 내놓은 대규모 언어모델(LLM = GPT-3가 속한 범주) PaLM 
새로운 언어 모델링 테스트 모음인 BIG-bench(BIG-bench)에서 획기적인 성능([최초로 인간평균을 넘어섬])을 달성함을 발견
(테스트내용이 무엇인지 궁금하신분들은 
https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/README.md 참고)

제가 대충 위의 링크로 들어가서 테스트내용이 뭔지보니까
철학,학문,수학,속담풀이,다양한난이도의 코딩, 동영상설명등등 
정말로 다양한 분야의 기본적이지만 세부적인 질문들이 들어있던것 같습니다.



#####
아주 살짝 디테일한 내용
트랜스포머(언어해석알고리즘)블록재구성, 병렬화등의 방법을 통해 계산을 좀더 병렬화시키는데 성공
-> 대충 알고리즘과 컴퓨터칩들의 배열을 좀더 다듬어서 더 많은 매개변수를 때려박을수 있었다는 뜻

고품질 웹 문서, 책, 위키백과, 대화 및 GitHub 코드를 포함하는 영어 및 다국어 데이터 세트를 사용하여 훈련

모든 공백(특히 코드에 중요한)을 보존하고, 
어휘가 부족한 유니코드 문자를 바이트로 분할하고, 
숫자를 각 자리마다 하나씩 개별 토큰으로 분할하는 "무손실" 어휘를 만듦
->대충 어휘가 가진 맥락을 최대한 손실없이 담아내려 노력했고 또 성공했다는 말인듯

#####

아직까진 파라메터 때려박은것 대비 성능향상의 기울기가 전혀? 하락하지 않았으므로 성능개선의 여지가 충분하다고 판단하여
계속 이런쪽(하드웨어,소프트웨어 최적화를 통한 모델크기 증대)으로 연구할 예정 

#####

저는 빠르면 30년대후반~ 늦어도 40년대초중반 즈음으로 봤었는데 
우와.... 이거 생각보다 특이점이 빨리 올지도? 30년대초반도... 가능...?



통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
다시마두장
22/05/20 07:53
수정 아이콘
이제 다 왔기 때문에 이제와서 영어를 배우기는 아깝다던 침착맨 1승 크크
League of Legend
22/05/20 07:58
수정 아이콘
힘내라
22/05/20 08:04
수정 아이콘
이거 믿고 우리 애 영어 공부는 교과서만 시킵니다 알파고님 충성 충성 풍성^^7
검은바다채찍꼬리
22/05/20 09:32
수정 아이콘
알파고님도 풍성은 힘드셔요.......

아 메타버스 들어가면 가능할지도?
Janzisuka
22/05/20 10:59
수정 아이콘
18남..7녀..다둥이 아빠님...
살려야한다
22/05/20 08:18
수정 아이콘
지금인가요
문문문무
22/05/20 08:19
수정 아이콘
나스닥 저점이 어디까지 갈지는 모르겠지만 일단 지금사놔도 10년뒤에는 상당하지않을까요
22/05/20 08:23
수정 아이콘
하지만 이런 ai도 망치 한방이면
자연어처리
22/05/20 08:34
수정 아이콘
저는 친칠라가 좀 더 인상깊었습니다. 흐흐
문문문무
22/05/20 08:37
수정 아이콘
뭐 누가 됬든 저런 다소 무식해보이는? 방법으로도
인간수준의 범용지능에 도달할 가능성이 높아졌다는 사실은 개인적으로 기쁩니다.
음란파괴왕
22/05/20 08:37
수정 아이콘
이제 게임 하나 만들때마다 10년씩 안기다려도 되는거겠죠? 빨리 gta6 내놔라!
문문문무
22/05/20 08:46
수정 아이콘
(수정됨) 근데 진짜로 10년내로 가능할것같아요
완전히 획기적인 아이디어를 내는건 당연히 불가능하겠지만
사람들이 짠 기획안을 따라 GTA6에 준하는 수준의 게임을 코딩해서 내놓는 수준은
진짜 10년내로 도달할수 있을것같습니다.
저게 알파고쇼크이후 불과 6년만에 도달한 성과니까요,
오징어게임
22/05/20 09:05
수정 아이콘
승리호에서 쓰던거 같은 통역기도 10년뒤 가능한걸까요?
와쿠와쿠
순둥이
22/05/20 11:31
수정 아이콘
거의 다 왔다고 봅니다
올해는다르다
22/05/20 09:19
수정 아이콘
가가 가가 가가 가가?
아델라이데
22/05/20 10:08
수정 아이콘
70점정도 달성하면 실시간 통역기 등장하겠네요.
탑클라우드
22/05/20 11:42
수정 아이콘
전문 통역 조직을 보유하고 운영하는 입장에서 매우 흥미로운 영역입니다.
특히 오역으로 인한 저희 직원과 본사 담당자와의 오해 발생이 제게는 꽤 큰 스트레스인데,
번역/통역 관련 AI의 급격한 발전과 특이점 도래를 진심으로 기원합니다.

아... 나도 쫌 살자...
동굴범
22/05/20 12:54
수정 아이콘
통역기가 실용화 되면 통역기용 언어가 만들어질 수도 있겠네요. 일상언어와는 다른게 통역이 용이한 좀 더 단순하고 문법에 맞고 발음에 신경쓰는...
문문문무
22/05/20 13:27
수정 아이콘
한 100년쯤뒤에는 그언어가 세계 표준언어의 모태가 되어있지 않을까요
동굴범
22/05/20 15:33
수정 아이콘
에스페란토 같은 식의 세계 표준어보다는 각 언어마다 통역에 용이한 형태로 변화할 것 같다는 생각입니다.
내국인끼리는 지금처럼 일상어 그대로 쓰겠지만 외국인과 대화할 때는 통역어(?)로 대화하는 식이죠.
문문문무
22/05/20 20:04
수정 아이콘
뭐 저는 그런현상이 100년쯤 지속되고나면 3~4가지로 통일되는쪽으로 수렴하지않을까 라는 생각이긴합니다만
100년은 너무 이를려나
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
454569 [게임] 갑자기 혜자가 된 핫소스통 [18] Lord Be Goja9750 22/05/20 9750
454568 [유머] 음주운전 한 사람들에게 기회를 줘야 한다고 생각함 [29] AKbizs8751 22/05/20 8751
454567 [서브컬쳐] 전통무협잘알 [22] roqur6522 22/05/20 6522
454566 [기타] 지금 현재 위기에 처한 대학들... [25] 우주전쟁10005 22/05/20 10005
454565 [방송] 종이의 집 한국판 공식 티저 [14] League of Legend5968 22/05/20 5968
454564 [유머] 싱글벙글 서양식 유머 [24] 한화생명우승하자7591 22/05/20 7591
454563 [기타] 한 번 맛을 알게 되는 순간 다시는 돌아갈 수 없는 것 [64] Aqours12381 22/05/20 12381
454561 [기타] 플스 가격 폭락할 예정입니다. [20] 닉넴길이제한8자8061 22/05/20 8061
454560 [유머] 주식/코인 하락시 본전을 찾기 위한 수익률 [16] Leeka7727 22/05/20 7727
454559 [기타] 왠지 신발 벗고 타야할 것 같은 차... [29] 우주전쟁9650 22/05/20 9650
454558 [유머] 세종이 찐 노잼인 이유 [30] roqur9039 22/05/20 9039
454557 [기타] 한때 커뮤니티들을 뜨겁게 달궜던 [222] 퍼블레인13223 22/05/20 13223
454556 [유머] 한국 거래소에 코인 1억이상 보유한 사람들 [27] Leeka9749 22/05/20 9749
454555 [유머] 노잼도시 대전? [31] AKbizs6983 22/05/20 6983
454554 [LOL] [MSI] 럼블스테이지 첫날 오늘경기 해외배당 [15] 아롱이다롱이5735 22/05/20 5735
454553 [기타] 현기차 : 쌤! 시험이 너무 어려워요 ㅜㅜ [15] 덴드로븀8482 22/05/20 8482
454552 [유머] 후방주의?) 이게 800만뷰라고? [6] League of Legend11185 22/05/20 11185
454550 [기타] 두 클래스 우승한 여자 오토바이 레이서 [3] League of Legend5603 22/05/20 5603
454549 [스타1] 김윤환을 울게 만드는 현재 아프리카 스타판.mp4 [13] insane6756 22/05/20 6756
454548 [기타] (후방주의) 복숭아팬티.mp4 [6] insane8180 22/05/20 8180
454547 [LOL] 구찌 가방 받은 페이커 [16] League of Legend7549 22/05/20 7549
454545 [기타] 구글의 최신 언어AI [21] 문문문무8593 22/05/20 8593
454542 [게임] 에픽게임즈 보더랜드3 무료배포.jpg [3] insane3995 22/05/20 3995
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로