PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2025/07/03 14:22:29
Name 전기쥐
File #1 1.png (1.12 MB), Download : 169
File #2 2.png (607.0 KB), Download : 169
출처 sbs
Subject [기타] 논문에 숨긴 '명령어', 일본 언론이 찾았다…카이스트 '발칵' (수정됨)







논문 속 '비밀 명령어'…"조작 아냐?" 카이스트 '발칵'
https://n.news.naver.com/mnews/article/055/0001271393?sid=102

연구 논문의 서론이 끝난 직후의 빈 공간을 마우스로 드래그했더니 숨겨진 문장이 드러납니다.

흰 바탕에 작은 흰색 글씨로 쓰여 있어서 사람은 볼 수 없지만 AI 모델은 이를 숨겨진 명령어로 인식합니다.

인간이 직접 동료 연구자의 논문 평가를 한다면 이 숨겨진 문장은 기능을 하지 않겠지만, 그 연구자가 귀찮아서 LLM에게 동료 연구자의 논문 평가를 떠넘긴다면 LLM은 이 숨겨진 명령어에 영향을 받겠죠.

일본 언론이 찾아낸 이 비밀 명령어가 숨겨져있는 이 논문은 카이스트의 것이고, 해당 언론은 카이스트 외에도 8개국 14개 유명 대학 연구자들이 논문 속에 이런 비밀 명령어를 몰래 숨겨 놓은 걸 찾았다고 합니다.

동료 연구 평가를 그냥 AI 모델에 맡기는 안일한 행태를 역이용한 이 방식은 이미 지난해 엔비디아의 어떤 엔지니어가 SNS에 공개한 바 있습니다.

카이스트는 적발된 논문 3건의 게재를 철회하고 진상 조사를 한다고 합니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
클레멘티아
25/07/03 14:24
수정 아이콘
평가를 ai에 무조건적으로 맡긴게 문제지...
보이지도 않는 글을 남긴게 더 큰 죄인지 모르겠네요
기무라탈리야
25/07/03 14:41
수정 아이콘
경비업체가 일을 안해서 도둑맞았다고 생각하면 둘 다 죄는 맞긴 한데 도둑질 한 게 더 큰죄가 아니라고 하기에도 좀 그러니

둘 다 큰 죄인걸로 하죠 크크
네모필라
25/07/03 15:05
수정 아이콘
읽지도 않고 AI 짬처리하는게 문제라는 의식이 있었으면 그냥 AI가 제대로 작동하지 못하게끔 하는 명령어를 넣으면 됐는데 긍정평가하라고 써놨으니 둘 다 죄죠
키르히아이스
25/07/03 15:13
수정 아이콘
여기 동의합니다
죄가 있다면 둘다 있긴하지만
어느쪽이 더 큰죄냐면 맡긴쪽이죠
No.99 AaronJudge
25/07/03 14:26
수정 아이콘
꼼수 썼네요……..
연구윤리 위반되는거 아닌가 모르겠어요
jjohny=쿠마
25/07/03 14:28
수정 아이콘
흥미롭게 보고 있는데요, 치팅이냐 아니냐 하면 약간 경계선상에 있는 행위가 아닐까 싶습니다. (굳이 분류하자면 치팅에 해당하는 것 같기는 한데)

- 논문 리뷰를 AI에게 위탁하거나 AI의 도움을 받거나 하는 행위에 문제가 있다면 있는 건데
- 그렇다고, AI 기반 논문 리뷰 행위에 대해 논문 작성자가 저렇게 방어하는 게 타당하다고 주장할 만한 논리를 만들기는 좀 어려워보입니다. 논문/연구 외적인 내용으로 논문 평가를 잘 받을 수 있도록 하는, 일종의 해킹이니까요.
- 각 기관별(대학, 저널 등) 지침에 따르면 될 것 같은데, 저런 행동에 직접적으로 관련된 지침은 아직 없을 것 같기도 하고요.
25/07/03 14:39
수정 아이콘
AI에 논문 평가를 맡기지 말라는 지침은 있을 것 같지만 논문에 명령어를 삽입하지 말라는 지침은 없을 것 같은데
기관들이 위원회를 소집해서 이 행위에 대해 심의한다고 하면 어떻게 결론을 낼 지 궁금하네요.
평가자와 연구자 둘 다 징계할 것인지, 평가자만 징계하고 논문은 재평가 할 것 인지, 연구자만 징계 할 것인지 등 루트가 많아 보이는데...
수리검
25/07/03 14:32
수정 아이콘
꼼수에 꼼수로 대응하는 건데
뭔가 판단하기 미묘하네요
안군시대
25/07/03 14:39
수정 아이콘
실제로도 챗지피티한테 요약정리하게 한 다음에 그걸 가지고 평가하는 일이 많은가보군요?
25/07/03 14:45
수정 아이콘
이제 저 문구들을 세로드립처럼 안보이게 넣으면 되겠군
전자수도승
25/07/03 14:57
수정 아이콘
논문 저자와 논문 검수자 모두 상응하는 대가를 치뤄야죠
"학자" 타이틀이란게 밥먹고 할짓이 그건데 그걸 가라쳤으면......
김삼관
25/07/03 15:08
수정 아이콘
공감이 가네요..
25/07/03 15:20
수정 아이콘
그런데 논문 리뷰라는 것은 대개 무료 자원봉사 같은 거라서 '상응하는 대가를 치른다'는 것이 뭐가 있으려나 모르겠습니다.
나른한우주인
25/07/03 15:43
수정 아이콘
논문 리뷰 못하는 학자라는 타이틀이 달리는거 정도 같은데… 이게 크다면 클 수 있겠죠.
시무룩
25/07/03 15:15
수정 아이콘
개인적으로는 AI에 맡긴쪽이 좀 더 잘못한 것 같습니다
카이스트는 편법, AI에 맡긴 사람은 위법이란 느낌이네요
Ashen One
25/07/03 15:20
수정 아이콘
리뷰를 AI에 맡긴게 문제인가?
-> 리뷰어가 읽어보지 않고 AI에만 의존해 리뷰했으면 당연히 문제.
리뷰를 AI에 맡길 경우를 노려 숨겨진 명령어를 숨겨놓은 것이 문제인가?
-> 연구 외적인 도구로 논문의 억셉을 노렸으니 이 또한 당연히 문제.

리뷰어나 오서 둘다 문제로 보입니다.
Liberalist
25/07/03 15:26
수정 아이콘
AI에 리뷰 떠넘긴 쪽이나, 그걸 악용한 측이나 쌍방 책임이라고 생각합니다.
피어 리뷰에 대가성 부족한거야 하루 이틀이 아니지만, 그런 핑계 댈거면 아예 리뷰를 안 했어야죠. 학자적 양심은 개한테나 줬나.
그렇다고 그런 맹점을 악용해 명령어 삽입한 인간이 잘했냐면 그건 절대 아니고, 자질이 부족하니 학계에서 완전 퇴출시켜 마땅하다 봅니다.
25/07/03 15:28
수정 아이콘
비율은 나중문제고 쌍방과실은 확실하죠
Far Niente
25/07/03 15:38
수정 아이콘
AI에게 리뷰 안맡겼으면 문제 없었잖아?
로즈엘
25/07/03 15:42
수정 아이콘
AI 리뷰가 필수라면 그걸 회피하는건 큰 문제라고 보는데. 그게 아니라면 AI로 돌린 쪽이 책임이 더 크지 않나.
다람쥐룰루
25/07/03 15:50
수정 아이콘
저 논문을 긍정적으로 평가한 교수들도 다 제명해야하는거 아닌가요?
쵸젠뇽밍
25/07/03 15:53
수정 아이콘
그냥 좋은 논문일 수도 있죠. 아무것도 믿을 수 없지만.
긍정평가를 한 교수들에 대해서 조사는 필요하다고 봅니다.
쵸젠뇽밍
25/07/03 15:52
수정 아이콘
책임이야 당연히 저런 걸 적은 게 더 잘못한 거죠. 암암리에 다들 하기 때문에 그렇게 안하면 불이익을 받을 것 같은 경우에는 이 사실을 밝혀서 불이익을 피해야했고요.

둘 다 치팅이지만, 한 쪽은 일을 대충하기 위해서고, 한 쪽은 부당한 이익을 위해서 입니다. 사회실험 목적도 아닐테고, 대놓고 치팅을 쓴 집단은 연구계에서 어지간하면 배제해야죠. 저 사람들이 저 치팅만 했다고 누가 장담할 수 있습니까?
25/07/03 16:41
수정 아이콘
역시 이런거는 항상 앞서나가는 눈치게임의 민족
달달한고양이
25/07/03 16:42
수정 아이콘
(수정됨) 그냥 창의력 대장들이네.....허허. 남의 미출판데이터니까 함부로 외부공개를 하면 안되는데 그걸 걍 귀찮다고 통으로 올리는 리뷰어나, 그렇다고 저걸 저렇게.....가오가 있지 짜치네요....

논문을 쓰는 입장이라서 그런가, 대충하는 리뷰어들은 한심하네 정도라면 치팅한 쪽은 솔직히 햐 할많하않.....
25/07/03 18:55
수정 아이콘
Arxiv에 올라온 논문들 얘기인것 같은데 갑자기 논문 리뷰어 얘기가 나와서 당황스럽기는 하네요 arxiv는 그냥 논문 리뷰 없이 올리는 곳입니다. 그리고 논문 리뷰는 학자들이 마치 한강변 쓰레기 줍듯 그냥 봉사활동 하는 것인데 리뷰어들을 처벌한다는 얘기도 재밌네요. 주말마다 봉사활동하는 사람들에게 제대로 안하면 앞으로 봉사활동을 못하는 엄벌을 내리겠습니다! 하는 느낌이랄까요. 저 기사에도 구체적으로 누가 ai로 논문 리뷰하다 적발됐다 뭐 그런 얘기는 전혀 없고 에디터가 아닌 제삼자가 적발할 수도 없습니다
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
516854 [유머] 작가 : 얘 진자 나쁜 여자에요! [22] 길갈5540 25/07/03 5540
516853 [유머] 빅오타 [18] 개인의선택3840 25/07/03 3840
516852 [유머] 언론 : 이 기술책임자의 경력을 소개해드리겠습니다 [23] STEAM5244 25/07/03 5244
516851 [기타] 논문에 숨긴 '명령어', 일본 언론이 찾았다…카이스트 '발칵' [26] 전기쥐5443 25/07/03 5443
516850 [기타] 비나이다 비나이다 올 여름도 시원하게 보내게 해주시옵소서 [7] 카루오스3232 25/07/03 3232
516849 [유머] (오피셜)장마 종료.jpg [46] 핑크솔져6571 25/07/03 6571
516847 [기타] 유튜브에서 '오리지널이 아닌 컨텐츠'는 곧 수익화가 안 될 수도 있다 [19] 유머5000 25/07/03 5000
516846 [방송] 한여름에도 전기세 0원(부가세별도), 건축 업계 부부의 집 [32] 김삼관5092 25/07/03 5092
516845 [유머] 저는 네이버 산하기업에서 프리랜서로 일해요 [15] 유머4690 25/07/03 4690
516844 [유머] 정부 오피셜) 멋진 이성이 SNS에서 당신에게 메시지를 보낼 확률은 없다. [19] EnergyFlow4888 25/07/03 4888
516843 [음식] 달고나 쌍쌍바 [1] Croove2632 25/07/03 2632
516842 [기타] 실시간 난리난 미국.jpg [34] 캬라8328 25/07/03 8328
516841 [동물&귀욤] 고양이의 놀라운 위기 감지 능력 [2] 길갈2999 25/07/03 2999
516840 [기타] ??: 어린친구들은,; 체스를..잘 못두는구만;;; [50] Lord Be Goja6882 25/07/03 6882
516839 [기타] 139년 역사의 델몬트 파산 [25] 롤격발매기원6436 25/07/03 6436
516838 [연예인] 립서비스가 다소 과한 스칼렛 요한슨.x [22] 김유라8442 25/07/03 8442
516837 [LOL] 뭐라고? T1 오너 친누나가 대만에서 활동하신다고? [8] 아롱이다롱이6951 25/07/02 6951
516836 [유머] 일본어가 배울수록 어려운 이유 [43] 인간흑인대머리남캐8063 25/07/02 8063
516835 [동물&귀욤] 유치원 공익하는 만화.manhwa [7] 유머5116 25/07/02 5116
516834 [음식] (배달) 단골집에 다른 메뉴를 시켜보았다. [27] Croove7533 25/07/02 7533
516833 [유머] 3일만에 6천만뷰 찍은 오겜3 [36] 두드리짱7930 25/07/02 7930
516832 [서브컬쳐] 그래...집에 누전이 났는데 싸게 좀 봐달라고? [16] 공기청정기6788 25/07/02 6788
516831 [서브컬쳐] 사실상 사망선고가 떠버린 게임 [11] 깃털달린뱀7545 25/07/02 7545
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로