PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2025/07/03 14:22:29
Name 전기쥐
File #1 1.png (1.12 MB), Download : 179
File #2 2.png (607.0 KB), Download : 179
출처 sbs
Subject [기타] 논문에 숨긴 '명령어', 일본 언론이 찾았다…카이스트 '발칵' (수정됨)







논문 속 '비밀 명령어'…"조작 아냐?" 카이스트 '발칵'
https://n.news.naver.com/mnews/article/055/0001271393?sid=102

연구 논문의 서론이 끝난 직후의 빈 공간을 마우스로 드래그했더니 숨겨진 문장이 드러납니다.

흰 바탕에 작은 흰색 글씨로 쓰여 있어서 사람은 볼 수 없지만 AI 모델은 이를 숨겨진 명령어로 인식합니다.

인간이 직접 동료 연구자의 논문 평가를 한다면 이 숨겨진 문장은 기능을 하지 않겠지만, 그 연구자가 귀찮아서 LLM에게 동료 연구자의 논문 평가를 떠넘긴다면 LLM은 이 숨겨진 명령어에 영향을 받겠죠.

일본 언론이 찾아낸 이 비밀 명령어가 숨겨져있는 이 논문은 카이스트의 것이고, 해당 언론은 카이스트 외에도 8개국 14개 유명 대학 연구자들이 논문 속에 이런 비밀 명령어를 몰래 숨겨 놓은 걸 찾았다고 합니다.

동료 연구 평가를 그냥 AI 모델에 맡기는 안일한 행태를 역이용한 이 방식은 이미 지난해 엔비디아의 어떤 엔지니어가 SNS에 공개한 바 있습니다.

카이스트는 적발된 논문 3건의 게재를 철회하고 진상 조사를 한다고 합니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
클레멘티아
25/07/03 14:24
수정 아이콘
평가를 ai에 무조건적으로 맡긴게 문제지...
보이지도 않는 글을 남긴게 더 큰 죄인지 모르겠네요
기무라탈리야
25/07/03 14:41
수정 아이콘
경비업체가 일을 안해서 도둑맞았다고 생각하면 둘 다 죄는 맞긴 한데 도둑질 한 게 더 큰죄가 아니라고 하기에도 좀 그러니

둘 다 큰 죄인걸로 하죠 크크
네모필라
25/07/03 15:05
수정 아이콘
읽지도 않고 AI 짬처리하는게 문제라는 의식이 있었으면 그냥 AI가 제대로 작동하지 못하게끔 하는 명령어를 넣으면 됐는데 긍정평가하라고 써놨으니 둘 다 죄죠
키르히아이스
25/07/03 15:13
수정 아이콘
여기 동의합니다
죄가 있다면 둘다 있긴하지만
어느쪽이 더 큰죄냐면 맡긴쪽이죠
No.99 AaronJudge
25/07/03 14:26
수정 아이콘
꼼수 썼네요……..
연구윤리 위반되는거 아닌가 모르겠어요
jjohny=쿠마
25/07/03 14:28
수정 아이콘
흥미롭게 보고 있는데요, 치팅이냐 아니냐 하면 약간 경계선상에 있는 행위가 아닐까 싶습니다. (굳이 분류하자면 치팅에 해당하는 것 같기는 한데)

- 논문 리뷰를 AI에게 위탁하거나 AI의 도움을 받거나 하는 행위에 문제가 있다면 있는 건데
- 그렇다고, AI 기반 논문 리뷰 행위에 대해 논문 작성자가 저렇게 방어하는 게 타당하다고 주장할 만한 논리를 만들기는 좀 어려워보입니다. 논문/연구 외적인 내용으로 논문 평가를 잘 받을 수 있도록 하는, 일종의 해킹이니까요.
- 각 기관별(대학, 저널 등) 지침에 따르면 될 것 같은데, 저런 행동에 직접적으로 관련된 지침은 아직 없을 것 같기도 하고요.
25/07/03 14:39
수정 아이콘
AI에 논문 평가를 맡기지 말라는 지침은 있을 것 같지만 논문에 명령어를 삽입하지 말라는 지침은 없을 것 같은데
기관들이 위원회를 소집해서 이 행위에 대해 심의한다고 하면 어떻게 결론을 낼 지 궁금하네요.
평가자와 연구자 둘 다 징계할 것인지, 평가자만 징계하고 논문은 재평가 할 것 인지, 연구자만 징계 할 것인지 등 루트가 많아 보이는데...
수리검
25/07/03 14:32
수정 아이콘
꼼수에 꼼수로 대응하는 건데
뭔가 판단하기 미묘하네요
안군시대
25/07/03 14:39
수정 아이콘
실제로도 챗지피티한테 요약정리하게 한 다음에 그걸 가지고 평가하는 일이 많은가보군요?
25/07/03 14:45
수정 아이콘
이제 저 문구들을 세로드립처럼 안보이게 넣으면 되겠군
전자수도승
25/07/03 14:57
수정 아이콘
논문 저자와 논문 검수자 모두 상응하는 대가를 치뤄야죠
"학자" 타이틀이란게 밥먹고 할짓이 그건데 그걸 가라쳤으면......
김삼관
25/07/03 15:08
수정 아이콘
공감이 가네요..
25/07/03 15:20
수정 아이콘
그런데 논문 리뷰라는 것은 대개 무료 자원봉사 같은 거라서 '상응하는 대가를 치른다'는 것이 뭐가 있으려나 모르겠습니다.
나른한우주인
25/07/03 15:43
수정 아이콘
논문 리뷰 못하는 학자라는 타이틀이 달리는거 정도 같은데… 이게 크다면 클 수 있겠죠.
시무룩
25/07/03 15:15
수정 아이콘
개인적으로는 AI에 맡긴쪽이 좀 더 잘못한 것 같습니다
카이스트는 편법, AI에 맡긴 사람은 위법이란 느낌이네요
Ashen One
25/07/03 15:20
수정 아이콘
리뷰를 AI에 맡긴게 문제인가?
-> 리뷰어가 읽어보지 않고 AI에만 의존해 리뷰했으면 당연히 문제.
리뷰를 AI에 맡길 경우를 노려 숨겨진 명령어를 숨겨놓은 것이 문제인가?
-> 연구 외적인 도구로 논문의 억셉을 노렸으니 이 또한 당연히 문제.

리뷰어나 오서 둘다 문제로 보입니다.
Liberalist
25/07/03 15:26
수정 아이콘
AI에 리뷰 떠넘긴 쪽이나, 그걸 악용한 측이나 쌍방 책임이라고 생각합니다.
피어 리뷰에 대가성 부족한거야 하루 이틀이 아니지만, 그런 핑계 댈거면 아예 리뷰를 안 했어야죠. 학자적 양심은 개한테나 줬나.
그렇다고 그런 맹점을 악용해 명령어 삽입한 인간이 잘했냐면 그건 절대 아니고, 자질이 부족하니 학계에서 완전 퇴출시켜 마땅하다 봅니다.
25/07/03 15:28
수정 아이콘
비율은 나중문제고 쌍방과실은 확실하죠
Far Niente
25/07/03 15:38
수정 아이콘
AI에게 리뷰 안맡겼으면 문제 없었잖아?
로즈엘
25/07/03 15:42
수정 아이콘
AI 리뷰가 필수라면 그걸 회피하는건 큰 문제라고 보는데. 그게 아니라면 AI로 돌린 쪽이 책임이 더 크지 않나.
다람쥐룰루
25/07/03 15:50
수정 아이콘
저 논문을 긍정적으로 평가한 교수들도 다 제명해야하는거 아닌가요?
쵸젠뇽밍
25/07/03 15:53
수정 아이콘
그냥 좋은 논문일 수도 있죠. 아무것도 믿을 수 없지만.
긍정평가를 한 교수들에 대해서 조사는 필요하다고 봅니다.
쵸젠뇽밍
25/07/03 15:52
수정 아이콘
책임이야 당연히 저런 걸 적은 게 더 잘못한 거죠. 암암리에 다들 하기 때문에 그렇게 안하면 불이익을 받을 것 같은 경우에는 이 사실을 밝혀서 불이익을 피해야했고요.

둘 다 치팅이지만, 한 쪽은 일을 대충하기 위해서고, 한 쪽은 부당한 이익을 위해서 입니다. 사회실험 목적도 아닐테고, 대놓고 치팅을 쓴 집단은 연구계에서 어지간하면 배제해야죠. 저 사람들이 저 치팅만 했다고 누가 장담할 수 있습니까?
25/07/03 16:41
수정 아이콘
역시 이런거는 항상 앞서나가는 눈치게임의 민족
달달한고양이
25/07/03 16:42
수정 아이콘
(수정됨) 그냥 창의력 대장들이네.....허허. 남의 미출판데이터니까 함부로 외부공개를 하면 안되는데 그걸 걍 귀찮다고 통으로 올리는 리뷰어나, 그렇다고 저걸 저렇게.....가오가 있지 짜치네요....

논문을 쓰는 입장이라서 그런가, 대충하는 리뷰어들은 한심하네 정도라면 치팅한 쪽은 솔직히 햐 할많하않.....
25/07/03 18:55
수정 아이콘
Arxiv에 올라온 논문들 얘기인것 같은데 갑자기 논문 리뷰어 얘기가 나와서 당황스럽기는 하네요 arxiv는 그냥 논문 리뷰 없이 올리는 곳입니다. 그리고 논문 리뷰는 학자들이 마치 한강변 쓰레기 줍듯 그냥 봉사활동 하는 것인데 리뷰어들을 처벌한다는 얘기도 재밌네요. 주말마다 봉사활동하는 사람들에게 제대로 안하면 앞으로 봉사활동을 못하는 엄벌을 내리겠습니다! 하는 느낌이랄까요. 저 기사에도 구체적으로 누가 ai로 논문 리뷰하다 적발됐다 뭐 그런 얘기는 전혀 없고 에디터가 아닌 제삼자가 적발할 수도 없습니다
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
517007 [유머] 워터밤 권은비 직캠을 대하는 사람들의 딜레마 [11] EnergyFlow4206 25/07/07 4206
517006 [기타] 충격적인 직장인 주4일제 찬반 비율 [58] 묻고 더블로 가!4321 25/07/07 4321
517005 [유머] 오징어게임 미국판 가상 캐스팅(초호화) [19] Croove2864 25/07/07 2864
517004 [기타] 현재기준 권은비도 이길 수 없는 사람.jpg [14] insane4677 25/07/07 4677
517002 [방송] 의외로 오래가는 프로그램 [18] Croove4167 25/07/07 4167
517001 [유머] 골드문 커피 사업 [14] 삼성전자4186 25/07/07 4186
517000 [유머] 현역 웹소설 작가가 ai 써보고 현타 느끼는 글 [50] 여기4848 25/07/07 4848
516999 [유머] 가리봉동에서 아줌마를 깨물면? [17] 크산테4598 25/07/07 4598
516998 [기타] 쥬라기 공원 신작 근황 [30] 카루오스5397 25/07/07 5397
516997 [유머] 백악관 셰프의 추스테이크 반응 [22] 두드리짱7593 25/07/07 7593
516996 [기타] 인터넷 방송인 우왁굳 사과문 [69] 슬로10769 25/07/07 10769
516995 [유머] 누가 생각난다는 모의고사 지문 [5] 로즈마리6073 25/07/07 6073
516994 [유머] SKT 해킹피해 고객 보상안 [13] VictoryFood6717 25/07/07 6717
516993 [게임] 스파6 믹스업 대회 결과 [4] STEAM2509 25/07/06 2509
516992 [서브컬쳐] 멀쩡하게 미남미녀 그려놓고 평범한외모라고우기는거 꼴받아요 [10] 키모이맨6950 25/07/06 6950
516991 [유머] 인생의 길이란 무엇인가.manhwa [2] 인간흑인대머리남캐4308 25/07/06 4308
516990 [유머] 일본의 19세 이상 필수 단어.jpg [11] 된장까스7447 25/07/06 7447
516989 [LOL] AI가 알려주는 구마유시 챔프폭 [22] 쎌라비6191 25/07/06 6191
516988 [음식] 옛날 삼양라면 맛이 이랬을까? [13] 별이지는언덕7086 25/07/06 7086
516987 [유머] 전세계 어린이팬들을 사로잡은 '케이팝데몬헌터스' [31] 핑크솔져7364 25/07/06 7364
516986 [유머] 매 맞는 남편 [5] 길갈5786 25/07/06 5786
516985 [기타] 강릉에 계신 분들, 괜찮으십니까? [45] VictoryFood10563 25/07/06 10563
516984 [방송] 성대모사 잘하는 처녀귀신 [8] Croove6002 25/07/06 6002
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로