PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2025/07/03 14:22:29
Name 전기쥐
File #1 1.png (1.12 MB), Download : 181
File #2 2.png (607.0 KB), Download : 179
출처 sbs
Subject [기타] 논문에 숨긴 '명령어', 일본 언론이 찾았다…카이스트 '발칵' (수정됨)







논문 속 '비밀 명령어'…"조작 아냐?" 카이스트 '발칵'
https://n.news.naver.com/mnews/article/055/0001271393?sid=102

연구 논문의 서론이 끝난 직후의 빈 공간을 마우스로 드래그했더니 숨겨진 문장이 드러납니다.

흰 바탕에 작은 흰색 글씨로 쓰여 있어서 사람은 볼 수 없지만 AI 모델은 이를 숨겨진 명령어로 인식합니다.

인간이 직접 동료 연구자의 논문 평가를 한다면 이 숨겨진 문장은 기능을 하지 않겠지만, 그 연구자가 귀찮아서 LLM에게 동료 연구자의 논문 평가를 떠넘긴다면 LLM은 이 숨겨진 명령어에 영향을 받겠죠.

일본 언론이 찾아낸 이 비밀 명령어가 숨겨져있는 이 논문은 카이스트의 것이고, 해당 언론은 카이스트 외에도 8개국 14개 유명 대학 연구자들이 논문 속에 이런 비밀 명령어를 몰래 숨겨 놓은 걸 찾았다고 합니다.

동료 연구 평가를 그냥 AI 모델에 맡기는 안일한 행태를 역이용한 이 방식은 이미 지난해 엔비디아의 어떤 엔지니어가 SNS에 공개한 바 있습니다.

카이스트는 적발된 논문 3건의 게재를 철회하고 진상 조사를 한다고 합니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
클레멘티아
25/07/03 14:24
수정 아이콘
평가를 ai에 무조건적으로 맡긴게 문제지...
보이지도 않는 글을 남긴게 더 큰 죄인지 모르겠네요
기무라탈리야
25/07/03 14:41
수정 아이콘
경비업체가 일을 안해서 도둑맞았다고 생각하면 둘 다 죄는 맞긴 한데 도둑질 한 게 더 큰죄가 아니라고 하기에도 좀 그러니

둘 다 큰 죄인걸로 하죠 크크
네모필라
25/07/03 15:05
수정 아이콘
읽지도 않고 AI 짬처리하는게 문제라는 의식이 있었으면 그냥 AI가 제대로 작동하지 못하게끔 하는 명령어를 넣으면 됐는데 긍정평가하라고 써놨으니 둘 다 죄죠
키르히아이스
25/07/03 15:13
수정 아이콘
여기 동의합니다
죄가 있다면 둘다 있긴하지만
어느쪽이 더 큰죄냐면 맡긴쪽이죠
No.99 AaronJudge
25/07/03 14:26
수정 아이콘
꼼수 썼네요……..
연구윤리 위반되는거 아닌가 모르겠어요
jjohny=쿠마
25/07/03 14:28
수정 아이콘
흥미롭게 보고 있는데요, 치팅이냐 아니냐 하면 약간 경계선상에 있는 행위가 아닐까 싶습니다. (굳이 분류하자면 치팅에 해당하는 것 같기는 한데)

- 논문 리뷰를 AI에게 위탁하거나 AI의 도움을 받거나 하는 행위에 문제가 있다면 있는 건데
- 그렇다고, AI 기반 논문 리뷰 행위에 대해 논문 작성자가 저렇게 방어하는 게 타당하다고 주장할 만한 논리를 만들기는 좀 어려워보입니다. 논문/연구 외적인 내용으로 논문 평가를 잘 받을 수 있도록 하는, 일종의 해킹이니까요.
- 각 기관별(대학, 저널 등) 지침에 따르면 될 것 같은데, 저런 행동에 직접적으로 관련된 지침은 아직 없을 것 같기도 하고요.
25/07/03 14:39
수정 아이콘
AI에 논문 평가를 맡기지 말라는 지침은 있을 것 같지만 논문에 명령어를 삽입하지 말라는 지침은 없을 것 같은데
기관들이 위원회를 소집해서 이 행위에 대해 심의한다고 하면 어떻게 결론을 낼 지 궁금하네요.
평가자와 연구자 둘 다 징계할 것인지, 평가자만 징계하고 논문은 재평가 할 것 인지, 연구자만 징계 할 것인지 등 루트가 많아 보이는데...
수리검
25/07/03 14:32
수정 아이콘
꼼수에 꼼수로 대응하는 건데
뭔가 판단하기 미묘하네요
안군시대
25/07/03 14:39
수정 아이콘
실제로도 챗지피티한테 요약정리하게 한 다음에 그걸 가지고 평가하는 일이 많은가보군요?
25/07/03 14:45
수정 아이콘
이제 저 문구들을 세로드립처럼 안보이게 넣으면 되겠군
전자수도승
25/07/03 14:57
수정 아이콘
논문 저자와 논문 검수자 모두 상응하는 대가를 치뤄야죠
"학자" 타이틀이란게 밥먹고 할짓이 그건데 그걸 가라쳤으면......
김삼관
25/07/03 15:08
수정 아이콘
공감이 가네요..
25/07/03 15:20
수정 아이콘
그런데 논문 리뷰라는 것은 대개 무료 자원봉사 같은 거라서 '상응하는 대가를 치른다'는 것이 뭐가 있으려나 모르겠습니다.
나른한우주인
25/07/03 15:43
수정 아이콘
논문 리뷰 못하는 학자라는 타이틀이 달리는거 정도 같은데… 이게 크다면 클 수 있겠죠.
시무룩
25/07/03 15:15
수정 아이콘
개인적으로는 AI에 맡긴쪽이 좀 더 잘못한 것 같습니다
카이스트는 편법, AI에 맡긴 사람은 위법이란 느낌이네요
Ashen One
25/07/03 15:20
수정 아이콘
리뷰를 AI에 맡긴게 문제인가?
-> 리뷰어가 읽어보지 않고 AI에만 의존해 리뷰했으면 당연히 문제.
리뷰를 AI에 맡길 경우를 노려 숨겨진 명령어를 숨겨놓은 것이 문제인가?
-> 연구 외적인 도구로 논문의 억셉을 노렸으니 이 또한 당연히 문제.

리뷰어나 오서 둘다 문제로 보입니다.
Liberalist
25/07/03 15:26
수정 아이콘
AI에 리뷰 떠넘긴 쪽이나, 그걸 악용한 측이나 쌍방 책임이라고 생각합니다.
피어 리뷰에 대가성 부족한거야 하루 이틀이 아니지만, 그런 핑계 댈거면 아예 리뷰를 안 했어야죠. 학자적 양심은 개한테나 줬나.
그렇다고 그런 맹점을 악용해 명령어 삽입한 인간이 잘했냐면 그건 절대 아니고, 자질이 부족하니 학계에서 완전 퇴출시켜 마땅하다 봅니다.
25/07/03 15:28
수정 아이콘
비율은 나중문제고 쌍방과실은 확실하죠
Far Niente
25/07/03 15:38
수정 아이콘
AI에게 리뷰 안맡겼으면 문제 없었잖아?
로즈엘
25/07/03 15:42
수정 아이콘
AI 리뷰가 필수라면 그걸 회피하는건 큰 문제라고 보는데. 그게 아니라면 AI로 돌린 쪽이 책임이 더 크지 않나.
다람쥐룰루
25/07/03 15:50
수정 아이콘
저 논문을 긍정적으로 평가한 교수들도 다 제명해야하는거 아닌가요?
쵸젠뇽밍
25/07/03 15:53
수정 아이콘
그냥 좋은 논문일 수도 있죠. 아무것도 믿을 수 없지만.
긍정평가를 한 교수들에 대해서 조사는 필요하다고 봅니다.
쵸젠뇽밍
25/07/03 15:52
수정 아이콘
책임이야 당연히 저런 걸 적은 게 더 잘못한 거죠. 암암리에 다들 하기 때문에 그렇게 안하면 불이익을 받을 것 같은 경우에는 이 사실을 밝혀서 불이익을 피해야했고요.

둘 다 치팅이지만, 한 쪽은 일을 대충하기 위해서고, 한 쪽은 부당한 이익을 위해서 입니다. 사회실험 목적도 아닐테고, 대놓고 치팅을 쓴 집단은 연구계에서 어지간하면 배제해야죠. 저 사람들이 저 치팅만 했다고 누가 장담할 수 있습니까?
25/07/03 16:41
수정 아이콘
역시 이런거는 항상 앞서나가는 눈치게임의 민족
달달한고양이
25/07/03 16:42
수정 아이콘
(수정됨) 그냥 창의력 대장들이네.....허허. 남의 미출판데이터니까 함부로 외부공개를 하면 안되는데 그걸 걍 귀찮다고 통으로 올리는 리뷰어나, 그렇다고 저걸 저렇게.....가오가 있지 짜치네요....

논문을 쓰는 입장이라서 그런가, 대충하는 리뷰어들은 한심하네 정도라면 치팅한 쪽은 솔직히 햐 할많하않.....
25/07/03 18:55
수정 아이콘
Arxiv에 올라온 논문들 얘기인것 같은데 갑자기 논문 리뷰어 얘기가 나와서 당황스럽기는 하네요 arxiv는 그냥 논문 리뷰 없이 올리는 곳입니다. 그리고 논문 리뷰는 학자들이 마치 한강변 쓰레기 줍듯 그냥 봉사활동 하는 것인데 리뷰어들을 처벌한다는 얘기도 재밌네요. 주말마다 봉사활동하는 사람들에게 제대로 안하면 앞으로 봉사활동을 못하는 엄벌을 내리겠습니다! 하는 느낌이랄까요. 저 기사에도 구체적으로 누가 ai로 논문 리뷰하다 적발됐다 뭐 그런 얘기는 전혀 없고 에디터가 아닌 제삼자가 적발할 수도 없습니다
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
518492 [유머] 김종국이 결혼하나보네 짐작한 이유. [10] 캬라7671 25/08/18 7671
518491 [유머] 외주 넣을때 코딩이 잘못됨 [26] 김삼관6427 25/08/18 6427
518490 [기타] 더위가 돌아왔습니다. [36] 카루오스5623 25/08/18 5623
518487 [방송] 특전사 실전 호신술 [17] Croove4681 25/08/18 4681
518486 [기타] 나 결국 임신했어 [8] Lord Be Goja6386 25/08/18 6386
518485 [기타] 알래스카 정상회담에서 나온 레드카펫 의전 밈 [7] 베라히3960 25/08/18 3960
518484 [유머] 잇섭의 폴드7 한 달 사용 후기 [28] 두드리짱5840 25/08/18 5840
518483 [LOL] [LEC] 포비曰, "오늘 내가 너무 못했다...하지만..." [10] 매번같은2849 25/08/18 2849
518482 [기타] 먹을 수 있는 버섯의 가장 큰 특징 [7] 일사공사일육3949 25/08/18 3949
518481 [음식] 드디어 도전적인 메뉴를 시작하는 버거킹 [17] 퍼블레인4598 25/08/18 4598
518480 [게임] 라스트 오리진으로 넘어간 소울워커 캐릭터들을 본 유저들의 심정 [9] 묻고 더블로 가!2553 25/08/18 2553
518479 [방송] 이제 사람이 없어서 은퇴한 CEO 부르는 유퀴즈 [23] 롤격발매기원5176 25/08/18 5176
518477 [기타] 여자가 너무 급하다 vs 이해되는 상황이다 [76] 묻고 더블로 가!7925 25/08/18 7925
518476 [기타] 역대급이라는 온라인 이삭줍기 [21] VictoryFood9348 25/08/18 9348
518475 [서브컬쳐] 서브컬쳐 유명 허위매물 [14] 유머5643 25/08/18 5643
518474 [유머] 4년 묵은 쌀 (X) [10] 깃털달린뱀5250 25/08/18 5250
518472 [방송] 폴란드 국군의날 행사 대통령 연설 [62] Croove8619 25/08/17 8619
518471 [유머] 의외로 요즘 복지의 대상 [10] 깃털달린뱀8089 25/08/17 8089
518470 [유머] 우리 아이 숙취 해소엔 [4] 공기청정기5521 25/08/17 5521
518469 [유머] 소니가 케데헌을 팔았던 이유...JPG [22] 실제상황입니다7525 25/08/17 7525
518468 [서브컬쳐] 용돈 아빠 괴인 코스프레 [5] 카미트리아4443 25/08/17 4443
518467 [서브컬쳐] 몸에 열심히 낙서하는 만화.png [6] 유머5912 25/08/17 5912
518466 [유머] 얼마나 군대에 가고 싶었으면.... [28] Croove8675 25/08/17 8675
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로