PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2018/10/12 10:03:46
Name 퀀텀리프
File #1 20181012_100030.jpg (100.8 KB), Download : 37
출처 뉴스
Link #2 http://news.mt.co.kr/mtview.php?no=2018101111173651011
Subject [유머] 부전자전


아마존에서 AI채용 프로그램 만듬
아마존 자체 데이터를 이용하여 학습함
여성을 차별하는 경향을 발견함....폐기됨

음.. 흠터레스팅..


통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
18/10/12 10:10
수정 아이콘
이런 거 보면 인간에게 봉사하라고 인공지능 만들어놨더니 인류 멸절을 시도할지도 모른다는 상상이 허황된 것 같지도 않네요
닭장군
18/10/12 10:10
수정 아이콘
에엑따
18/10/12 10:11
수정 아이콘
여혐이네요.
티모대위
18/10/12 10:12
수정 아이콘
인공지능은 다른거 없죠... 배운대로 하는 친구들이에요.
좀 무서운게 있다면, 얘네가 뭘 배우는지 일일이 체크해두지 않으면, 배운 후에는 머릿속에 뭐가 들어있는지 알수가 없죠..
18/10/12 11:00
수정 아이콘
그것은 딥러닝의 경우 대체로 그렇고 모든 머신러닝 알고리즘이 그렇진 않습니다.
뭐 요즘 딥러닝이 대세인 점을 생각해보면 틀린말은 아니지만요...
그래서 요즘 연구에서는 딥러닝의 내부를 시각화 하고 통제 가능한 알고리즘의 방향이 제시되고 있습니다.
티모대위
18/10/12 11:15
수정 아이콘
그런 연구가 일찍 시작돼서 다행인 것 같아요.
속내를 알 수 없는 기계란 무섭죠.
퀀텀리프
18/10/12 10:13
수정 아이콘
AI : 내가 뭘 잘못했다고 ? 그렇게 가르쳐 줬잖아 !!
복타르
18/10/12 10:21
수정 아이콘
AI조차 못이기는 갓페미...
인생의낭비
18/10/12 10:21
수정 아이콘
저도 기계학습은 조금밖에 모르지만, 글쎄요 프로그램의 학습목표나 채점 기준(scoring function)이 뭐였는지를 알 수 없는 이상 뭐라 판단하기 힘든 문제입니다.

가령 인공지능의 학습목표가 번거로운 서류심사를 대체하기 위해 실제 인간 심사자에게 고평가받는/혹은 최종합격자의 지원서를 판별해내는 거였다고 하면, AI가 여성을 차별하는 경향을 보였다는 건 실제 인간 심사자들도 여성을 차별하는 경향을 보이며 인공지능은 그 차별을 잘 모사해낸 것뿐이라고 설명할 수 있겠죠. 그럼 이건 오히려 성차별의 심각성을 강조하는 근거가 됩니다.

반면 학습목표가 업무성취도가 높은 사람의 지원서를 판별해내는 거였다고 하면 전혀 다른 의미를 끌어낼 수 있겠죠. 다른 조건이 동일한 경우에 일반적으로 남성의 업무성취도가 높다는 함의요.

이것도 그나마 이런 학습이 완벽하게 제대로 되기라도 했을 때 얘기인데요, 기사에도 나오듯이 특정 단어를 썼느냐 안 썼느냐 같은, 상식적으로 합격여부든 업무능력이든 아무 관계도 없을 feature들에 과적합되는 모습이 나타났다고도 하고, 자격 없는 지원자를 마구 추천했다고도 하지요. 그냥 학습이 제대로 안 돼서 이상한 결과들만 튀어나왔다는 소리고, 이래서야 아무런 함의도 섣불리 유추할 수가 없습니다. 아직 AI를 민감한 분야에 적용하기는 시기상조라는 사실 외에는요.
Mephisto
18/10/12 10:35
수정 아이콘
전자는 성립할 수 없다고 생각합니다.
아마존이라는 "기업"이 자신들이 사용하기 위해 "자체적"으로 만든 프로그램입니다.
기업이 겨우 번거로운 서류심사를 대체하기 위해서 AI를 도입을 시도한다는건 정말 비효율과 예산낭비의 극치죠.
후자의 목적이 주가 되고 전자의 목적은 덤입니다.
저격수
18/10/12 10:23
수정 아이콘
(수정됨) 10년간 알고리즘을 돌렸다면, imbalanced data에 대한 regularization이 아직 완전히 연구되기 전이니까 소수에 해당되는 정보가 완전히 무시될 가능성이 높겠네요. 악마는 디테일에 있으니 정확한 건 아무것도 모르겠지만요.
인생의낭비
18/10/12 10:35
수정 아이콘
사실 이미지/영상 분야에서는 이미 인공지능이 사람을 뛰어넘는 성능을 보이기도 하는 것에 비해서 텍스트 쪽에서의 성과는 아직 사람을 따라가려면 한참 먼 게 현 상황이니... 아마존이 외계인 붙잡은 게 아닌 이상 성공할 리 없는 연구 아니었나 싶기도 합니다
개발괴발
18/10/12 11:21
수정 아이콘
10년간 알고리즘을 돌린게 아니고
기존 "10년간의 데이터"를 2014년부터 1년간 연구했다고 돼 있네요.
윤정애기와3년차
18/10/12 11:33
수정 아이콘
특정하는 대상이 된 데이터가 10년 분량이라는 것이고, 연구는 근래에 이루어진 것입니다. 활용 대상이 된 데이터는 임밸런스한 게 100% 확실한 데이터고, 그에 대한 안배가 없었다면 구글 측에서 발표되지 않았겠죠.
저격수
18/10/12 11:35
수정 아이콘
이번 ICML에서도 그렇고 기계학습의 fairness에 대한 이슈가 중점적으로 다루어지고 있는데 그 일환인 것 같습니다.
개인적으로는, fairness 논문은 하나같이 제너럴한 문제의 regularization을 사람이 임의로 해서 사람이 원하는 결과를 얻는다 - 식의 결과라고 생각하지만요.
모리건 앤슬랜드
18/10/12 10:25
수정 아이콘
전자라면 페미계의 공격 근거가, 후자라면 페미계를 공격할만한 근거가 되겠네요. 진퇴양난이니 폐기한다는 결론이...
고기덕후
18/10/12 10:31
수정 아이콘
그냥 Supervised Learning을 했을텐데, 남성 지원자의 입사 후 실적이 유의미하게 높아서 여성 지원자에 대한 점수가 낮게 책정된 것 아닐까요? 그 이상도 이하도 아닐 것 같은데
Misaki Mei
18/10/12 10:40
수정 아이콘
그냥 지원서에 여성이라는 글자만 들어가면, '여성 체스 클럽' 같은 단어가 있어도 꼬박꼬박 감점했다는데, 체스클럽이 실적과 유의미한 관계가 있다고 보기는 어렵겠죠.
고기덕후
18/10/12 10:49
수정 아이콘
그런 결과가 나온 이유가 아마 training set을 이력서에 "여성"이라는 단어가 들어간 지원자 / 들어가지 않은 지원자로 분류했을 때 "여성"이라는 단어가 들어간 지원자의 실적이 유의미하게 낮았기 때문에 이 경향성을 파악한 것이 아닐까 추측하는겁니다. 딥 러닝이라는 것은 결국 training set에서 경향성을 파악하여 정교한 근사 함수를 만드는 것에 불과하니까요.
호러아니
18/10/12 11:07
수정 아이콘
(수정됨) 아마존에 있는 사람들이 그런 실수를 하진 않았겠지만, 데이터 수 쏠림에 의해서 발생할 수도 있어요. 정확한 설명은 아니지만 Recall precision 생각해보시면 될듯
arq.Gstar
18/10/12 11:28
수정 아이콘
저도 이게 무슨 대단한 큰 이유가 있었던건 아닐것같은데..
아무래도 아마존 내에서도 다른기업들처럼 남성들의 승진비율이 높았고 이때문에 AI도 결과적으로 여성들을 낮게 평가한게 아닌가 싶은데요..
18/10/12 10:43
수정 아이콘
아마 John 이라서 그럴지도.
아지르
18/10/12 10:44
수정 아이콘
???: 우리 녀성들이 만들었다면 한남 양남 다 탈락하고 같은 녀성만 채용할거 아니노 이거도 다 기울어진 운동장이노
Zoya Yaschenko
18/10/12 10:57
수정 아이콘
AI남 크크크
시린비
18/10/12 10:52
수정 아이콘
뭐 이래저래 디테일을 보기 전엔 뭐라하기 힘들겠죠
일반적으로 여성이 일찍 퇴사하는 경우가 많았을테고
각종 동아리야 뭐 꼭 도움된단 법이야 없으니
jjohny=쿠마
18/10/12 11:15
수정 아이콘
(수정됨) [AI가 10년간의 아마존 지원자 데이터를 분석한 결과 남성 지원자가 압도적으로 많았기 때문이다.]
본문에 이렇게 써 있는 건 안 보신 분들이 많은 모양입니다...

10년간 남성 지원자들이 더 많았기 때문에 생긴 bias이지,
업무능력이나 근태에서 남성에 비해 여성이 밀렸기 때문에 나온 결과라는 이야기는 없습니다.
관련 구글 검색결과 상위에 걸린 외신기사들 읽어봐도 대체로 그런 것 같네요.

더욱이, [성별에 대한 편향만이 문제가 아니었다. 키워드를 자체 분석하는 AI 채용 프로그램의 알고리즘 때문에 지원자의 기술이나 능력보다는 지원서에 쓴 능력과 관련 없는 단어들이 더 중요해졌다.] 라고 쓰여 있는 것을 보면,
AI가 습득한 성별편향의 원인이, '성별과 업무성취도와 관계 있기 때문'으로 볼 수 없는 것 같고,

대체로 외신에서도 AI도 bias나 부당한 차별을 학습할 수 있다는 게 드러난 사례로 보도하고 있는 것 같습니다.
저격수
18/10/12 11:24
수정 아이콘
알고리즘을 아마존 측에서 공개하진 않을 거고, 발생한 현상만 결과로 나와있는 상황에서, 그 현상의 원인은 여러 가지로 추측될 수 있다는 측면에서 믿지 못 하는 사람이 많은 것 같습니다.
jjohny=쿠마
18/10/12 11:28
수정 아이콘
(수정됨) 입장표명을 그대로 믿지 않을 수는 있겠으나,
그 '결과'에서 나타난 편향성이란 게, 성별편향 뿐만 아니라 업무능력과 상관 없는 많은 요소들에 중요도가 부여되었다는 것을 볼 때,
성별편향 역시도 업무능력 때문에 나타난 게 아닐 수 있다는 걸 암시한다는 거죠.

그래서, 이걸 좀 더 자세히 보도한 기사들을 봐도 대체로 '기술/개발 분야에서 성편향이 두드러진 것이 반영된 결과' 정도로 분석하고 있는데, 이걸 뒤집을 만한 근거는 희박해보입니다. (물론 뒤집을 만한 내용을 제가 못본 것일 수도 있는데, 누가 찾으시면 보여주셔도 좋을 것 같구요)
저격수
18/10/12 11:29
수정 아이콘
그 많은 요소들이 진짜로 업무능력과 상관없는지는 모르는 거죠.
혹시 모릅니까, 진짜로 여성 체스 클럽을 했으면 업무능력이 낮아질지.
jjohny=쿠마
18/10/12 11:33
수정 아이콘
그 '혹시 모릅니까'에 대하여, 어느 쪽에 더 개연성이 높다고 판단할지는 결국 각자의 몫이겠지만,
(윗댓글에 추가한 내용이지만) 특별히 공식적인 발표/언론측의 분석을 뒤집을 만한 내용은 못찾겠습니다.
저격수
18/10/12 11:38
수정 아이콘
그 "혹시 모릅니까"를 판단하라고 알고리즘을 돌린 걸 텐데, 거기에 인간의 가치판단을 넣는 것이 맞는 건지 모르겠습니다. 심하게 말하면 지록위마가 됩니다. raw data를 보지 않고서는 기사를 봐서는 아무 것도 믿을 수 없습니다.
소독용 에탄올
18/10/12 11:43
수정 아이콘
공개된바에 따르면 확실히 알 수 있는건 적어도 현재는 설명하기 어려운 오류(...)가 생겨서 해당 프로젝트를 중지함 정도 뿐이긴 합니다.
jjohny=쿠마
18/10/12 11:45
수정 아이콘
그 '혹시 모릅니까'를 제대로 판단했는데 인간의 가치판단에 부합하지 않아서 폐기한 건지,
아니면 '혹시 모릅니까'를 제대로 판단하지 못해서 폐기한 건지(이게 공식입장 및 각측의 분석이구요),
이 중 어느 쪽인지를 raw data 보기 전까지는 아무것도 믿지 못하겠다는 말씀이신 건데,

그렇다면 더욱더 이번 결과에서 알 수 있는 건 아무것도 없는 거죠. raw data 보기 전까지는.
저격수
18/10/12 11:47
수정 아이콘
네, 그렇습니다. 체리피킹인지 알고리즘이 틀렸는지 저희는 모르죠.
아마도 아마존에서 직접 연구중인 기술자들은 다 알고 있으면서 숨기는 거라 생각합니다만.
jjohny=쿠마
18/10/12 11:48
수정 아이콘
네 뭐 저는 반대일 것으로 생각하는 입장인 거구요.
윤정애기와3년차
18/10/12 11:38
수정 아이콘
사실 이렇게 시차륻 두고 객체의 특성과 결과를 연결짓는 부분에서는, 결과를 어떻게 측정할 것이냐에 대해서도 오류가 제법 발생합니다. 인적 평가의 결과값이라는게 인문환경과 관련 없이 이루어지지가 않거든요..
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
336375 [서브컬쳐] 오토코노코 그리는 법.jpg [7] 삭제됨6985 18/10/12 6985
336374 [유머] 신대륙의 기상....jpg [22] 아지르10879 18/10/12 10879
336373 [유머] 관상.jpg [22] 킬리언 머피9539 18/10/12 9539
336372 [유머] 이 아빠는 안 된다고 분명히 말했다. [18] 길갈9713 18/10/12 9713
336371 [LOL] 중국에서 만든 작년 롤드컵 미니다큐 [13] 내일은해가뜬다6372 18/10/12 6372
336370 [유머] 댕댕이 공격성 순위 TOP10 [9] TWICE쯔위8191 18/10/12 8191
336369 [유머] 알싸 잠정폐쇄로 다시보는 알싸 레전드 드립 모음.jpg [43] 손금불산입11541 18/10/12 11541
336368 [LOL] 보이는 라디오 롤드컵쇼 LCK..이대로 괜찮은가? [10] 녹색옷이젤다죠?7483 18/10/12 7483
336367 [LOL] 한국서버 솔랭이 최적의 환경인 이유.jpg [36] Archer9193 18/10/12 9193
336366 [유머] 직원이 뼈를 묻겠다는 회사.jpg [121] 아지매22576 18/10/12 22576
336365 [기타] gif) 피자빵 [5] 검은우산6673 18/10/12 6673
336363 [LOL] 지-렉스 엠티 선수의 한국어 실력 [4] kenzi6345 18/10/12 6345
336362 [방송] 하꼬 신입스트리머 홍보좀 하겠읍니다... [13] 아지르7117 18/10/12 7117
336361 [LOL] 전세계 소라카 유저들 심쿵하는 영상 [23] 야부키 나코8668 18/10/12 8668
336360 [유머] HDMI [13] Fin.6946 18/10/12 6946
336359 [유머] 본인이 X된걸 상황파악 못하는 자의 허세. [32] 삭제됨11387 18/10/12 11387
336358 [기타] 당신의 심장을 고문하러 왔습니다 [16] 검은우산8374 18/10/12 8374
336357 [기타] [맛 주의] 그래서 진짜 국어 전문가들에게 물어봤습니다. [47] 인생의낭비9829 18/10/12 9829
336356 [LOL] 미래를 본 페이커 [23] 스위치 메이커7649 18/10/12 7649
336354 [서브컬쳐] 디즈니 알라딘 실사영화 티저 트레일러 [15] 인간흑인대머리남캐6487 18/10/12 6487
336353 [동물&귀욤] 간만에 우리 쯔위 동영상 하나 [ 연예인 X ] [9] 삭제됨5202 18/10/12 5202
336352 [기타] 양파도 울고가는 블로거 [45] 도축하는 개장수11744 18/10/12 11744
336351 [유머] 컴덕들 특징.JPG [40] 황신강림13349 18/10/12 13349
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로