저는 개인적으로 인터넷에서 벌어지고 있는 토론에 대해 긍정적으로 보는 사람입니다. 많은 사람들의 총의를 모으면 보다 나은 결론에 도달할 수 있기 때문입니다. 하지만, 가끔 토론이 벌어지고 있는 게시물의 댓글을 보면 '어설프게 아는 것보다 모르는게 낫다.'라고 생각할 때가 있을 정도로 언론에서 단편적으로 나온 지식이 전부인 냥 우기는 경우를 많이 보이는데요.

대표적으로 정치 분야, 특히 제가 몸 담았었던 '여론조사' 부분입니다. 저는 여론조사 관련 자격증을 취득하고, 저를 주도로 하여 여론조사를 진행하여 방송 뉴스를 비롯하여 각종 언론에 보도되기도 하였고, 이를 인정받아 학교 교수님을 통해 모 여론조사 업체에서 일하게 되어 대표적으로 '모 정당 공천 여론조사'에 참여하여 실무 경험을 쌓은 바가 있습니다. 그래서 통계학과 교수님들이나 십 수년간 업으로 삼아 왔던 여론조사 전문가에는 많이 미치지 못하지만 그래도 각종 커뮤니티 게시판에 올라온 '이건 좀 아닌 것 같다.' 혹은 '어설프게 아는 것 같다'는 부분을 지적하고자 합니다.

1) 유선전화 조사는 2010년 지방선거에서 이미 망했던 방식이다? 여론조사는 무조건 휴대전화 조사로 해야한다?


가장 대표적으로 '어설프게 알고 있는 부분' 입니다. 분명 2010년 지방선거 여론조사는 실패한 것은 사실입니다. 하지만, 어떤 부분 때문에 틀렸는 지에 관한 사실 관계는 전혀 맞지 않습니다.



2010년 지방선거까지 여론조사로 사용된 방식은 바로 'KT 전화번호부' 방식입니다.  이 방식이 도입된 초기에는 대부분이 KT 집전화를 사용했고 전화번호부에 등재되었기 때문에 통했던 방식이나, 점점 KT집전화가 아닌 다른 회사 전화를 사용하거나 혹은 전화번호부에 등재하지 않는 경우가 많아서 2010년에 이르러서는 KT 전화번호부의 등재율이 50~60%밖에 안 되기 때문에 그동안 전국민의 절반만 대상으로 조사했던 것과 다름 없었습니다.

그래서 등장한 방식이 바로 임의번호 조사 'RDD'(Random Digit Dialing)방식입니다. 지역번호와 중간번호는 '조사하고 싶은 지역'으로 설정하고 마지막 'XXXX' 네자리를 랜덤으로 선정하는 방식입니다. 이 방식을 사용하면 전화번호부에 등재되지 않는 가구들도 조사 대상이 될 수 있습니다.

그래서 2010년 이후로 여론조사 방식은 '유선전화 RDD'로 바뀌었습니다. 물론, 이 방식도 집전화를 아예 없애거나 인터넷 전화로 바꾸는 경우가 많아서 '휴대전화 RDD'와 병행하는 경우가 많지만 휴대전화 RDD의 문제점은 원하는 지역에 대한 조사가 매우 힘들다는 점이 있습니다. 그래서 총선 여론조사는 '유선전화 RDD'로만 진행하는 경우가 많은데요. 여당에게 유리한 결과가 나온다는 지적하시는 분들이 많습니다.

실제 , 2012년 총선 여론조사에서도 대도시를 중심으로 한(특히 서울-경기) 조사에서는 실제 결과 보다 여권에 유리한 결과가 많았습니다. 하지만, 반대로 부산 등 지방이나 농촌 지역에서는 반대로 실제 결과보다 야권에 유리한 결과도 많았습니다. 그렇다면, 휴대전화 단독 조사나, 유선전화와 휴대전화를 결합한 조사는 정확하나?

여러분도 모르고, 언론에서도 한번도 보도되지 않은 '2014년 지방선거 여론조사 참사'를 보여드리고자 합니다.



바로, 2014년 지방선거에서 여론조사 공표 금지기간인 선거 바로 전날까지 조사된 여론조사입니다. 휴대전화, 유선전화가 결합된 RDD 방식인데 TNS, 미디어리서치, R&R이라는 대형 여론조사 업체에서 진행된 여론조사인데다가 표본수도 많이 늘렸지만(약 3만명 가량 조사) 실제 결과와 비교하면 엄청나게 2010년에 비견될 정도로 야권에게 유리한 결과가 나왔죠?

그래서, 꼭 휴대전화 RDD 방식만이 최선은 아니라는 것입니다. 실제 갤럽은 '100% 휴대전화 RDD', 리얼미터는 전국 여론조사에서는 '휴대전화 RDD 50% - 유선전화 RDD 50%'로 진행하고 있고, 지역구 여론조사에서는 유선전화 RDD에 스마트폰 어플을 결합한 형태로 진행하고 있습니다. 또한, 여론조사 방식은 다양하게 연구 중입니다. 안심번호 여론조사 방식이 법 개정으로 서서히 도입되고 있는 추세이며, 총선 지역구 여론조사 시 유선RDD를 보완한 '휴대전화 패널조사', '휴대전화 어플' 조사와 결합하고 있습니다.

특히, 휴대전화 어플 방식은 많은 분들이 쓰고 있는 어플과 결합하여 '여론조사 참여시 포인트 지급'을 해서 젊은 세대의 조사 참여를 보완하고 있습니다. 결론적으로 '유선전화 여론조사'는 악, '휴대전화 여론조사'는 선은 아닌 것입니다.


2) 응답률
여당 지지자든, 야당 지지자든 자신이 지지하는 정당에게 불리한 여론조사 결과가 나오면 많은 분들이 주장하시는 것이 바로 '응답률'입니다. 자동응답 ARS 방식으로 진행되는 여론조사는 최소 3%~5%까지 응답률이 낮은 등 피상적으로 보기에는 문제가 많아 보입니다. 게다가 많은 분들이 응답률이 5%라고 하니까 1000명 중에 5%인 '50명' 만 응답했다고 하는 경우도 자주 볼 수 있습니다. 과연 그럴까요? 우선 응답률 개념에 대한 말씀입니다. 만약 1000명 조사에 응답률 5%라면, 1000명 중 5%가 응답했다는 뜻이 아니라, 전체 통화시도 중 성공한 5%가 1000명입니다. 결국 '2만번'을 시도했고 그 중 5%인 1000명이 응답을 했다는 의미입니다.

배종찬 리서치앤리서치 정치사회조사본부장은 "응답률과 조사 신뢰도와는 뚜렷한 상관성이 없다. 응답률이 낮지만 매우 신뢰 있는 조사결과가 있을 수 있고 응답률은 매우 높지만 믿을 수 없는 조사결과가 있다는 것이다. 이것은 응답률과 조사신뢰도와는 직접적인 관계가 없다는 것을 설명한다.
일부에서 조사결과에 대해 이야기하면서 응답률이 낮아 신뢰할 수 없다고 말하기도 하는데 구체적인 근거가 없는 의견이다. 미국이나 유럽 등의 여론조사와 관련된 연구 분석에도 응답률이 몇% 이상 되어야 신뢰할 수 있다는 이론은 없다."라고 했습니다.(http://www.edaily.co.kr/news/NewsRead.edy?SCD=JF21&newsid=01164406602936512&DCD=A00602&OutLnkChk=Y)

또한, 세계적인 권위를 자랑하는 갤럽의 편집장인 프랭크 뉴포트 또한 자신의 저서 '여론조사'를 통해 '낮은 응답률은 여론조사의 정확도에 영향을 미치지 않는다.' 면서 '현재까지 낮은 응답률이 대부분 여론조사 결과의 신뢰도와 실행 가능성에 부정적인 영향을 초래하였다는 증거는 없다.'며, '대부분 현재의 여론조사에서는 낮은 응답률이 생각만큼 조사 결과에 영향을 미치지 않는 것으로 나타난다. 신속한 여론조사의 진행을 위해서 낮은 응답률을 어느 정도 수용하는 현재의 여론조사에서는 낮은 응답률로 인해 결과의 대표성이나 신뢰도가 훼손될 것 같지는 않다.'고 하였습니다.

응답률에 있어서 그나마 가장 강경한 의견을 보이는 쪽이 한국갤럽입니다. 실제로 한국 갤럽은 국내 여론조사 중 가장 높은 응답률인 20% 이상을 보여주고 있습니다.(2016년 2월 1주차 응답률 24%) 하지만 한국 갤럽 또한 응답률 그 자체 보다는 응답률이 낮을 수 밖에 없는 자동응답 ARS 대신에 면접조사만  사용하는 등 응답률을 높이기 위한 노력에 방점을 찍고 있습니다.


3) 세대별 조사

'중앙선거여론조사공정심의위원회' 홈페이지를 통해 여론조사 각종 정보를 쉽게 열람할 수 있게 되자, 50대, 60대 이상에게 치중된 세대별 표본크기가 지적되고 있습니다. 50,60대가 반이상 육박하는데 여론조사가 무슨 의미가 있냐는 식으로 말이죠. 실제로 열람해보면 대부분 50,60대 표본크기가 상당히 많습니다.

20대 이하 56 명, 30대 59 명, 40대 114 명, 50대 210 명, 60대 이상 284 명 | 합계 : 723명  
20대 이하 97 명, 30대 63 명, 40대 79 명,  50대 110 명, 60대 이상 170 명 | 합계 : 519명
20대 이하 42 명, 30대 31 명, 40대 67 명,  50대 94 명,  60대 이상 266 명 | 합계 : 500명

이렇게 보면 너무 여권에게 편향된 여론조사가 진행되고 있는 것 처럼 생각하시겠지만, 사실 성별, 연령별, 지역별로 가중치를 부여합니다. 그러니까, 20대나 30대는 가중치를 많이 부여하고요. 50대 이상은 가중치를 적게 부여하는 방식입니다. 물론, 너무나도 적은 20,30대 표집은 문제가 될 수도 있는 것도 사실이기에 이 부분은 개선되어야 할 부분이라고 봅니다.

4) 지역별 조사의 맹점

매주 발표가 되는 리얼미터나 갤럽 여론조사에서 지역별 여론조사를 눈여겨 보시는 분들이 많습니다. 특히 광주전라지역에 대한 여론조사에 대해 관심있게 지켜보시는 분들이 많은데 사실 전국 여론조사에서 지역별 여론조사를 눈여겨 본다는 건 어폐가 있다고 볼 수 있습니다. 갤럽을 예로 들더라도 광주/전라 지역의 표집인원은 106명입니다. 이는 95% 신뢰수준에 ±9.5%P의 표본오차를 가지고 있는 것으로 아무리 정확하게 조사를 진행 했더라도 두 정당의 격차가 19% 이상 되지 않는 이상 순위를 매기는데 있어서 의미가 없다고 볼 수 있습니다. 그러니까, 지금 광주전라 지역 더불어민주당 지지율, 국민의당 지지율 가지고 매번 논쟁하고, 투닥거리는 건 아무 의미가 없다는 것입니다.

결론적으로 갤럽이나 리얼미터 등에서 진행하는 전국 여론조사에서 지역별 여론을 살펴보는 것은 다소 의미가 떨어지는 것이라고 할 수 있겠습니다.