[쿠키뉴스] 오준엽 기자 = 다른 사람의 생각, 사람들의 의식변화 등 흔히 ‘대세’로도 표현되는 흐름을 읽어내는 방법에는 어떤 것들이 있을까요? 가장 흔하고 또 가장 정확하다고 평가되는 방법은 단연 대규모 ‘여론조사’일 것입니다.
특히 지난 2020년 4월 15일 치러진 ‘21대 국회의원 선거’를 시작으로 오는 4월 7일 19개 지역에서 진행될 재·보궐선거, 2022년 3월 9일 있을 ‘20대 대통령 선거’까지 국민들의 선택이 이어지는 요즘 여론조사 결과는 연일 언론의 한페이지를 장식하는 기사가 됐습니다.
그렇다면 여론조사는 그리고 여론조사 기사는 어떻게 봐야할까요? 기자가 작성한 글을 그대로 믿어도 될까요? ‘수포자(수학포기자)’에겐 생소할 수 있는 숫자와 기호로 채워진 표나 중간중간 쓰인 이해하기 어려운 문자들은 무시하면 될까요?
그래서 준비해 모셨습니다. 1993년부터 여론조사 외길을 걸어왔고, 최근에는 차기대선 유력후보들의 지지율조사로 주목을 받은 여론조사기관 ‘한길리서치’의 홍형식 소장을 모시고 쿠키뉴스가 20일 서울에 소재한 9개 학보사 대학생기자들과 온라인 화상간담회를 가졌습니다.
그럼 본격적인 화상간담회 내용전달에 앞서 ‘질문’입니다. 다음은 ‘여야 후보 중 귀하가 지지하는 후보는 누구입니까?’라는 질문에 대한 결과를 표로 정리한 결과입니다. 이를 바탕으로 서술한 다음 문장은 정확한 사실을 전달한 것일까요?
‘쿠키뉴스 의뢰로 지난 9~11일 한길리서치가 진행한 차기대권주자 지지율조사(신뢰수준 95%, 표본오차 ±3.1%p)에서 2위를 기록한 윤석열 검찰총장에 대한 문재인 대통령 지지층의 지지율은 0.9%였다.’
정답은 ‘잘못됐다’입니다. 홍 소장에 따르면 여론조사는 크게 2가지로 나뉩니다. 선거여론조사와 사회여론조사입니다. 둘 모두 사회적 현상을 수치화해 보여주기 위한 방식으로 통계적 기법과 방법론에서는 큰 차이가 없습니다.
다만, 선거여론조사는 공직선거법과 중앙선거여론조사심의위원회 보도규정에서 정하는 강제규정들이 존재한다는 점에서 차이가 있습니다. 대표적인 예가 앞서 제시한 표에서와 같은 ‘정당’ 혹은 ‘후보’ 지지율조사입니다.
이들 조사결과를 보도할 경우 필수적으로 공개해야할 내용에는 ▲조사의뢰자 ▲조사대상 ▲조사기간 ▲조사방법 ▲표본크기 ▲피조사자 선정방법 ▲표본오차 ▲응답률 ▲설문내용입니다. (자세한 용어설명은 아래 참고글을 읽어주세요.)
앞서 서술한 문장의 경우 의뢰기관(쿠키뉴스)과 조사기관(한길리서치), 조사기간(1월 9~11일), 표본오차(신뢰수준 95%에서 ±3.1%p)가 명시돼 있습니다. 하지만 조사대상과 조사방법, 표본의 크기, 피조사자 선정방법, 응답률, 설문내용은 제시하고 있지 못합니다.
또 하나의 문제는 ‘2위’라는 순위매김입니다. ‘±3.1%p’라는 표본오차는 위 아래로 3.1%포인트씩을 의미하는 만큼 오차범위가 6.2% 내라고 해석해야합니다. 결국 이재명 경기도지사와 윤 총장 간 지지율 격차가 1.7%p이기에 “오차범위 내에서 경합(접전)을 벌인다”고 표현하는 것이 옳은 표기방식입니다. 마찬가지로 “이재명 지사, 1위”란 표현도 써서는 안 됩니다.
반면 ‘문재인 대통령 지지층의 지지율은 0.9%였다’는 표현은 틀린 표현이 아닙니다. 통계표 상 왼편의 대통령 국정지지별 ‘잘함’과 ‘잘못함’은 통상적으로 대통령 지지층과 반대층을 의미하는 표현으로 쓰고 있기 때문에 표를 읽을 때는 “지지층 중 0.9%, 반대층 중 40.4%가 윤 총장을 지지한다고 응답했다”는 식이면 틀린 방식이 아닙니다.
한편 여론조사 기사를 접하며 드는 의문들 몇 가지도 정리해 봤습니다. 먼저, 대통령 국정수행평가 흔히 ‘대통령 지지율’ 조사나 ‘중대재해기업처벌법 제정’과 같은 현안들에 대한 의견을 묻는 질문은 선거여론조사는 아닙니다. 따라서 선거법이나 여심위 규정을 따를 필요는 없습니다.
그렇지만 일반적으로 통계를 정확하게 이해하고 읽기 위해서는 ▲조사대상과 ▲표본크기 ▲표본오차 ▲설문내용을 살필 필요가 있습니다. 조사대상과 표본크기는 해당 조사결과의 대표성(상징성)을, 설문내용은 조사결과의 타당성과 신뢰도, 표본오차는 결과서술의 정확성을 판단할 수 있는 기준이기 때문입니다.
예를 들어, 긴급재난지원금 선별지급에 대한 의견을 지역별로 살펴볼 때 제주도민 응답자가 전체 응답자 1000명 중 30명가량일 경우 제주도민 전체의 의견이라고 받아들이기 어려운 이유입니다. 이와 관련 홍 소장은 “전문가 및 조사기관들은 일반적으로 50명 혹은 100명 미만일 경우 결과수치를 공개하지 않거나 통계적 의미를 해석하지 않는다”고 합니다.
그렇다고 소수의 의견을 적다고 무시해서도 안 되는 경우가 있습니다. 대표적인 경우가 ‘자살의향’입니다. 자살의향의 경우 ‘0’에 가까울수록 좋은 것이며 5%, 10% 혹은 그 이하의 경우처럼 적은 비율이라도 있다면 위험신호가 될 수 있기 때문입니다.
마찬가지로 대통령 지지율처럼 5점 척도로 응답을 할 경우 1점(매우 부정)과 5점(매우 긍정)의 극단치가 높은 것도 통계상 긍정과 부정이 높지 않다고 하더라도 2점과 4점이 높은 것보다 갈등양상을 크게 나타내는 경우인 만큼 결과를 면밀히 살펴야할 것입니다.
설문내용의 경우에도 꼭 살펴볼 필요가 있습니다. 조사자가 의도를 가지고 답변을 유도하는 경우들이 있기 때문입니다. 홍 소장은 “여론조사를 할 때 가장 신경 쓰는 것 중 하나는 설문문항”이라며 “어떤 단어를 쓰느냐, 문장의 의미가 무엇이냐 등에 따라 답변이 전혀 다르게 나올 수도 있기 때문”이라고 설명했습니다.
실제 ‘A, B, C 중 어떤 후보를 지지하십니까’와 ‘지지하는 후보는 누구입니까’라는 질문의 경우에도 크게 다르다는 의식을 하지 못할 수도 있지만, 후보가 A, B, C로 제한된 것과 자유롭게 떠오르는 사람을 기술하는 것과는 차이가 있습니다. ‘대선후보인 윤석열을 지지하십니까’처럼 대선후보로 규정해 응답자 생각을 ‘지지여부’에 집중하도록 유도할 수도 있어서 입니다.
이밖에 홍 소장은 조사방식을 두고 직접설문과 ARS설문방식이 있으며, ARS의 경우 허위응답의 가능성이 높다는 단점이 있는 반면 다양한 계층을 포괄적이고 빠르게 조사할 수 있다는 장점이 있고, 직접설문방식은 응답오차를 줄일 수는 있지만 가구단위이기에 50대 이상이 많고 응답률이 떨어지는 단점이 있을 뿐 무엇이 좋다 나쁘다고 단정할 수는 없다고 설명했습니다.
oz@kukinews.com
[여론조사 결과를 살필 때 이해를 돕는 용어설명]
◇ 표본 : 흔히 설문조사의 응답자를 말하며, 답변을 받을 대상 혹은 집단을 뜻하기도 합니다.
◇ 가중값 : 가중값은 응답자(표본)들 간의 차이나 편차, 표본과 확인하려는 전체 집단(모집단)과의 편차를 줄이기 위한 기법으로 통계결과의 신뢰성을 높이는 장치 중 하나입니다.
◇ 표본오차 : 표본오차는 여론조사에서 모집단의 일부인 표본에서 얻은 자료를 통해 전체(모집단)의 특성을 추정하며 발생하는 오차입니다. 예를 들어 ‘95% 신뢰수준에 표본오차 ±3.0%p(포인트)’라고 하면 같은 조사를 100번 했을 때 95번은 결과 간 오차가 ±3.0%p 안에 있다는 뜻입니다.
◇ 전수조사 : 전수조사는 표본을 정하지 않고 전체집단을 대상으로 하는 조사를 말합니다. 표본을 뽑지 않기에 집단에 따른 오차는 존재하지 않습니다. 다만 ‘전국민’처럼 집단이 클 경우 조사과정이나 방법, 시간에 따라 오차가 발생할 가능성이 높아집니다.
◇ 표본조사 : 반대로 표본조사는 전체를 대표할 수 있는 집단을 선정하거나 임의로 추출해 여론조사를 진행하는 방식을 말합니다. 이 경우 표본으로 뽑힌 집단 혹은 개인의 특성이 전체와 다른 경우가 있습니다. 이를 ‘표본오차’라고 표현하며 통계적으로 의미가 있는 오차범위가 존재합니다.
◇ 출구조사 : 출구조사는 투표 당일에 투표를 마치고 나온 유권자를 상대로 어느 후보를 선택하였는지를 직접 묻는 선거여론조사의 한 방법입니다. 이 경우 선택한 투표지, 응답대상 등에 따른 오차가 발생할 가능성이 높다는 단점은 있지만, 선거를 마친 이들의 행동을 관측할 수 있어 선거결과를 가장 빨리 예측할 수 있다는 장점도 있어 많이 사용되고 있습니다.
◇ RDD 방식 : RDD 방식은 ‘random digit dialing’의 약어로 여론조사에서 활용되는 전화여론조사 방법으로 컴퓨터 프로그램에 의해 전화번호를 무작위로 선정해 전화를 거는 방식입니다. 풀이하면 ‘무작위 전화걸기’ 정도로 표현됩니다.
