여론조사에 대한 신뢰도는 오랫동안 이어지고 있는 논쟁주제다. 이를 해소하기 위한 다양한 시도들이 있었지만 '최소한의 규제'와 '시도의 자율성'을 주장하는 목소리가 컸다. 여론조사는 '통계의 영역'이라는 점에서 학문적인 부분도 들어가 있고 휴대폰 등 시대적 경향도 반영해야 한다는 점에서 다양한 시도가 불가피하기 때문이다.

따라서 여론조사 전에 이뤄지는 표본 선정과 표본추출방식, 여론조사 방식, 설문내용까지 다양한 차이를 염두에 두고 해석해야 한다. 무엇보다 유권자 4400만명을 1000명 정도의 표본으로 조사해야 한다는 점에서 '정확한 예측'이 쉽지 않은 영역이다.

11일 중앙선거여론조사심의위원회에 등록한 20대 대통령선거 여론조사 중 이달 7~8일 실시한 4개의 여론조사를 비교해 보면 표본규모는 1001~1003명 정도로 비슷하다. 표본은 대부분 100% 가상번호로 무선전화번호로 정했다. 다만 뉴데일리의 의뢰를 받은 피플네트웍스만 무선전화(휴대폰) 90%에 유선 10%를 더했다. 상대적으로 보수적인 유선전화 응답자의 의견을 반영하기 위한 것으로 보인다. 무선전화로만 할 경우 나타날 수 있는 '진보성향 편향'을 잡기 위한 조치로도 해석된다.

설문방식은 모두 자동응답을 택했다. 오랜 전통을 갖고 있는 한국갤럽은 '전화 면접조사'를 고집하고 있다. 전화면접조사는 자신의 지지의사를 그대로 드러내지 않는 '샤이'층이 다소 존재한다는 게 정설인 반면 응답자들이 기계음보다는 면접자와 직접 통화해 성실한 답변을 하게 된다는 분석도 있다.

응답률도 천차만별이다. 한 자릿수도 나오고(한국사회여론연구소) 25.5%(코리아리서치인터내셔널)까지 높은 응답률을 보이기도 했다.

응답자에게 던지는 질문은 다양했다. 서던포스트는 "다음중 누구에게 투표하시겠습니까"라며 단순하고 명쾌하게 물었다. 한국사회여론연구소에서도 "이번 대통령 선거에서 다음 후보들 중 선택하신다면, 누구에게 투표하시겠습니까"라고 질문했다. 반면 코리아리서치인터내셔널과 피플네트웍스는 '내일이 대통령선거'라는 전제를 달면서 질문을 시작했다.

결과는 두 조사에서는 이재명 더불어민주당 대통령후보와 윤석열 국민의힘 대통령후보의 격차가 오차범위 밖에서 벌어졌으나 두 조사에서는 격차가 오차범위 내에 머물러 사실상 우열을 가리지 못한 것으로 나타났다.

◆너무 많은 자의적 선택 = 여론조사는 많은 영역에서 조사자와 의뢰자의 판단과 역량이 들어갈 수 밖에 없디.

중앙선거여론조사심의위원회는 지난해 정당학회에 '선거여론조사 개선방안' 연구용역을 맡겼다. 연구는 조진만 덕성여대 교수가 책임연구원으로, 장승진 국민대 교수, 구본상 충북대 교수, 강우창 고려대 교수가 공동연구원으로 참여했다.

보고서는 "유권자들이 가지고 있는 선거여론조사에 대한 근본적인 의구심을 완벽하게 해소하고 있는지에 대해서는 여전히 의문이 제기되고 있다"면서 '최소 표본 크기, 응답률, 유·무선 혼합 비율, 가중값 배율, 응답률 기준' 등을 주로 검토했다. 각 영역에서의 오차를 줄이기 위한 전문가들의 의견이 반영됐지만 이를 일률적으로 강제하기는 것은 최소화해야 한다는 결론에 도달할 수 밖에 없었다. '규제의 최소화'다.

그러면서 보고서는 5명의 전문가들의 의견을 같이 실었다.

이중 전문가 A는 "선거여론조사의 신뢰성은 단순히 (응답)표본수를 확대한다고 해서 제고되지 않는다"며 "오히려 (응답)표본수를 어떻게 확보하느냐가 신뢰성을 좌우한다고 할 수 있다"고 했다. 구체적으로 "조사기관의 전문성 확보와 풍부한 경험, 조사기간과 조사비용이 주어지는지와 인구사회학적 집단별로 충분한 응답률을 확보할 수 있는 콜백 전략 및 횟수 등이 적용되는지 등"을 제시하며 "총오차 관점에서 선거여론조사를 기획·수행하며 사후평가를 통하여 개선안을 마련하는 노력이 중요하다"고 했다. 전문가 B는 "표본수가 많더라도 디자인이 잘못된 조사는 신뢰도가 떨어지고, 표본수가 적더라도 디자인이 잘 되어 있으면 신뢰성 있는 조사가 가능함. 다만, 지나치게 적은 표본수는 문제가 되므로 적정 표본수를 확보하는 것이 중요하다"고 했다. 이외에도 응답률이 낮은 2030세대에 대한 가중치 부여 등이 응답자의 입장이 과대대표될 수 있고 이는 분석오류로 이어질 수 있다는 경우도 나왔지만 뚜렷한 대안이 있지 않은 것도 확인됐다. 전문가 C는 "가중값 배율을 강화(범위를 축소)하는 것이 신뢰도가 높은 좋은 조사라고 할 수 있겠지만 실제 여론조사 기관들이 지키기는 매우 어려운 일일 것"이라며 "어느 정도가 적절한 가중값 배율인지에 대한 명확한 이론적 근거가 존재하지 않는 가운데 임의의 가중값 배율을 규정하는 것은 적절한 방법은 아니라고 볼 수 있다"고 했다. "어느 수준이 적정 수준인지에 대해서는 학계의 이론적 검증과 업계의 현실적 요구가 함께 고려되어야 하므로 이에 대한 논의가 더 필요하다"고도 했다.

◆해석의 영역도 중요 = 해석에서는 '오차범위'라는 기본에 충실할 필요가 있다는 지적이 많다. 1000명을 표본으로 여론조사를 할 경우엔 95% 신뢰수준에서 '±3.1%p'의 오차가 발생한다. 6.2%p 차이는 '차이가 없다'는 얘기다. 지지율 30%와 36%는 사실상 순위뿐만 아니라 우열도 말할 수 없다는 얘기이기도 하다.

같은 조사에서 남녀, 지역, 연령으로 나눠 언급할 때는 '비교가 불가능한' 오차범위가 더 넓어진다. 한국갤럽은 이같은 오차범위를 자세하게 제시해놓고 있다.

지난 4~6일 조사에서 서울지역에 대한 대선 후보 지지율은 14.2%p(±7.1%p)까지 비교가 무의미한 것으로 나타났다. 충청권, 호남, 대구경북 등에서의 지지율 20%p 차이는 '격차가 나지 않았다'고 해야 한다. 남녀에서도 마찬가지다. 남성과 여성의 지지율을 비교할 때 8.6%p, 8.8%p이내의 격차는 비교하기 어렵고 연령별로도 2030세대의 경우엔 17%p 이내는 차이로 볼 수 없다. 따라서 지역의 성별이나 지역의 연령간 비교는 사실상 무의미한 수준이라고 할 수 있다.

이현우 서강대 정치외교학과 교수는 "지지율에 대한 언론 등의 해석이 엄밀할 필요가 있다"면서 "오차범위를 정확하게 알리고 이 범위 안에 있으면 차이를 두고 해석하지 않아야 한다"고 했다. 안일원 리서치뷰 대표는 "지금 나오는 여론조사는 당장의 지지율 조사일 뿐 선거일의 득표율 예상치로 보기 어렵다"면서 "현재 여론조사에서는 투표율 예측치를 감안한 가중 분석이 불가능하다"고 했다. 실제 지지율이 실제 투표율로 이어지려면 동일한 투표율이 나와야 하는데 실제로는 그렇지 않는데다 투표율과 미응답자의 비율이 같다는 정합성도 확인되지 않기 때문으로 보인다. 엄경영 시대정신연구소 소장은 "주기적으로 같은 표본과 조사방식으로 이뤄지는 여론조사를 보는 게 가장 좋다"면서 "그 조사들도 오류가 있을 수 있지만 동일한 오류의 한계 안에서 추세를 읽을 수 있다"고 했다.

[관련기사]
▶ 대선 여론조사 하루에 7개씩 쏟아져 … '옥석을 가려라'