올해 지구촌 최대 정치 이벤트는 미국 대선이다. 벌써부터 대선의 향방을 점치는 의견들이 난무한다. 그같은 예측의 기반이 되는 건 여론조사다. 선거의 해에 접어들면서 각종 여론조사가 시행되고 유권자의 눈이 이에 쏠린다. 문제는 여론조사의 신뢰도다. 영국 이코노미스트지는 1일 "지난 두번의 대선에서 각종 여론조사는 매번 도널드 트럼프 후보에 대한 지지를 과소평가하며 실패했다"고 짚었다.

트럼프는 다시 공화당 대선후보가 될 가능성이 높다. 맞대결을 가상한 여론조사에서 트럼프는 현직 조 바이든 대통령을 평균 2.3%p 앞서고 있다. 이는 접전을 시사한다. 특히 여론조사업체들을 곤혹스럽게 만드는 건 트럼프 지지 유권자들이다. 선거 전 여론조사에 참여하지 않으면서 트럼프에게 투표할 확률이 매우 높은 것으로 나타나기 때문이다. 이코노미스트지는 "여론조사업체들은 이를 수치에 반영하기 위해 고심하지만, 이러한 조정이 얼마나 효과가 있을지는 아무도 모른다. 박빙의 승부에서는 작은 오류도 치명적일 수 있다"고 지적했다.

여론조사는 생각보다 간단해 보인다. 여론조사원은 사람들의 생각을 측정하기 위해 인구의 극히 일부분에 질문을 던진다. 하지만 일반적으로 나이가 많고, 백인이며, 대학 학위를 가진 사람들이 그렇지 않은 사람들보다 조사에 응답할 가능성이 높다. 표본이 전체 인구를 더 잘 반영하도록 여론조사원은 두가지 수단을 활용할 수 있다. 표본을 선택하는 방법을 조정하거나 표본 내에서 과소대표되는 사람들의 견해에 더 많은 가중치를 부여할 수 있다. 대부분은 두가지 수단을 모두 사용한다.

문제를 더욱 복잡하게 만드는 건 여론조사 전문가들은 누가 실제로 투표장에 나갈지도 예측해야 한다는 점이다. 여론조사원은 투표에 참여하지 않을 것으로 예상되는 사람들을 걸러낸다. 이를 위해 여론조사업체들은 유권자 등록 데이터 활용부터 응답자의 의도 파악 등 다양한 도구를 동원한다. 하지만 이는 과학의 영역인 만큼이나 예술의 영역에 속하는 작업이다.

여론조사, 과학이면서 예술에 속한 영역

2016년 대선에서 여론조사 전문가들은 혼비백산했다. 전국 단위 여론조사는 힐러리 클린턴의 득표율을 정확하게 예측했다. 하지만 주 단위 여론조사는 비참하게 실패했다. 대선 향방을 가르는 중서부 스윙스테이트(경합주)의 공화당 성향 카운티에서 투표율이 급증했다.

여론조사업체들이 놓친 대부분의 유권자들은 백인이면서 대학 학위가 없는 이들이었다. 이들은 대개 여론조사에 참여하는 것을 꺼렸다. 여론조사 설문전화를 받은 백인 응답자들은 대개 전체 유권자에 비해 대학 학위 소지자가 많았고 클린턴 후보를 지지할 가능성이 더 높았다. 따라서 응답자의 교육수준을 고려한 여론조사가 더 정확했다. 2016년 대선 당시 전국적으로 벌인 여론조사의 약 52%가 교육수준을 고려했다. 전국 단위 여론조사 오차가 주별 여론조사 오차보다 훨씬 적었던 이유였다. 반면 미시간주와 같은 중요한 주에서는 교육수준을 조정한 여론조사가 5건 중 1건에 불과했다.

따라서 2016년 대선 이후 대부분의 여론조사업체들은 미국인의 교육수준을 더 잘 반영하기 위해 표본을 조정하기 시작했고, 이를 통해 대학 학위를 가진 사람과 그렇지 않은 사람 사이의 당파적 격차를 포착할 수 있었다. 이러한 노력은 2018년 중간선거에서 효과가 있었다. 당시 선거 여론조사는 이전 5번의 중간선거보다 더 정확했다.

하지만 2020년 또 다시 여론조사 대참사가 벌어졌다. 전국적인 여론을 측정하는 과정에서 여론조사업체들은 40년 만에 가장 큰 오차를 기록했다. 그리고 그 오류는 러스트벨트(미 북동부 쇠락한 공장지대)에만 집중된 게 아니라 전국적으로 발생했다. 평균적으로 여론조사업체들은 바이든 후보가 8.4%p 차이로 트럼프 후보에 승리할 것으로 예상했지만 실제로는 그 절반 정도에 그쳤다. 미국여론조사협회는 학계와 여론조사기관으로 구성된 태스크포스팀을 꾸려 분석을 실시했다. 그 결과는 실망적이었다. 이들은 "여론조사의 오류 원인을 '결정적으로 규명'(identifying conclusively)하는 것은 현재 이용가능한 데이터로는 불가능해 보인다"고 판단했다.

제도적 신뢰를 재는 객관적 지표 부재

한가지 설명은 연방정부나 언론 등에 유난히 회의적인 트럼프 지지자 중 일부가 '여론조사기관을 신뢰하지 말라'는 트럼프 요청에 귀를 기울였을 수 있다는 것이다. 트럼프는 최근 뉴햄프셔주 공화당 경선 여론조사에서 니키 헤일리가 4%p 차이로 따라붙은 결과에 대해서도 '또 다른 사기일 뿐'이라고 비난하는 등 여론조사의 신뢰성에 의문을 지속적으로 제기하고 있다.

트럼프 지지자 중 상당수가 여론조사 결과를 무시하고 트럼프에게 투표한다면 유권자 규모와 선호도 추정치가 왜곡될 수 있다. 나이와 성별, 학력 등 조정할 수 있는 인구통계학적 변수와 달리 '제도적 신뢰'를 측정할 수 있는 객관적인 지표가 없기 때문에 여론조사기관은 곤란한 상황에 처하게 된다.

일부에서는 창의적인 해결책을 시도하기도 했다. 여론조사회사인 '윅 인사이츠'는 코로나19 백신을 접종한 응답자들의 설문조사 참여율이 매우 높다는 사실을 알게 됐다. 이를 조정하기 위해 백신 미접종 응답자 의견에 더 많은 비중을 뒀다. 하지만 이 회사는 2022년 11월 중간선거 여론조사에서 그같은 조정을 통해 공화당 지지율을 훨씬 과장하는 오류를 범했다.

기술도 판도를 바꿨다. 과거 거의 모든 미국인이 집 전화를 가지고 있었고, 여론조사원은 여러 가구에 무작위로 전화를 걸어 충분히 대표성 있는 표본을 확보할 수 있었다. 하지만 휴대폰과 발신자표시전화가 등장하면서 전화 응답률은 1997년 36%에서 2018년 6%로 급감했다.

최근 수년 동안 온라인 여론조사 활용도 급증했다. 2016년 38%의 여론조사가 온라인으로 실시됐다. 2020년에는 그 수치가 64%로 증가했다. 온라인 여론조사는 전화 여론조사보다 비용이 저렴하지만 나름의 어려움이 있다. 온라인 여론조사는 무작위로 표본을 추출할 수 없다. 응답자의 동의가 선행돼야 하기 때문이다.

영국 온라인 여론조사업체 유고브의 수석과학자 더그 리버스는 "온라인 여론조사 응답률은 전화 설문조사 응답률보다는 높지만, 우리가 응답을 유도하는 사람들이 이해하기 힘들 정도로 특이한 사람들인지 여부를 확인할 수 없다"고 토로했다.

한가지 해답은 온라인과 문자 전화 우편 등 다양한 조사방법을 조합해 유권자의 전체 모습을 파악하는 것이다. 여론조사기관 입소스(Ipsos)의 연구원 크리스 잭슨은 "전화로 사람들에게 연락하는 것이 점점 더 어려워지면서 우편은 여전히 광범위한 인구집단에 도달할 수 있는 방법"이라고 말했다.

한편 여론조사기관들은 유권자 명부에 점점 더 의존하고 있다. 뉴욕타임스와 시에나칼리지는 2020년 이후 합동 여론조사에서 인구통계학적 데이터나 투표 이력에서 여론조사기관의 설문을 비정상적으로 꺼리는 것으로 판단되는 사람들을 식별하기 위해 이러한 데이터베이스를 사용하기 시작했다. 그런 다음 이들을 여론조사 표본에 포함시키기 위해 추가적인 노력을 기울이고 있다.

이러한 혁신은 2022년 중간선거에서 성과를 거둔 것으로 평가된다. 여론조사기관들의 평균 오류는 1998년 이후 가장 낮았다. 하지만 트럼프가 출마한 선거에서 이같은 성공이 반복될 수 있을지는 불투명하다. 트럼프는 두 종류의 유권자를 움직이기 때문이다. 한 부류는 트럼프를 혐오하고 그와 공화당에 반대하기 위해 적극 투표하는 민주당 지지자들, 그리고 또 한 부류는 트럼프를 지지하지만 공화당에는 투표하지 않을 가능성이 큰, 역사적으로 낮은 참여도의 유권자들이다.

여론조사 소비에도 안목 필요

그렇다면 여론조사는 어떻게 읽어야 할까. 여론조사 전문가조차 주의를 촉구한다. 밴더빌트대학교의 정례 여론조사 공동책임자인 조쉬 클린턴은 "어떤 의미에서 여론조사는 배경소음"이라며 "여론조사 단계에서는 무슨 일이 일어나고 있는지 알기가 거의 불가능하다"고 주장했다. 반면 시에나칼리지 여론조사 책임자인 돈 레비는 "현재 여론조사는 활기를 띠고 있다고 생각한다"며 "여론조사 소비자는 살펴봐야 할 것들이 많다"고 말했다.

이코노미스트지에 따르면 여론조사 결과를 소비하는 데 몇가지 안목이 필요하다. 첫째, 단일 여론조사보다는 각종 여론조사의 평균을 따르는 것이 좋다. 둘째, 무엇보다도 누가 대통령에 당선될지 결정할 가능성이 큰 스윙스테이트의 여론조사에 집중하는 것이 합리적이다. 마지막으로, 실제 선거는 거의 확실하게 접전이 될 전망이다. 따라서 어느 한 후보가 크게 앞서는 여론조사는 이상수치일 가능성이 높다.

이코노미스트지는 "2016년과 2020년 여론조사업체들은 과도한 약속을 하고 그보다 못한 결과를 내면서 실패했다. 이제는 약속은 줄이고 그보다 나은 결과를 내는 게 현명하다"며 "올해 대선에서 심판을 받는 건 후보자들만이 아니다. 여론조사 업계도 마찬가지"라고 전했다.