▲ 4대강 보 해체를 적극 주장하는 환경운동연합이 왜곡된 여론조사 결과를 발표해 논란이 되고 있다. 사진은 지난 9일 여론조사 결과를 발표하는 박창근 교수 [사진: 환경운동연합]

[‘환경운동연합’의 속 보이는 여론조사 조작]

지난 5월 9일, 연합뉴스를 비롯한 언론기관들에서 "국민 82%, 4대강 보 해체·개방 지지"라는 뉴스들을 보도한 바 있다.

4대강 보 해체를 적극 주장하는 환경운동연합이 '마크로밀 엠브레인'에 의뢰하여 지난 달 17~22일에 조사한 결과를 9일 발표한 것에 대한 보도들이었다.

언론들은 친절하게 “조사 결과에 따르면 전체 응답자의 81.8%가 금강과 영산강의 5개 보 가운데 3개를 해체하고 2개를 상시 개방한다는 정부의 보 처리 안에 동의하는 것으로 조사됐다.”고 전했다.

안숙희 환경운동연합 활동가가 조사 결과를 바탕으로 "일부 정치권과 언론에서는 정부의 보 처리안에 대해 과장해서 비판하고 있지만, 실제로는 국민의 대다수가 정부안을 지지하고 있다는 사실이 증명됐다"고 말했다는 사실까지도 언론들은 보도했다.

그리고 말미에 “응답자가 모든 문항에 답변해야 제출될 수 있도록 설문이 설계됐고, '모름' 등 중립적인 응답은 선택지에 포함되지 않았다. 조사기관은 '마크로밀 엠브레인'으로, 신뢰수준은 95%, 표본오차는 ±3.1％포인트다”는 문구까지 포함시켜 조사가 아주 믿을 수 있는 것처럼 보도했다.

그런데 이 조사 결과를 어디까지 믿을 수 있을까?

조사문항을 보니 이 조사는 아예 자신들에게 원하는 결과를 만들어 내려고 작정하고 만든 것이 확연하게 드러났다.

크게 보면 7개 항목에 대한 조사였는데 사실상 모든 질문 자체가 객관적인 문항이 아니라 전혀 조사전문가가 아닌 그 누군가가 의도성을 가지고 만든 질문이라는 것을 금방 느낄 수 있었다.

*질문 3) 4대강사업을 통해 16개의 보가 건설되어 있습니다. 귀하께서는 이들 보의 필요성에 대해 어떻게 생각하십니까?※ 4대강 사업은 이명박 정부가 한강, 낙동강, 금강, 영산강 유역을 정비한 사업으로, 당시 16개의 보(하천에서 관개용수를 수로에 끌어들이려고 둑을 쌓아 만든 저수시설)를 설치했습니다.

*질문 4) 지난 2월 환경부에서는 보 가운데 3개를 해체하고, 2개의 보를 상시 개방하는 방안을 제안했습니다. 그 근거로 △보의 효용성이 부족하고, △보가 없어도 물이용에 어려움이 크지 않으며, △수질·생태계가 개선되고, △유지·관리 비용 절감 효과가 크다는 내용을 고려했다고 밝혔습니다. 귀하께서는 이 처리방안에 대해 어떻게 생각하십니까?

여기서 질문 3)을 보더라도 ‘보’에 대한 설명을 하면서 이미 부정적 바이어스를 심어주고 있으며 4번 문항은 아예 조사 결과를 유도하기 위해 작심하고 만든 문항이었다. 저렇게 편향된 질문으로 조사를 했음에도 ‘동의하지 않는다’가 18.2%나 나왔다는 것이 의아할 정도였다.

사실 아무리 여론조사 초보자라 할지라도 저렇게 문항을 작성하지는 않는다. 아예 여론조사 결과를 조작하려는 의도를 가지고 만들었다는 의미이다.

이러한 질문 내용으로 국민들을 호도하려 했다면 이는 엄청난 착각이다. 또 그러한 질문 내용까지 포함해서 버젓하게 홈페이지에 공개한 ‘환경운동연합’의 수준 또한 충분히 짐작할 수 있을 것이다.

이에 대해 이재오 4대강국민연합 공동대표는 자신의 유튜브 방송을 통해 만약 “‘보 해체는 4대강 지역주민이 대부분 반대한다. 보 해체는 단지 문재인 대통령의 대선 공약으로 정치적 목적이 있다. 보 해체에 수천억의 혈세가 낭비된다. 보설치 이후 4대강 수질이 상당히 개선됐다. 4대강 보는 가뭄과 홍수조절에 매우 효율적이고 수자원 확보에도 꼭 필요하다. 4대강 물은 농민들의 생명수다. 당신은 보 해체를 찬성하십니까?”라는 질문으로 여론조사를 한다면 어떤 결과가 나올 것인지 반문했다. 아마도 당연히 90% 이상 반대하는 여론이 나올 것이라 주장했다. 맞는 말이다.

여론조사를 왜 하는가? 객관적인 국민의 여론을 듣기 위함 아닌가? 그런데 자신이 생각하는 결과를 의도하고 여론조작을 한다면 이는 사기꾼 집단이나 다름없다.

[커지는 여론조사에 대한 불신, “여론조사 못 믿겠다”]

최근 정당지지 여론조사에서 국내 여론조사를 주도하는 두 기관이 너무나도 상이한 결과를 내 놓아 관심을 끌었다.

▲ 여론조사 기관별 정당지지도 비교 [그래픽: Why Times]

리얼미터가 지난 7일과 8일 양일간 전국 만 19세 이상 1000명을 대상으로 한 조사 결과, 더불어 민주당 지지율은 36.4%, 자유한국당 34.8%로 나와 영 정당간 지지율 격차가 1.6%에 불과했다.

그런데 같은 시기에 조사했던 갤럽은 40% 대 25%로 무려 15%나 차이가 난다는 결과를 발표했다.

특히 한국당 지지율은 코리아리서치에서는 24.7%, 칸타코리아는 16.8%에 불과하다. 리얼미터가 34.8%인 것에 비하면 현격한 차이다. 그만큼 들쑥날쑥이라는 의미이다.

어느 조사가 맞는 것일까?

여론조사가 지금 우리 사회의 흐름을 보여준다는 점에서 굉장히 중요한 지표를 제공하는 것인데 결과가 이렇게 차이가 나도 되는 것일까?

▲ 여론조사 기관별 대통령 국정수행 지지도 비교 [그래픽: Why Times]

대통령 국정수행 지지도도 조사 기관에 따라 현격한 차이가 난다. 같은 시기의 리얼미터 조사에서는 긍정 평가가 47.3%이고 부정 평가가 48.6%였다.

그런데 역시 같은 시기의 갤럽은 긍정 평가 47%, 부정평가 45%로 추세 자체도 다르다.

코리아리서치 같은 경우는 긍정 평가가 51%를 넘어섰다. 이를 토대로 MBC는 문재인 대통령의 지지율이 50% 이상으로 순항하고 있다고 보도했고 민주당이나 청와대도 50% 넘는 지지율이라는 점을 자랑하고 있다.

그러나 역시 같은 시기에 조사했던 여론조사 공정의 결과는 긍정 평가가 33.2%인 반면 부정 평가는 46.8%로 위의 두 조사와도 현격한 차이가 났다.

어떤 조사 결과를 믿어야 하나?

[왜 이렇게 차이가 나는 것일까? 무엇이 문제인가?]

일단 여론조사 기관별로 이렇게 현격한 차이가 나거나 들쑥날쑥인 것은 몇 가지 요인이 있다.

첫째는 조사 방식의 문제이다.

갤럽은 조사원이 직접 전화를 걸어 물어보는 전화조사원 인터뷰 방식을 채택하고 있는 반면 리얼미터는 무선전화 면접(10%)과 무선(70%)·유선(20%) 자동응답(ARS) 방식을 혼용하고 있다. 대부분의 여론조사 기관들도 리얼미터의 방식을 많이 활용하고 있다.

그렇다면 어떤 방식이 좋은 것일까? 갤럽은 한마디로 ARS방식을 불신한다. 그래서 면접원이 직접 무작위로 전화를 걸어 응답자에게 질문한다. 그러나 리얼미터는 오히려 면접원이 직접 전화를 걸어 물어보면 대답을 속이거나 회피하는 현상이 일어날 수 있다며 오히려 ARS 방식이 거리낌없이 자신의 의사를 솔직하게 표현하는 장점이 있다고 말한다.

아무리 그렇다고 이렇게 차이가 날 수 있을까? 또 같은 방식의 조사 방식을 택하는 기관들끼리도 차이가 나는 것은 또 무엇 때문일까?

그것이 두 번째 요인으로 조사 모집단이 갖는 문제라고 할 수 있다. 각 조사회사별로 자신들이 전화를 거는 ’표본추출틀‘이라 불리는 일종의 리스트뱅크가 있다. 그동안 조사했던 대상자들을 저수지에 저장해 둔 응답자 은행이다.

문제는 이 리스트뱅크에 ’정치성향의 비대칭‘ 문제가 발생할 수 있다는 점이다. 예를 들면 지난 대선에서 문재인 지지층들이 과도하게 저장된 뱅크라면 당연히 이 지지층들의 의견이 더욱 강하게 나타날 수밖에 없다. 결국 조사대상자들의 편향성이 기본으로 깔려 있기 때문에 무슨 조사를 하든간에 이미 오염된 저수지의 물을 쓰기 때문에 ’정치 성향‘이 그대로 나타날 수밖에 없는 것이다.

일단 한 조사 기관의 여론동향은 거의 비슷한 추이로 나타나지만 다른 조사기관과 비교하면 상당한 차이를 보이는 것이 바로 이런 이유에서 비롯된다.

세 번째는 여론조사의 응답률 문제이다.

우선 사회적 분위기가 경직되어 있을 때는 응답률이 당연히 낮아질 수밖에 없다. 일종의 공포분위기가 조사 대상자의 마음 속에 자리잡고 있기 때문이다.

지난 4.3보궐선거에서 여론조사 기관들이 참혹한 수치를 당한 이유가 바로 여기에 있다.

문재인 정부들어 지난 박근혜 전 대통령 탄핵시 후원금을 보냈던 사람들의 인적사항을 전면 조사한 적이 있었다. 그렇다면 지금 자신이 문재인 정부에 대해 부정적 답변을 하면 자신도 피해를 받을 수도 있다는 생각을 하게 된다면 당연히 조사를 회피하게 된다. 혹시 조사에 응하더라도 친 문재인 성격의 답을 하게 된다는 것이다. 사회의 경직된 분위기가 조사결과를 엉뚱한 방향으로 이끌어 갈 수도 있다는 의미이다.

하나 예를 들어보자. 지난 5일과 6일, MBC의 의뢰로 ’코리아리서치인터내셔널‘이 조사한 것을 보면 우선 19%를 차지했던 유선전화 조사의 경우 전체 표본추출틀 가운데 사용규모는 36537명이었다. 그 중 결번이 19016명이었고 그 외 할당초과 등의 이유로 활용하지 않은 번호가 1792명이다. 또 통화중이거나 부재중으로 접촉 실패는 12110건이었다.

중요한 것은 접속후 거절 및 중도 이탈 사례가 3425건이나 되었다는 점이다. 이로써 결국 응답을 완료한 수치가 겨우 194건이다. 그래서 응답율은 5.4%였다.

한편 81%를 차지했던 무선전화 조사의 경우도 48000명의 표본추츨틀 가운데 29032명에 대해 전화를 시도했는데 그중 결번이 6296명, 할당초과 등의 이유로 비적격이 474건이었다.

통화중-부재중의 접촉실패가 16775건이고 접촉 거절 및 중도이탈 사례가 무려 4675건이나 되었다. 결국 최종적으로 성공한 응답완료는 812건으로 응답율은 14.8%였다.

전체적으로 보면 총 접속 대상자수는 65569건이었는데 접촉후 거절 및 중도이탈 사례가 8100건이었고 최종적으로 성공한 응답완료는 1006건(응답률 11%)이었다.

문제는 ’접촉후 거절 및 중도이탈 사례‘를 어떻게 봐야 하는가의 문제가 생긴다. 이들이 모두 문재인 정부에 반감을 가진 사람은 아니라 할지라도 상당 부분 그렇게 현 정부에 대해 비판적이지만 자신의 의견을 솔직하게 말하면 문제가 될 수도 있다고 생각해 조사를 포기한 사례들도 제법 있을 수 있다고 보는 것이다. 이것을 우리는 ’샤이 보수‘라고 부른다.

문제는 이러한 샤이보수의 비율이 많으면 많을수록 여론조사 결과는 현실과 딴판으로 나올 수밖에 없다.

진보좌파들이 자신들의 생각을 적극적으로 표현하는 것과는 달리 ’샤이 보수‘들은 움츠리기 때문에 더욱 그러하다.

간단하게 따져도 응답을 중도에 포기한 8100명 가운데 100명이 샤이보수라면 전체 조사 응답율에 10% 이상의 변화를 가져올 수도 있다.

물론 아예 접촉 자체를 거절한 사례 중에도 ’샤이 보수‘가 들어가 있을 수 있다.

이렇게 사회가 경직되면 될수록 여론조사를 믿을 수 없는 결과를 가져오게 된다는 것이다.

네 번째는 질문 문항의 문제이다. 앞서 언급한 바 있는 ’환경운동연합‘의 4대강 여론조사는 이미 왜곡을 작정하고 한 것이었다.

그런데 얼마 전 이미선 헌법재판관 후보자의 지명 찬성 여부에 대한 여론조사에서도 이와 유사한 사례가 있었다.

리얼미터가 이미선 헌법재판관의 적격 여부에 대한 여론조사를 두차례 실시하면서 설문 문항을 바꿨으면서도 이에 대한 별다른 설명없이 2차 조사에서 여론이 호전됐다는 취지로 해석한 것이 바로 그것이다.

리얼미터는 지난 4월 15일과 18일 두차례 이 후보자에 대한 여론조사 결과를 발표했는데, CBS 의뢰로 조사해 15일 발표한 조사에서는 이 후보자의 헌법재판관 자격에 대한 국민 인식을 조사한 결과 ‘적격’ 응답이 28.8%, ‘부적격’ 응답이 54.6%로 나타났다고 했다.

그런데 사흘 후인 18일, TBS 의뢰를 받아 조사해 내놓은 결과에서는 ‘임명 찬성’ 응답이 43.3%, ‘반대’ 응답이 44.2%로 나타났다고 밝혔다. 심지어 리얼미터는 이같은 여론조사 결과에 대해 18일 "여론 흐름이 급격하게 변하고 있는 것으로 나타났다"는 설명까지 덧붙여 발표했다.

그런데 속사정을 보니 이 또한 여론조작이었다.

첫번째 조사에서는 "최근 이미선 헌법재판관 후보자에 대한 국회 인사청문회가 열렸습니다. 선생님께서는 이미선 후보자의 헌법재판관으로서의 자격에 대하여 어떻게 생각하십니까"라고 물었다.

하지만 두번째 조사에서는 "여야 정치권이 이미선 헌법재판관 후보자의 임명을 두고 대립하는 가운데, 문재인 대통령은 이 후보자에 대한 청문보고서를 국회에 다시 요청했습니다. 선생님께서는 문재인 대통령이 이미선 후보자를 헌법재판관으로 임명하는 데 대하여 어떻게 생각하십니까"라고 했다.

확실히 다르다. 특히 두 번째 조사의 경우는 이미선 후보자에 대해 질문한 것이 아니라 문재인 대통령에 대해 여론을 묻는 것이라 해석할 수 있다. 엄연한 여론 왜곡이다.

문 대통령은 이러한 여론을 바탕으로 이미선 후보자의 임명을 강행했을 것이다. 코미디다.

또 다른 이유도 있다.

앞서 대통령 정국 운영에 대한 질문에서 갤럽은 첫 번째로 물었지만 여론조사 공정은 ‘현 국회의원의 적정 여부’, ‘공수처의 독립적 활동 가능여부’ 등 10개 가까운 국정 현안을 물은 다음 대통령 직무수행에 대해 물었다.

갤럽의 경우는 아무 생각없이 그냥 쉽게 대통령 직무수행에 대해 답변하게 했지만 공정은 이미 국정 현안에 대한 답변을 했기 때문에 이러한 결과들이 국정수행 평가에 반영될 가능성이 높다. 그래서 여론조사 공정의 대통령 직무수행 평가가 부정적으로 나온 이유일 것이다.

그렇다면 어떻게 질문하는 것이 옳을까? 둘 다 장단점이 있다. 갤럽의 경우는 그냥 쉽게 답을 하는 감성적 판단을 답변자에게 바라는 것이라면 여론조사 공정은 심사숙고한 다음 평가를 하게 하는 이성적 답변이라 볼 수 있다.

구체적인 선택항목의 차이도 있다. 갤럽은 “요즘 문재인 대통령이 대통령으로서의 직무를 잘 수행하고 있다고 보십니까? 아니면 잘못 수행하고 있다고 보십니까?”고 묻는다. 당연히 답은 ‘잘하고 있다’, ‘잘못하고 있다’를 선택하게 한다. 만약 ‘어느쪽도 아니다’라고 하면 ‘그래도 둘 중 어느 쪽’인지 재차 질문을 유도한다.

그러나 여론조사 공정은 묻는 방식이 다르다. “선생님께서는 문재인 대통령의 현 국정수행에 대해 어떻게 평가하십니까?”라고만 묻고 “잘하고 있다, 보통이다. 잘못하고 있다, 잘 모르겠다‘ 중 선택하라고 한다.

조사항목의 조그마한 차이가 이렇게 완전히 다른 결과를 가져올 수 있다는 의미이다.

[여론조사 과신하는 문재인 정부, 이러다간 큰 코 다친다]

정권을 잡은 집권 여당과 청와대는 사실 내부적으로는 최악의 조사결과를 책상머리에 두고 정책을 살펴야 실수할 확률이 적어진다.

그것이 원칙이다.

그런데 지금 문재인 정부는 그렇게 제대로 민심을 반영하지 못하는 여론조사에 목숨을 걸고 있는 듯 보인다.

지지율이 1%, 2% 오르고 내리는 것이 뭐가 그렇게 큰 의미가 있는가? ’오차범위‘라는 것이 존재한다. 그 안에서 오르락 내리락하는 것은 별 의미가 없다.

그런데 우리 언론들은 무슨 경마 중계하듯 1~2% 변동사항을 확대해석해 보도한다.

단순한 그 수치보다 트렌드를 봐야 한다. 상업 마케팅에서는 일부로 고정된 조사 대상자(패널)를 만들어 놓고 그 사람들의 생각이 어떻게 변화하고 있는지 유심히 살피기도 한다. 트렌드가 중요하다는 의미이다.

어차피 지금 우리나라 여론조사 기관들의 결과를 확신하기 어렵다면 그저 트렌드를 보면서 민심이 어떻게 흐르는지 보는 게 ’신상이 좋을 것‘이다.

지금의 분명한 트렌드는 보수우파가 결집하고 있고 집권여당 지지층들은 점점 이탈해 가고 있다는 것이다.

그럼에도 이러한 흐름을 읽지 못한다면 한마디로 바보들 아니겠는가?