어떻게 통계 결과를 해석할 것인가? 조선일보 '자긍심' 조사결과를 보고

오늘 라이프스타일 주제에 글(희망이 없는 대한민국, 10명 중 6명 "기회만 있다면 언제든지 이민")

을 올리고 오후에 잠깐 짬을 내서 신문을 뒤적이다 몹시 놀라운 통계 조사 하나를 접했습니다. 바로 조선일보와 미디어리서치가 창간 95주년을 맞이하여 실시한 '국가 자긍심 조사' 결과였습니다.

기사 바라가기 ☞ "대한민국 국민인 것이 자랑스럽다" 73%

(출처: 조선일보 웹사이트)

이 조사 결과가 놀라운 것은 오늘 올린 글에 소개된 조사 결과와 상반된 내용을 담고 있기 때문이었습니다. 게다가 최근에 다양한 사회여론조사에서 소개되었던 결과들과도 매우 다른 결론을 보여주었기 때문입니다.

물론, '이민 의향이 있느냐'와 '한국 국민인 것이 자랑스럽다'는 다소 의미가 다르기 때문에 엄밀하게 해석한다면 서로 다른 결과를 보여줄 수 있다고 생각합니다. 하지만 위 조선일보와 미디어리서치 조사 항목 중 '한국이 대부분의 다른 나라보다 더 좋은 나라란 것에 동의하는가(동의율 54.0%)'란 항목은 '이민 의향'과 매우 유사한 맥락 정보를 내포하고 있는 것이라 이해하기 힘들었습니다.

앞서 작성한 글 속에는 다음과 같은 결과가 있습니다. '이민을 막연하게나마 생각한 적이 있다'(69.0%), '구체적으로 이민을 고려해 보았다'(7.4%) 또 다른 결과가 있습니다. '요즘 들어 한국에서 살고 싶지 않다'(52.2%) 표본조사에서 아무리 표본간 차이가 난다고 하더라도 이 정도면 조사 방법의 오류를 생각해보지 않을 수 없습니다. 그래서 조사 방법을 살펴보았습니다.

트렌드리포트의 조사방법은 자사가 보유한 온라인 패널을 대상으로 성별, 연령별 할당을 두고 1,000명을 대상으로 조사한 결과였습니다. 이에 반해 조선일보/미디어리서치는 전국 성인 800명 대상으로 집전화와 휴대전화를 병행하여 RDD(임의번호걸기) 방식으로 실시한 조사였습니다.여기에 보이지 않는 차이가 있는 것 같습니다.

트렌드리포트는 인구통계에 기반한 표본 추출을 통해 온라인 설문으로 받는 방식입니다. 대체적으로 연령별 표본 수를 맞춰 조사합니다. 물론 60세 이상 고연령층 표본 수가 적다는 한계가 있습니다. 그런데 조선일보/미디어리서치 조사는 연령별 쿼터가 없더군요. 20세 이상 성인 800명으로 소개된 것으로 봐서는 균등한 연령별 표본을 추출한 것인지 알 수 없었습니다.

게다가 조사 시점이 3월1일 하루동안 전화응답 방식이란 점으로 미루어 보아 고연령층 응답비율이 매우 높을 것으로 추측됩니다. 왜냐하면 공휴일에 20,30대에게 전화응답을 받기는 매우 어렵기 때문입니다. 다들 여가 활동이나 가족모임, 혹은 일을 하고 있어서 응답성공율이 저조하다는 것은 리서치업계에는 상식이기 때문입니다.

그렇다면 얼추 두 조사의 동일한 의미만을 해석해 볼 수 있습니다. 현재의 국가(혹은 정부?)에 대해 만족스러워 하는 세대는 주로 50대 이상의 고연령층이며 그렇기에 이들은 이민 의향이 적다. 세부 내용으로 가면 정치적으로 보수적 가치를 존중하는 집단이 그렇지 않은 집단보다 자긍심이 높고 이민 의향이 낮다. 아마 이런 상식적인 결론이 될 것입니다.

사회연구든 시장조사든 트렌드 분석이든 다양한 리서치 결과를 통해 의미를 추출합니다. 그럴 때마다 부딫히는 것이 조사방법의 엄밀성, 합리성입니다. 그런 면에서 기존 다양한 조사 결과와 결을 달리하는 조선일보/미디어리서치 조사는 방법론을 좀 더 공개하는 것이 어땠을까 싶습니다. 그래야 다른 유사 조사 결과들과의 메타 분석이나 의미 해석 등이 가능할 수 있을테니까요.

Copyrightⓒ2015. Hybrid Lab. All rights reserved.