여론조사 '응답률'에 대한 잘못된 이해, '응답률'이란? 표본크기와 표본오차란?

■ 「응답률」에 대한 잘못된 이해

언론 등 누구든지 선거에 관한 여론조사의 결과를 공표 또는 보도하는 때에는 「선거여론조사기준」으로 정한 사항을 함께 공표 또는 보도해야 하는데(「공직선거법」 제108조6항), 그 사항은 

1. 조사의뢰자 2. 선거여론조사기관 3. 조사지역 4. 조사일시 5. 조사대상 6. 조사방법 7. 표본의 크기 8. 피조사자 선정방법(휴대전화 가상번호를 사용한 경우 그 사실 및 사용 비율을 포함) 9. 응답률 10. 가중값 산출 및 적용 방법 11. 표본오차 12. 질문내용 등을 인용 보도(* 중앙선거여론조사심의위원회고시 「선거여론조사기준」 제18조)해야 하고, 

이에 언론의 기사 말미에는 보통 아래와 같은 문구와 함께 인용출처를 고지하게 된다.

예) 이 조사는 8월 29~30일 전국 성인남녀 1,000명을 대상으로 ARS 자동응답시스템을 이용하여 임의걸기(RDD)로 진행했다(무선 85%, 유선 15%). 표본오차는 95%신뢰수준에서 ±3.1%p, 응답률은 3.5%다. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.

그런데 위 「응답률」에 대해 사람들은 1,000명에 대한 응답률 3.5%로 계산해 응답자 35명으로 보통 이해를 한다. 그래서 이의 정확한 뜻을 전하고자 한다.

☞ 「응답률」은 전화를 걸어서 일단 접속이 이루어진 사람들을 기준으로 계산을 하게 되는데, 전화접속이 이루어진 경우 ① 「거절하거나 중도에 이탈된 사람」이 있고 ② 끝까지 「응답이 마무리되어 성공한 사람」이 있다.

▸ 위 ① + ② = 「전화연결이 된 전체사람」

 「응답률은」은 「전화연결이 된 전체시람」에 대한 「응답이 마무리 되어 성공한 사람」(위 예인 1,000명)'의 비율(3.5%)을 말하는 것이다.

1.000명이라는 것은 전화를 걸어서 응답이 끝까지 마무리된 사람들 수를 말하는 것이고, 이 수치가 바로 3.5%라는 것이다.

이 1.000명(3.5%)의 100%는 28,571명(100% = 전화연결이 된 전체사람)

28,571명(100%) - 1,000명(3.5%) = 27,571명(96.5% = 거절하거나 중도에 이탈된 사람)

그러니까 전화를 걸어 28,571명이 연결까지는 되었는데, 이중 「거절하거나 중도에 이탈된 사람」 27,571명을 제외한 실제 「응답이 마무리 되어 성공한 사람」 1,000명(3.5%)이 바로 '응답률'인 것이다.

아래를 보시면 좀더 쉽게 이해할 것이다.  

■ (리얼미터 6월 4주차) 여론조사결과 등록현황 (* 이 사례에서 응답률 계산하기)

■ 리얼미터 6월 4주차 조사

▶ [문재인 대통령 국정수행 평가] 긍정 47.6% vs 부정 47.6%

▶ [정당 지지도] 민주당 41.5%, 한국당 30.6%, 정의당 7.6%, 바른미래당 4.4%, 민주평화당 1.7%, 무당층 12.8%

∙ 조사의뢰자 : 오마이뉴스
∙ 조사기관 : ㈜리얼미터

○ 조사일시(2019.6.24. ~ 28) 
▸ 2019.6.24. 12시 00분 ~ 17시 30분 
▸ 2019.6.25  12시 00분 ~ 18시 00분 
▸ 2019.6.26  12시 00분 ~ 18시 00분 
▸ 2019.6.27  12시 00분 ~ 17시 30분 
▸ 2019.6.28  12시 00분 ~ 17시 30분
∙ 조사일수 : 5일
∙ 조사시간 : 28시간 30분
∙ 조사대상 : 전국에 거주하는 만 19세 이상 남녀
∙ 표본오차 : 95% 신뢰수준에 ±2.0%
∙ 최초 공표·보도 지정일시 : 2019.7.2. 06시 00분

○ 응답률 : 4.4%

① 조사방법1 (유선 ARS) ☜ 자동응답전화 방법

② 조사방법2 (무선 ARS) ☜ 자동응답전화 방법

③ 조사방법3 (무선 전화면접)

위 ① + ② + ③ 합계 응답률 계산

※ 위 「응답률」 계산 풀이

이번 여론조사는 총 5일간 진행되었으며, 조사방법은 ① 유선 ARS(자동응답전화) + ② 무선 ARS(자동응답전화) + ③ 무선전화면접 등 세 가지 방법으로 진행되었고, 이를 합친 총 조사대상 규모는 301,239명이었다. 

여러 사정(결번, 사업체번호·팩스·대상지역아님·할당초과, 통화중·부재중·접촉안됨 등)상 전화연결까지 이루어지지 않은 것이 243,833개이고, 연결까지가 된 사람은 57,406명인데, 이 중 거절하거나 중도에 이탈된 사람은 54,902명[접속 후 거절 및 중도 이탈 수], 응답이 마지막까지 성공한 사람은 2,504명[응답을 완료한 수]으로, 결국은 전화연결까지 된 57,406명에서 성공한 사람은 2,504명으로, 이 2,504명은 전화연걸이 이루어진 57,406명에서 차지하는 비율(응답률)은 4.4%(계산상 4.36%에서 반올림)이다.

■ 표본크기와 표본오차

1) 표본크기(1,000명) = 응답자수(1,000명; 응답률 3.5%)

- 거절하거나 중도에 이탈된 사람 27,571명(96.5%)

- 전화연결이 된 전체사람 28,571명(100%)

※ 위 '표본크기=응답자수' ☜ 응답이 마무리되어 성공한 사람을 말함.

○ 1) 조사완료 1,000명(표본크기) ☞ 목표할당 1,000명

   2) 조사완료 1,003명(표본크기) ☞ 목표할당 1,000명

2) 95% 신뢰수준에서 표본오차 ±3%포인트란?

예) (A사람) 48%, (B사람) 45%일 경우

☞ (A사람) 48%일 경우, 동일한 형태의 조사를 100번(100%) 실시할 경우 95번(95%)은 45%~51%(±3%포인트)사이의 구간에는 들어가게 된다는 확신(신뢰수준)을 가질 수 있다는 것임.

☞ (B사람) 45%일 경우, 동일한 형태의 조사를 100번(100%) 실시할 경우 95번(95%)은 42%~48%(±3%포인트)사이의 구간에는 들어가게 된다는 확신(신뢰수준)을 가질 수 있다는 것임.

* 위 (A사람) · (B사람)에는 후보자·정당·대통령 등의 지지율(긍정·부정·어느 쪽도 아님·모름·응답거절 등) 등의 조상대상자가 들어가게 됨.

※ 오차범위 예시

☞ 표보오차가 95%신뢰수준에 ±3%일 경우, 지지율 차이가 6%포인트 이하일 경우에는 오차범위 내 접전으로 순위는 의미가 없게 되지만, 이 구간을 벗어날 경우에는 실제 격차가 벌어진 것으로 보게 된다.

즉, A 49% vs B 45%일 경우 지지율 차이는 4%포인트로 누가 앞선다고 말할 수 없지만, A 52% vs B 45%일 경우에는 그 차이가 7%포인트로 오차범위를 벗어나기 때문에 이때에는 A가 앞선다고 보게 되는 것이다.

 

※ 신뢰도가 커질수록 표본오차는 줄어들고, 신뢰도가 낮아질수록 표본오차는 커지게 된다. 즉 신뢰도와 표본오차는 반비례하게 된다. 결국 신뢰도가 낮아지거나 표본오차가 커질수록 그 조사의 의미가 그만큼 퇴색하게 되는 것이다.

<응답률이 높을수록 정확도가 높아진다고?>
한국갤럽과 리얼미터의 윤석열·이재명 지지율 순위가 다른 두 조사 내용과 분석
첫 40% 아래로 무너진 문재인 대통령 지지율 37.9%(9.23~24. 조사)