■ 「응답률」에 대한 잘못된 이해

언론 등 누구든지 선거에 관한 여론조사의 결과를 공표 또는 보도하는 때에는 「선거여론조사기준」으로 정한 사항을 함께 공표 또는 보도해야 하는데(공직선거법 제108조6항), 그 사항은 

1. 조사의뢰자 2. 선거여론조사기관 3. 조사지역 4. 조사일시 5. 조사대상 6. 조사방법 7. 표본의 크기 8. 피조사자 선정방법(휴대전화 가상번호를 사용한 경우 그 사실 및 사용 비율을 포함) 9. 응답률 10. 가중값 산출 및 적용 방법 11. 표본오차 12. 질문내용 등을 인용 보도(* 중앙선거여론조사심의위원회고시 선거여론조사기준 제18조)해야 하고, 

이에 언론의 기사 말미에는 보통 아래와 같은 문구와 함께 인용출처를 고지하게 된다.

예) 이 조사는 8월 29~30일 전국 성인남녀 1,000명을 대상으로 ARS 자동응답시스템을 이용하여 임의걸기(RDD)로 진행했다(무선 85%, 유선 15%). 표본오차는 95%신뢰수준에서 ±3.1%p, 응답률은 3.5%다. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다.

그런데 위 「응답률」에 대해 사람들은 1,000명에 대한 응답률 3.5%로 계산해 응답자 35명으로 보통 이해를 한다. 그래서 이의 정확한 뜻을 전하고자 한다.

「응답률」은 전화를 걸어서 일단 접속이 이루어진 사람들을 기준으로 계산을 하게 되는데, 전화접속이 이루어진 경우 「거절하거나 중도에 이탈된 사람」이 있고 끝까지 「응답이 마무리되어 성공한 사람」이 있다.

▸ 위 ① + ② = 「전화연결이 된 전체사람」

 「응답률은」은 「전화연결이 된 전체시람」에 대한 「응답이 마무리 되어 성공한 사람」(위 예인 1,000명)'의 비율(3.5%)을 말하는 것이다.

1.000명이라는 것은 전화를 걸어서 응답이 끝까지 마무리된 사람들 수를 말하는 것이고, 이 수치가 바로 3.5%라는 것이다.

이 1.000명(3.5%)의 100%는 28,571명(100% = 전화연결이 된 전체사람)

28,571명(100%) - 1,000명(3.5%) = 27,571명(96.5% = 거절하거나 중도에 이탈된 사람)

그러니까 전화를 걸어 28,571명이 연결까지는 되었는데, 이중 「거절하거나 중도에 이탈된 사람」 27,571명을 제외한 실제 「응답이 마무리 되어 성공한 사람」 1,000명(3.5%)이 바로 '응답률'인 것이다.

아래를 보시면 좀더 쉽게 이해할 것이다.  

■ (리얼미터 6월 4주차) 여론조사결과 등록현황 (* 이 사례에서 응답률 계산하기)

■ 리얼미터 6월 4주차 조사

▶ [문재인 대통령 국정수행 평가] 긍정 47.6% vs 부정 47.6%

▶ [정당 지지도] 민주당 41.5%, 한국당 30.6%, 정의당 7.6%, 바른미래당 4.4%, 민주평화당 1.7%, 무당층 12.8%

∙ 조사의뢰자 : 오마이뉴스
∙ 조사기관 : ㈜리얼미터

○ 조사일시(2019.6.24. ~ 28) 
▸ 2019.6.24. 12시 00분 ~ 17시 30분 
▸ 2019.6.25  12시 00분 ~ 18시 00분 
▸ 2019.6.26  12시 00분 ~ 18시 00분 
▸ 2019.6.27  12시 00분 ~ 17시 30분 
▸ 2019.6.28  12시 00분 ~ 17시 30분
∙ 조사일수 : 5일
∙ 조사시간 : 28시간 30분
∙ 조사대상 : 전국에 거주하는 만 19세 이상 남녀
∙ 표본오차 : 95% 신뢰수준에 ±2.0%
∙ 최초 공표·보도 지정일시 : 2019.7.2. 06시 00분

○ 응답률 : 4.4%

① 조사방법1 (유선 ARS) 자동응답전화 방법

② 조사방법2 (무선 ARS)자동응답전화 방법

③ 조사방법3 (무선 전화면접)

위 ① + ② + ③ 합계 응답률 계산

※ 위 「응답률」 계산 풀이

이번 여론조사는 총 5일간 진행되었으며, 조사방법은 ① 유선 ARS(자동응답전화) + ② 무선 ARS(자동응답전화) + ③ 무선전화면접 등 세 가지 방법으로 진행되었고, 이를 합친 총 조사대상 규모는 301,239명이었다. 

여러 사정(결번, 사업체번호·팩스·대상지역아님·할당초과, 통화중·부재중·접촉안됨 등)상 전화연결까지 이루어지지 않은 것이 243,833개이고, 연결까지가 된 사람은 57,406명인데, 이 중 거절하거나 중도에 이탈된 사람은 54,902명[접속 후 거절 및 중도 이탈 수], 응답이 마지막까지 성공한 사람은 2,504명[응답을 완료한 수]으로, 결국은 전화연결까지 된 57,406명에서 성공한 사람은 2,504명으로, 이 2,504명은 전화연걸이 이루어진 57,406명에서 차지하는 비율(응답률)은 4.4%(계산상 4.36%에서 반올림)이다.

■ 표본크기와 표본오차

1) 표본크기(1,000명) = 응답자수(1,000명; 응답률 3.5%)

- 거절하거나 중도에 이탈된 사람 27,571명(96.5%)

- 전화연결이 된 전체사람 28,571명(100%)

※ 위 '표본크기=응답자수' ☜ 응답이 마무리되어 성공한 사람을 말함.

○ 1) 조사완료 1,000명(표본크기) ☞ 목표할당 1,000명

   2) 조사완료 1,003명(표본크기) ☞ 목표할당 1,000명

2) 95% 신뢰수준에서 표본오차 ±3%포인트란?

예) (A사람) 48%, (B사람) 45%일 경우

(A사람) 48%일 경우, 동일한 형태의 조사를 100번(100%) 실시할 경우 95번(95%)은 45%~51%(±3%포인트)사이의 구간에는 들어가게 된다는 확신(신뢰수준)을 가질 수 있다는 것임.

(B사람) 45%일 경우, 동일한 형태의 조사를 100번(100%) 실시할 경우 95번(95%)은 42%~48%(±3%포인트)사이의 구간에는 들어가게 된다는 확신(신뢰수준)을 가질 수 있다는 것임.

* 위 (A사람) · (B사람)에는 후보자·정당·대통령 등의 지지율(긍정·부정·어느 쪽도 아님·모름·응답거절 등) 등의 조상대상자가 들어가게 됨.

※ 오차범위 예시

☞ 표보오차가 95%신뢰수준에 ±3%일 경우, 지지율 차이가 6%포인트 이하일 경우에는 오차범위 내 접전으로 순위는 의미가 없게 되지만, 이 구간을 벗어날 경우에는 실제 격차가 벌어진 것으로 보게 된다.

즉, A 49% vs B 45%일 경우 지지율 차이는 4%포인트로 누가 앞선다고 말할 수 없지만, A 52% vs B 45%일 경우에는 그 차이가 7%포인트로 오차범위를 벗어나기 때문에 이때에는 A가 앞선다고 보게 되는 것이다.

 

※ 신뢰도가 커질수록 표본오차는 줄어들고, 신뢰도가 낮아질수록 표본오차는 커지게 된다. 즉 신뢰도와 표본오차는 반비례하게 된다. 결국 신뢰도가 낮아지거나 표본오차가 커질수록 그 조사의 의미가 그만큼 퇴색하게 되는 것이다.

<응답률이 높을수록 정확도가 높아진다고?>
한국갤럽과 리얼미터의 윤석열·이재명 지지율 순위가 다른 두 조사 내용과 분석
첫 40% 아래로 무너진 문재인 대통령 지지율 37.9%(9.23~24. 조사)