“방송사 출구조사 이번에도 헛발질”, “방송사 예측보다 또 빗나가”, “방송사 출구조사 또 망신살”, “‘2시간용 총선 예측보도’ 무용론(無用論)”

이번 총선을 치른 이튿날 아침 신문에 실린 방송사 선거예측 관련기사의 제목들이다. TV방송국들은 엄청난 돈을 쏟아 붓고 광고에 열을 올리면서 선거예측을 했지만 완전히 빗나가자 각 방송사 출구조사가 또 구설수에 올랐다. 심지어 방송사 출구조사에 대해 일부에서는 무용론(無用論)까지 나오고 있다. 결국 4년 전 17대 총선에서 부정확한 총선 예측보도로 사과 방송을 한 바 있는 방송 3사가 올해 18대에서도 빗나간 총선 예측보도로 사과했다. 

방송사의 빗나간 예측 결과를 보면서 지난 2000년부터 줄곧 ‘예상합격선’을 발표해왔던 본지로서는 남다르게 다가왔다. 본지 예측시스템을 통한 합격선 예측이 어느정도 신뢰가 쌓인 탓에 예상합격선 발표날이면 실제 발표일에 버금갈 정도로 수험가의 관심이 집중됐다. 그러다보니 수험생들에 최대한 정확한 정보를 전달한다는 취지에 맞춰 ‘두리뭉실’한 예측선보다 위험성이 매우 큼에도 불구하고 가능한 한 ‘소수점’ 이하까지 예측함으로써 정확성에 대한 부담감은 더 컸기 때문이다.

그럼에도 사법시험뿐만 아니라 행정고시 등 각종 고시에서 본지 예측은 그동안 소수점 이하까지 정확히 맞힐 때도 있었고 오차범위를 벗어난 적도 있었지만 대체적으로 ‘합격점’을 얻었다고 자평한다. 더구나 막대한 비용과 인력, 각계의 전문가들이 참여한 방송사의 예측이 총선 때마다 연속으로 빗나가는 것과 비교해보면, 자율적으로 참여한 표본집단에다 딱히 전문가라할 만한 분석가도 없이 이뤄진 본지 예측이 더 정확했다고 말한다면 지나친 자화자찬일까?

선택과목 표준점수제 도입된 올해도 본지는 총점 245.48점(오차범위 ±0.52점)을 예상합격선으로 발표했다. 여기에다 하나의 가이드라인 수준에서 원점수 74.57점(오차범위는 ±0.29점), 기본3법 기준 73.33점(220점, 오차범위 ±0.33점)을 각각 예측했다.

●총점 예측 빗나갔나?

본지 총점 예측에 반응도 각양각색이다. 정확하냐는 문의에서부터 소수 선택과목의 표준편차가 실제와 차이가 많이 날 것이라는 우려까지 다양했다. 누구도 실제 선택과목의 평균점과 표준편차를 알 수 없는 마당에 이같은 다양한 목소리가 나오는 것은 지극히 당연하다.

좀 더 근사치를 예측하려면 선택과목의 평균점과 표준편차가 실제와 근사해야 하다는 전제가 필요하다. 전제가 달라질 경우 정확한 예측은 더욱 어려워지게 된다는 것은 상식이다. 통계분석에 쓰이는 ‘로 데이터’(raw data, 기초자료) 값이 다르기 때문에 결과물도 달라질 수밖에 없는 것이다.

그런 점에서 표준점수가 반영된 총점 예측의 정확도는 누구도 장담할 수 없는 상황이다. 결국 본지의 총점 예측도 한마디로 ‘무모했다’고 말할 수 있다. 수험생을 위한답시고 의욕(?)이 너무 앞섰지 않나 싶다.

따라서 수험생들은 본지가 예측한 ‘총점 245.48점’이라는 ‘수치’에 방점을 둘 필요는 없다. 이미 앞에서 언급했듯이 ‘로 데이터’ 차이에 따른 법무부의 실제 표준점수와 본지 표본집단의 표준점수가 달라 결국 총점(헌민형 점수+표준점수)도 다르기 때문이다. 물론 총점이 일치할 수도 있지만 ‘분석’의 산물이기보다 ‘우연’의 결과로 보는 것이 더 정확하지 않을까.

●그렇다고 예측이 들렸나?

그렇다면 본지의 총점 예측이 완전히 빗나갔을까? 본지 게시판에는 이번 합격선이 ‘몇점’이라는 글들이 많이 올라오지만 수험생들은 정작 자신의 총점을 정확히 모른다는 점을 간과하고 있는 듯하다. 설령 법무부가 지금 당장 올해 컷이 ‘245점’이라고 발표한다 하더라도 자신의 선택과목 표준점수를 모르는 수험생들은 합격자 명단이 나오기까지는 정확히 알 수 없다. 현재 수험생들 사이에서 논의되는 총점도 본지의 표본집단을 근거로 산출한 ‘추정치’에 근거할 뿐이다. 

결국 수험생들도 총점이라는 부정확한 ‘수치’를 놓고 자신의 당락을 점치는 형국인 셈이다. 가령, 법무부 컷이 총점 245점이라고 했을 경우 본지 추정치를 근거로 한 총점이 247점이라 하더라도 실제로 합격자 명단에 이름이 없을 수도 있고, 반대로 본지에 근거한 총점 241점이 실제로는 합격할 수 있다는 것이다. 따라서 총점은 법무부 발표로 비로소 확인할 수 있기 때문에 지금 이 시점에 총점 운운하는 것은 자신의 공부 방향을 정하는데 별 도움이 안된다는 판단이다.

그러면 수험생들이 당락을 판단할 근거는 전혀 없는 것일까? 현재 수험생들이 유일하게 알 수 있는 것은 본인의 원점수와 기본3법의 점수다. 원점수도 하나의 판단 자료로 활용할 수 있지만 선택과목이라는 변수 때문에 정확성이 떨어진다. 

따라서 원점수보다 선택과목이라는 변수를 전혀 고려하지 않는 기본3법의 점수로 판단하는 게 훨씬 더 정확하고 옳다는 주장이 나오고 있다. 선택과목의 표준점수를 모르는 상황에서 총점으로 비교하는 것보다 기본3법으로 가늠하는 것이 현재 수험생들이 판단할 합리적인 준거라는 것이다. 물론 이는 선택과목간 표준점수 차가 작다는 가정이 필요하다.

이런 수험생들의 주장이 오히려 현실성이 있다는 판단하에 우리는 기본3법에 대한 지난해 통계자료와 올해 통계자료를 다시 비교해 봤다. 본지 예측시스템상에서 지난해 합격선(73.14점)을 기준으로 봤을 때 기본3법은 71.00점(213점)이 컷이었다. 결국 선택과목의 평균은 2.14점이라는 계산이다.

올해의 경우 지난해와 같은 기준선에 놓고 볼 때 원점수 74.57점에서 선택과목을 제외한 기본3법의 컷은 73.33점(220점)으로 나왔다. 원점수와 기본3법의 점수 차가 1.24점에 그쳐 역시 올해 선택과목이 지난해보다 어려웠다는 것을 다시 한번 입증됐다.

기본3법을 합격의 판단 기준으로 삼는다면 ‘220점’이 하나의 기준이 된다는 것이다. 여기서 오차범위(총점 ±1점)를 감안하더라도 ‘221점’이라면 어느정도 안정권이라는 판단이다. 만약 기본3법 221점이 합격자 명단에 없다면 선택과목의 과목간 표준점수 차가 생각보다 컸다는 의미다.

결론적으로 올해 예측은 총점 예측은 분명히 오차가 생길 수 있기 때문에 하나의 수치에 불과하고 당락을 점칠 수 없다는 것이다. 따라서 현재로선 기본3법을 하나의 준거로 삼아 자신의 공부 방향을 정하는 게 보다 현실적인 컷트라인 감상법이 아닐까?

이상연 다른기사 보기