소수직렬·지역·기술직은 신뢰성 고려해야
법률저널이 그동안 줄곧 예상합격선을 발표해 오던 방식을 올해부터 변경하면서 응시자들의 관심도 폭발했다. 게다가 그동안 주요 직렬에 한해서만 분석했던 관행에서 벗어나 소수직렬은 물론 지역과 기술직까지 망라하면서 예측시스템 참여자 또한 대폭 증가했다.
예상합격선을 공개하지 않기로 한 것은 합격선 논쟁을 피하고 차별화된 독자 서비스를 강화하면서 예측의 신뢰성을 높이겠다는 게 그 배경이었다.
예상대로 응시자들의 참여는 높았다. 전체적으로 2680여명이 참여한 것으로 이는 전체 응시자의 20%에 달하는 수치이며, 전년도 참여자에 비해 150% 포인트 이상 증가한 셈이다.
이같이 수험생들의 참여는 높았지만 본지 '예측시스템'은 접속자 폭주로 서버가 다운되는 등 초반부터 참여가 어려웠다. 게다가 일부 입력 프로그램 오류가 발생하는 등 산 너머 산이었다. 전산 담당자는 설 연휴는 뒷전이었고, 거의 2주간 퇴근을 하지 못한 채 예측시스템에 매달렸다. 기자 역시 데이터를 분석하느라 일주일 동안 밤잠을 설치면서 체력도 바닥이 났다.
게다가 조기에 메일을 보내달라는 독촉 전화에 스트레스가 이만저만이 아니었다. 여기에다 학부모나 수험생들의 전화는 매일같이 백여 통에 달해 응대하는데만 하루 절반이 소요됐다.
문제는 전화 응대로 인해 분석의 맥이 끊어지면서 분석이 늦어지는 것이었다. 또한 분석해야 할 직렬이 무려 40개나 달해 짧은 시간 안에 분석하기란 작업량이 과다했다는 점이다. 더욱이 소수직렬과 지역, 기술직의 경우 표본의 수가 작아 분석이 더욱 어려워지면서 시간이 지체되고, 표본의 신뢰성마저 낮아 분석하는데 회의까지 들기도 했다.
어쨌든 우여곡절 끝에 목요일까지 모든 참여자에게 메일을 보낸 게 천만 다행이라는 생각이다. 지나친 과욕(?)으로 호된 신고식을 치른 듯하다.
고생한 만큼 예측의 신뢰도 더욱 높아졌으면 하는 바람이다. 최근 행정·외무고시에서 예측의 신뢰성이 높은데다 올해 예측방법까지 변경하다보니 참여자의 기대치 또한 높아졌기 때문이다.
예측 방식은 예고한 대로 '합격확정'에서부터 '불합격'까지 5∼6 단계로 나눴다. 합격확정과 합격확실은 오차범위를 벗어난 윗 단계를 의미한다. 합격유력에서 80%과 50%는 1문제 차이를 두었다. 판단유보는 예측선보다 한단계 아래로 정했다. '단판 유보'도 합격 확률을 50% 미만으로 봤기 때문에 지레 포기해서는 절대 안된다. 그동안 예측을 보면 정확히 맞힐 경우도 있지만 선발인원과 동점자로 인해 한 문제 위아래로 결정되는 경우도 많기 때문이다.
이번 예측은 지난해와 같은 선발배수를 기준으로 했으며, 지역과 기술직은 선발인원 10배수로 잡았다. 그리고 응시자가 입력한 답안을 채점한 결과를 기준으로 삼았다.
올해도 정확성을 위해 최대 노력을 했다. 하지만 올해의 경우 참여자의 성향이 달라졌을 것이라는 생각이다. 참여자에 한에 이메일 통지라는 시스템으로 변경하면서 참여자가 대폭 늘고, 과거와 같은 대표성이 있는 지 정확히 파악하기 어려웠다. 이전의 방식에 비해 상위권이 증가한 것인지, 아니면 하위권이 늘었는지 가늠하기가 쉽지 않다.
게다가 복수정답, 선발인원, 지역인재, 양성평등 등 여러 요인들이 합격선 결정에 상당한 영향을 미치기 때문이다. 특히 지역과 기술직의 경우 표본의 수가 워낙 작아 예측의 신뢰성이 다른 직렬에 비해 현저히 떨어진다.
그러나 이메일 통지 이외에는 지난해와 시스템과 크게 달라진 것이 없기 때문에 참여자 성향이 크게 바뀌지는 않을 것이라는 가정을 두었다. 참여자의 성향을 계량화하기가 쉽지 않았기 때문이다.
따라서 주요 직렬의 예측은 신뢰성이 높을 것으로 판단된다. 다만 지역과 기술직은 솔직히 예측의 신뢰성은 매우 낮을 것으로 보인다. 한마디로 무의미한 예측일 수 있다.
늘 강조하는 이야기지만 예측은 어디까지나 예측에 그친다는 것에 유의해야 한다. 예측은 하나의 가이드라인일 뿐이다. 시험을 포기하지 않은 이상 예상 컷 보다 높든 낮든, 합격 확정이든 불합격이든 2차 준비를 하는 게 상식이다. 컷에 전혀 연연할 필요가 없다. 유예제도가 없는 이상 굳이 1차에 목매여 있을 필요가 없기 때문이다. 예측의 방식을 바꾼 것도 컷에 연연하지 말자는 것이다.
예측시스템 변경이 어느정도 신뢰를 쌓을 수 있을지 수험생과 마찬가지로 발표일을 손꼽아 기다리는 신세가 됐다.
참여하신 응시자 여러분께 다시 한번 감사를 드리며 합격을 기원한다.
이상연 기자 desk@lec.co.kr
