- 정책평가의 목적과 종류 -
박훈 합격의법학원 행정학 전임
1. 개념
정책평가는 정책의 내용, 집행 및 집행의 결과와 그 영향 등을 추정하거나 사정 또는 평정하기 위하여 체계적 연구방법들을 응용하는 것으로서, 어떤 한 정책의 과정이나 결과를 이해하고, 그 가치를 판단하는 사회적 과정이다.
이러한 정책평가는 어떠한 사회적 목적을 달성하기 위하여 정부가 개입하기로 하였다면 그러한 정부에 의한 체계적인 간여, 즉 서비스나 정부활동들은 내용이 올바르고, 올바른 대상들에게 전달되고 있는가? 정부가 개입하기로 한 활동의 정도는 제기되고 있는 문제의 성격에 비추어 보아 적정하며, 그러한 활동들을 통하여 달성하고자 하였던 목표들, 즉 실현하고자 하였던 사회는 실현되었는가? 와 같은 의문들은 몇 가지 예에 불과하지만, 바로 정부가 결정하여 집행하고 있거나 집행된 정책들에 대한 정책평가의 필요성을 나타낸다.
2. 정책평가의 목적
일반적인 정책평가의 목적은 불확실성을 감소시키고, 이해를 증진시키는 데에 있다. 그런데 정책평가의 구체적인 목적은 정책평가의 의뢰자, 평가대상정책의 내용, 성격, 집행의 단계 등에 따라 달라질 수밖에 없기 때문에 일률적으로 말하기는 어렵지만, 대체로 다음 세 가지로 요약할 수 있다. ➀ 지식과 학습의 목적, ➁ 관리개선, ➂ 책임성의 확보
3. 정책평가의 종류
(1) 자체평가와 외부평가 : 평가주체에 따른 분류
(2) 전형적인 정책평가의 방법들
1) 착수직전분석
착수직전분석(front-end analysis)의 접근방법은 주로 새로운 프로그램을 최종적으로 결정하기 위하여 프로그램을 착수하기 직전에 수행되는 선행적 평가방법이다. 그렇기 때문에 이것은 기획과 유사하며 전반적으로 볼 때 조망적인 평가이다. 이 접근방법에서는 문서, 기록 등 현존하는 자료와 아울러 그 이전에 평가를 실시하여 발견하였던 사실들을 토대로 평가 팀 리더는 착수진전분석에서 다음과 같은 사항들을 검토한다. ➀ 리스크와 편익의 사정(assessment), ➁ 프로그램의 우선순위, ➂ 보고에 대한 요구사항, ➃ 전체로서의 조직의 우선순위
이러한 검토를 통하여 발견된 사실들은 프로그램집행 계획을 다시 정교하게 수정하거나, 적정한 집행의 수준을 결정하는데 유용한 지침을 제공해준다.
2) 평가성 사정/평가성 검토
평가성 사정은 여러 가지 가능한 평가로부터 얻을 수 있는 정보수요를 사정하고, 평가의 실행가능성을 사정하며, 실행가능하고 적절하며 유용한 평가설계를 선택하도록 도와줌으로써 평가의 공급과 수요를 합치(match)시키도록 도와주는 시장연구(market research)의 한 형태라고 할 수 있다.
Wholey는 결과지향적인 관리와 유용한 프로그램 평가를 가로막는 요인들로서 다음의 다섯 가지를 들고 있다. ① 프로그램 목표들과 정보의 우선순위에 대한 합의의 부재, ② 프로그램 목표들의 실현가능성의 부족, ③ 프로그램 성과에 관한 적절한 정보의 이용가능성의 결여, ④ 관리자들이 프로그램 성과에 대한 정보에 의거하여 행동하려는 의지의 부족, ⑤ 관리자들이 프로그램 활동의 가치에 대하여 의사를 전달할 능력의 부족이다.
이들 5가지 문제점들 가운데 두 가지는 프로그램 목표에 관한 것이고, 한 가지는 프로그램 성과지표에 관한 것이며, 나머지 두 가지는 관리자들의 행동의지와 의사전달능력에 관한 것들이다.
위에 열거한 문제점들 가운데에서도 특히 다음과 같은 네 가지가 만족된다면 평가는 프로그램의 성과를 개선하는데 유용하게 활용될 수 있다. ① 프로그램의 목적이 잘 정의되어야 한다. ② 프로그램 가정들과 목적들은 실현가능하여야 한다. ③ 평가정보를 어떻게 활용하겠다고 하는 것이 명확히 정의되어야 한다. ④ 적절한 성과자료들은 합리적인 비용으로 획득 가능하여야 한다.
평가성 사정은 위에서 제시한 네 가지 표준들이 들어맞는지를 확인하기 위하여 취해지는 프로그램 평가설계에 대한 하나의 예비적 평가이며, 평가의 효용을 극대화하기 위하여 이해관계 당사자들의 이익을 고려하는 평가계획을 위한 한 세트의 절차이다.
3) 형성적 평가/과정평가/프로그램 발전을 위한 평가
형성적 평가(formative evaluation)는 총괄적 평가(summative evaluation)와 달리 그 이름에서도 알 수 있듯이 프로그램이 집행과정에 있으며 아직도 유동적일 때 프로그램 가운데 어떤 것이 제대로 작동(working)하고, 무엇이 개선하여야 할 필요가 있는가 하는 정보를 제공해줌으로써 프로그램을 개선하기 위하여 수행하는 평가이며, 프로그램의 개념화와 설계를 위한 평가이다. 형성적 평가는 정부간여의 성공을 극대화하기 위하여 새로운 프로그램을 설계하고 개발하기 위한 검증으로서, 평가의 초점은 어디까지나 프로그램 그 자체에 놓여있다.
형성적 평가 또는 과정평가는 그 자체가 독립적으로 수행되기도 하고 또는 다른 유형의 평가와 병행해서 수행되기도 한다. 이 과정평가가 독자적으로 수행될 때 그 평가의 목적은 일반적으로 관리의 전략, 작업과정, 비용, 고객과 실무자들 간의 상호작용 등 집행되고 있는 프로그램 활동들의 과정을 기술하고 분석함으로써 이들 과정의 제요소들을 개선하자고 하는 데 그 목적이 있다. 한편 다른 유형의 평가, 특히 효과성평가와 아울러 실시할 때에는 이 과정평가의 목적에는 효과성 평가의 설계를 결정하는데 도움을 주거나 효과성 평가에 의하여 발견된 사실들을 설명하는데 도움을 주고자 하는 목적들이 포함되어 있다. 그러므로 과정에 대한 평가는 왜 그리고 어떻게 하나의 효과가 성립되게 되었는가를 다루는 평가라 할 수 있다. 이러한 과정에 대한 분석은 행정적인 면과 행정학적인 면에 모두 유의미한 것이며, 특히 프로그램이 기대되고 있는 바대로 움직여주지 않고 있는 것을 나타내 줄 때 이러한 평가의 의미는 더욱 크다. 이러한 평가를 통하여 프로그램이 제대로 작동되고 있지 않는 원인을 찾아내어 이것을 수정함으로써 프로그램이 제대로 운용될 수 있도록 할 수 있고, 이렇게 함으로써 이 프로그램을 완전히 실패된 것으로 간주하여 종결하는 일을 미리 막을 수 있는 가능성이 높아지게 된다.
과정의 평가는 다음과 같은 네 가지 차원에서 이루어지게 된다. ➀ 프로그램 그 자체의 특성, ➁ 프로그램의 집행대상이 된 모집단, ➂ 프로그램이 집행되었던 상황적 맥락, ➃ 프로그램에 의하여 산출된 서로 다른 종류의 효과
4) 프로그램 모니터링
프로그램 모니터링(program monitoring)은 프로그램 집행의 능률성과 효과성을 확보하기 위한 평가라는 점에서 위의 세 가지 과정평가들과는 구별된다.
① 프로그램 집행의 모니터링
프로그램 집행의 모니터링(administrative monitoring)은 프로그램 투입 또는 프로그램 활동들을 측정값과 비교함으로써, 프로그램이 구체적으로 지정된 대상모집단 또는 지역에 도달되고 있는지, 그리고 프로그램 활동들은 프로그램 설계에 구체적으로 명시된 그대로 수행되고 있는가를 평가하자는데 그 중점이 두어지게 된다.
프로그램 모니터링이 널리 권장되고 있는 이유로는 국민들이 세금을 내서 프로그램을 지원하는 것이 바람직할 것이라고 생각하였던 결과가 실제로 일어나고 있는지 여부에 대한 경험적 증거가 필요하다고 하는 점과 프로그램의 영향이나 그 결과가 실제로 일어나지 않거나 적절한 참여자들에게 전달되지 않았다면 프로그램의 영향에 대하여 계속적으로 관심을 갖는다는 것 자체가 무의미할 것이라는 점 등을 들 수 있다.
② 프로그램 성과의 모니터링
프로그램 성과의 모니터링은 투입활동 및 산출물을 측정하고 프로그램의 성과들을 사전에 설정되었거나 또는 기대되었던 성과와 비교하는데 평가의 중점을 둔다.
프로그램 성과의 모니터링의 목적은 1차적으로 프로그램이 그 목표를 향해서 진행되어 나아가는 성과를 주기적으로 측정하자는 것이다. 성과의 모니터링 시스템은 프로그램 목표와 중요한 부수적 성과를 밝혀내고 프로그램 성과를 사전에 설정되었거나 기대되었던 성과와 비교함으로써 현재의 상태에 대한 정보를 산출․제공하며, 프로그램 목표들을 향해서 성취해 나아가고 있는 과정에 있어서 프로그램 활동의 분석에 초점을 둔다. 대부분의 정부프로그램들에 있어서 프로그램 성과의 모니터링은 가장 실행가능성이 높고 또 유용한 평가대안이 하나이기 때문에 가장 널리 채택되어 시행되고 있다.
5) 정책영향평가/총괄적 평가/산출결과평가/효과성평가
정책영향평가는 또한 총괄적 평가(summated evaluation), 산출결과평가(outcome evaluation) 또는 효과성 평가(effectiveness evaluation)라고 부르기도 한다. 일반적으로 정책평가라고 하면 바로 정책영향평가를 의미할 정도로 가장 널리 활용되고 있는 정책평가의 방법이며 프로그램이 전체적으로 보아 잘 되어가고 있는지 여부를 발견하기 위한 평가방법이다. 이 영향평가의 결과는 정책(또는 프로그램)의 계속, 확장 또는 감축과 같은 중요한 정책결정을 내리는데 유용한 정보를 제공할 수 있을 것으로 기대되고 있다.
형성적 평가와 대칭되는 의미에서의 총괄적 평가는 프로그램이 안정기에 도달한 다음에, 그것이 예상했던 목적들을 성취했는지 여부를 평가하는 것이다.
정책영향(프로그램 영향) 평가의 목적은 크게 보아 네 가지로 구분된다. ➀ 프로그램의 대상이 되는 모집단에 어떤 변화를 가져왔는지의 여부와 그 규모를 식별해 내는 것, ➁ 이러한 변화가 오게 된 원인이 집행된 프로그램에 의한 것이었는지의 여부를 밝혀내는 것, ➂ 이러한 변화가 투입된 비용에 비추어 정당화될 수 있는지를 밝혀내는 것, ➃ 이러한 변화가 제기된 문제해결에 적합한 것인지 여부를 검토하는 것이다.
이들은 정책영향평가의 목적들 가운데 주로 전자의 두 가지 목적들, 즉 대상이 되는 모집단에 어떠한 변화가 일어났는지의 여부와 아울러 그 규모를 식별해내고, 이루어진 변화들 가운데 타 요인들의 영향에 의하여 일어난 변화를 배제하고 순수하게 정책에 의하여 일어나게 된 변화와 그 규모를 식별해내고자 하는 목적을 달성하기 위한 평가의 유형들이다.
6) 평가종합
평가종합(evaluation synthesis)은 연구자가 연구결과를 일반화(generalization)하기 위하여 수행되기도 하고, 어떤 행정기관이 정책을 조정하거나 감독하기 위하여 수행되기도 하며, 국회 등에서 정책을 수정․보완․종결하기 위하여 정책심의에 필요한 정보를 요청함으로써 수행하기도 하는 등 여러 가지 관심사항을 충족시키기 위하여 이루어지고 있으며, 주로 영향평가에 적용되고 있다.
평가종합 가운데 통계적 기법을 사용하여 어떠한 평가주제에 대하여 수행한 여러 계량적 평가에서 보고한 효과의 크기(effect size)를 종합하는 방법을 메타분석(met-analysis)이라고 한다.
