박훈의 행정학 읽기 / 행정학 속의 정책학(25)
상태바
박훈의 행정학 읽기 / 행정학 속의 정책학(25)
  • 박훈
  • 승인 2015.02.27 11:45
  • 댓글 0
이 기사를 공유합니다

- 정책평가의 인과성 추론 및 타당성 -

 

박훈 합격의법학원 행정학 전임

Ⅰ. 정책평가와 인과성 추론

1. 인과성 추론의 조건 : John Stuart Mill

(1) 시간적 선행성의 원칙

① 독립변수가 종속변수보다 선행해야 한다는 원칙

② 실험변수의 조작에 의해 확보됨

(2) 공동변화의 원칙

① 독립변수가 변하면 종속변수도 함께 변해야 한다는 원칙

② 연관관계의 강도(magnitude)와 일관성(consistency)의 두 특징을 파악해야 함

③ 실험집단에 대해서만 실험변수를 조작한 후 실험집단과 통제집단을 비교함으로써 확보됨

(3) 경쟁가설의 배제 원칙/비허위적 관계

① 종속변수의 변화는 독립변수에 의해서만 설명이 가능해야 하고, 외재적 변수(제3변수)에 의해서 설명되어서는 안 된다는 원칙

② 허위변수(spurious variable)와 혼란변수(confounding variable)의 통제가 중요함

2. 정책실험을 통한 인과성 확인

(1) 실험설계의 논리

➀ 비교(comparison) : 공동변화의 입증

➁ 실험변수의 조작(manipulation) : 시간적 선행성의 입증

➂ 무작위 배정(random assignment) : 외재적 변수의 통제와 경쟁가설의 제거

(2) 실험설계의 종류

1) 진실험설계(true-experimental design)

2) 준실험설계(quasi-experimental design)

무작위배정에 의하여 실험집단과 통제집단의 동등화를 꾀할 수 없을 때 사용하는 설계방법이다. 정책이 집행된 후에 이루어지는 정책평가는 기본적으로 회고적이며, 준실험설계에 의해 평가가 이루어지는 게 대부분이다.

3) 비실험설계(non-experimental design)

인과적 추론의 세 가지 조건을 모두 갖추지 못한 설계, 즉 진실험과 준실험적 설계를 제외한 인과관계 추론 방법이다. 이는 실험설계의 원리에 의하여 정책의 효과를 식별하고 분리해 내는 것이 아니라, 통계적인 상관관계분석의 원리에 의하여 독립변수로서의 정책과 종속변수로서의 정책영향간의 상관관계를 분석해내고 이를 해석함으로써 정책의 효과를 평가하고자 한다. 통계학과 사회과학의 발전에 따라 회귀분석, 인과분석 등과 같은 평가모형들이 발전되고, 이들이 정책평가에 응용됨으로써 정책영향의 평가에 공헌을 하고 있으며, 아직도 계속 발전되어 가는 과정에 있다.

Ⅱ. 정책평가의 타당성(validity)

1. 의의

타당성(validity)은 조사연구에서 연구자가 연구하고자 하는 것을 정확하게 오류 없이 연구하였는가를 나타내는 기준이다. 그런데 완전한 진리, 100% 정확한 연구를 추구하는 것은 대단히 어렵다. 따라서 오류를 최대한 줄이려는 노력이 합리적이듯 완전히 타당한 연구보다 타당성이 높은 연구를 지향한다고 할 수 있다.

그러면 어떻게 하면 타당성이 높은 연구를 할 수 있을까? 우리는 그 길을 오류의 종류(오류의 리스트)를 제시하는 것에서 찾는다. 연구자가 쉽게 범할 수 있는 오류의 종류를 알게 되면 그만큼 그것에 대한 경각심을 많이 기울이고 점검을 할 가능성이 많다. 다른 연구의 오류를 분석할 수 있는 능력이 생기면 새로운 연구문제를 만들어낼 수 있는 능력이 제고되고, 또 그렇게 되면 자신의 연구에서 생길 수 있는 오류를 줄일 수 있게 된다. 이렇게 되면 개별적 연구에서 또는 연구들의 집합에서 오류가 줄어들게 되고 전체적으로 지식이 성장하게 되는 것이다.

따라서 중요한 것은 오류의 리스트인데, 이를 파악하기 위한 다음의 세 가지 분류는 서로 연관되어 있다.

① 오류는 연구의 모든 단계에서 발생할 수 있기 때문에 오류의 종류를 연구의 수행 단계별로 살펴볼 수 있다. 먼저, 연구문제가 올바르게 작성되고 이에 적합한 연구설계를 구성했는지 살펴보게 된다. 다음, 자료수집과정에서 발생하는 오류, 수집된 자료의 분석과정에서 발생하는 오류가 있다. 그리고 마지막으로 분석결과를 해석하고 보고하는 과정에서 범하게 되는 오류가 있는데, 실제로 이때 오류를 많이 범하는데, 이러한 오류에 대해서는 상대적으로 설명이 적은 편이다.

② 오류를 하나의 명제 체계 내 구성요소별로 살펴볼 수 있다. 먼저, 개념을 측정가능한 개념으로 조작적 정의를 하는 과정에서 발생하는 오류이다. 이는 구성타당도와 관련되어 있다. 다음으로 개념과 개념간의 관계를 분석하는 과정에서 발생하는 오류이다. 개념간의 관계는 공변관계 여부, 시간적 우선성 여부, 제3의 설명가능성 여부로 나누어 살펴볼 수 있다. 공변관계 여부를 판정하는 과정에서는 통계적 오류가 발생할 수 있다. 원인과 결과의 시간을 잘못 설정할 수도 있다. 제3의 설명가능성과 관련된 것은 너무도 많다.

③ 연구과정에서 범할 수 있는 오류의 종류를 크게 네 가지, 즉 내적 타당성, 구성 타당성, 외적 타당성, 결론 또는 통계적 타당성으로 나뉘다.

㉠ 내적 타당성은 두 개념 간의 인과성 규명에서 범할 수 있는 오류와 관련된 타당성이므로 인과관계와 시간에 대한 고려가 중요해진다.

㉡ 구성 타당성(구성개념 타당성)은 개념을 수치로 전환하는 과정에서 발생하는 오류를 다루고 있어서 개념과 변수의 관계가 중요하게 논의된다.

㉢ 외적 타당성은 연구결과의 모집단 또는 다른 대상에의 적용과정에서 범할 수 있는 오류와 관련되어 있어 분석단위와 표본추출 등의 주제와 연결되어 있다.

㉣ 결론 및 통계적 타당성은 제1종, 제2종 오류와 관련해서 통계처리 및 해석, 그리고 보고서 작성과 관련된 오류를 다루고 있다.

2. 내적타당성

(1) 의의

내적 타당성(internal validity)은 인과성의 조건과 관련되어 있다. 인과성의 조건(시간적 선행성, 공변관계, 비허위적 관계) 중 공변관계는 주로 통계적 타당도에서 다루게 된다. 따라서 내적 타당성의 저해요인은 시간적 선행성과 허위관계에 해당되는 것들이다.

(2) 내적 타당성 위협요인

① 성숙요인(maturation) : 시간의 경과에 따른 대상집단의 특성변화

② 역사요인(history) : 실험기간 중 일어난 특정사건에 의한 대상집단의 특성변화

③ 선발요인(selection) : 실험집단과 통제집단이 다르기 때문에 나타나는 차이. 즉 표본선택 바이어스

④ 상실요인(mortality) : 실험기간 중 실험대상의 중도포기 또는 탈락(실험대상 변동) 때문에 나타나는 차이. 실험실보다는 대부분 현장연구에서 발생

⑤ 회귀요인(regression) : 실험대상이 극단적인 값을 갖기 때문에 재측정시 평균으로 회귀하려는 경향 때문에 나타나는 차이

⑥ 검사요인(testing) : 사전검사에 대한 친숙도가 사후측정에 미치는 영향에 따른 차이

⑦ 측정수단요인(instrumentation) : 측정기준과 측정수단이 변화함에 따라 나타나는 차이

⑧ 그 밖에 단일위협요인들의 상호작용

3. 구성 타당성

구성 타당성(construct validity)은 측정의 기초를 이루고 있는 개념이 타당한가의 문제로 이론적 구성개념과 측정도구가 얼마나 일치되는지의 정도를 나타내는 개념이다. 연구결과가 잘못되는 이유 중 하나는 개념적 정의와 조작적 정의가 잘못되어 연구하려는 개념과 수치로 표현된 개념에 차이가 나기 때문이다.

4. 외적 타당성

(1) 의의

외적 타당성(external validity)은 연구결과의 일반화에 관한 개념이다. 즉 연구결과가 다른 대상, 다른 시기, 다른 상황에도 그대로 유효할 경우 외적 타당성이 있다고 본다.

(2) 외적 타당성의 저해요인

① 분석단위의 오류이다. 집단단위의 조사결과를 개인단위에 적용함으로써 나타나는 생태적 오류, 개인단위의 조사결과를 집단단위에 적용할 때 나타나는 개체적 오류, 그리고 다층 수준의 분석에서 발생하는 오류 등이 그것이다.

② 표본추출 과정의 오류로서 주로 표본오차가 여기에 해당된다. 표본추출은 서베이조사에서 가장 많이 활용된다.

③ 특수한 실험처리 상황에서 얻은 연구 결과를 일반적인 상황에 적용할 수 있는가 하는 문제이다. 실험처리의 상호작용 효과(처리와 처리간의 상호작용, 조사와 처리간의 상호작용, 선정요인과 처리간의 상호작용, 환경과 처리간의 상호작용, 역사요인과 상호작용), 다수 실험처리에 의한 간섭, 인위적 실험배치의 효과 등이 여기에 해당한다.

5. 통계적 타당성

통계적 결론 타당성은 두 변수 사이의 관찰된 공변관계가 우연한 것인지 아닌지에 대한 통계적인 의사결정의 타당성이다. 효과가 있는데도 없다고 결론을 내리거나(제2종 오류), 효과가 없는데도 있는 것처럼 결론을 내리는 오류(제1종 오류)를 막는 것이 중요하다. 통계적 결론은 흔히 실험처리 효과의 강도나 인과관계의 규명보다는 주로 그 사전단계로서 유의미한 공변관계가 있는지 여부를 밝혀 영가설(귀무가설)의 기각여부를 결정하는데 사용된다.

xxx

신속하고 정확한 정보전달에 최선을 다하겠습니다.
이 기사를 후원하시겠습니까? 법률저널과 기자에게 큰 힘이 됩니다.

“기사 후원은 무통장 입금으로도 가능합니다”
농협 / 355-0064-0023-33 / (주)법률저널
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
공고&채용속보
이슈포토