프로젝트 말라위는 HIV/AIDS와 각종 예방가능한 질병들로 고통받는 말라위 사람들에게 도움을 제공할 뿐 아니라 과학적이고 정교한 프로그램 평가시스템을 통해 프로젝트 말라위가 진행하는 사업이 사업 대상자들에게 실질적으로 어떤 영향을 미치고 있는지를 측정합니다.

 

프로그램 평가는 사업전반적인 부분에 걸쳐 피드백을 제공하고 자원을 가장 효과적이고 효율적으로 사용할 수 있는 방법을 고안하는데 기여합니다. 이를 통해 궁극적으로 프로그램의 기능과 결과를 향상시키는 역할을 하기 때문에 프로그램 평가에 대한 국제원조사회의 관심은 점차적으로 커지고 있습니다.[1]

 

하지만 국제원조의 긴 역사를 가진 다른 선진국들에 비해 한국의 국제원조와 평가에 대한 관심은 비교적 최근의 동향입니다. 수원국에서 공여국으로의 전환 그 자체에 의미를 두었기 때문에 실질적으로 국제원조 프로그램이 소기의 성과를 이뤄냈는지, 프로그램이 실행된 지역과 그 주민에게 어떠한 영향을 얼마나 미쳤는지에 대한 연구는 미미한 수준에 불과했습니다. 국제원조의 영향에 관한 기존 연구가 존재하기는 하지만 기준치조사가 이뤄지지 않거나 혹은 비교그룹이 없어 외부적인 요인으로 인한 변화를 가려내기 어려웠습니다

 

프로젝트 말라위의 영향평가는 비교분석에 있어서 황금률이라고 불리는 무작위 대조군 시험 (RCT: Randomized controlled trial)을 국제원조분야에 사용한 한국 최초의 시도입니다. 프로젝트 말라위는 프로그램 평가를 통해 최소의 비용으로 최대의 효과를 낼 수 있는 프로그램을 개발하고 연구해 절대적인 빈곤과 예방가능한 질병 퇴치라는 인류 최대의 과제를 해결하는 정책형성에 이바지하고자 합니다


제목 없음1.jpg


프로그램 평가 가운데 영향평가는 프로그램으로 인해 발생한 결과와 효과를 밝히는데 그 목적이 있습니다.[2] 프로그램의 수혜대상에 효과가 나타났다면 그것이 대상 프로그램에서 직접적으로 기인한 것인지를 밝히는 것이 영향평가의 주요과제입니다.

 

예를 들어, 임신부 혹은 가임 여성들에게 영양분을 공급하는 프로그램이 그 여성에게서 태어난 태아의 건강에 어떤 영향을 미치는지, 포경수술을 실시하는 것이 HIV감염률을 얼마나 낮출 수 있는지 등 프로그램이 사업대상자에 미치는 영향을 조사하는 것이 영향평가의 대상이 될 수 있습니다. 영향평가의 결과는 사업대상자뿐 아니라 사후 정책결정에 중요한 지표로 활용될 수 있기 때문에 프로그램의 영향을 정확하게 측정하는 것은 매우 중요한 일입니다

 

그렇지만 프로그램 외 사업대상자와 대상자가 속한 지역사회에 영향을 미치는 다양한 요소로 인해 프로그램의 영향을 측정한다는 것은 쉬운 일이 아닙니다. 경제불황, 인플레이션, 자연재해 등 프로그램의 결과에 영향을 미칠 수 있는 외부환경적인 요소들이 존재할 뿐 아니라 다른 오류의 가능성이 많기 때문입니다.


가장 흔한 오류 중의 하나는 바로 시간효과에 따른 편향 (time trend bias)입니다.

 

만약 B마을에 2011 1년 간 프로그램이 진행됐다고 가정했을 때 [그래프 1 참고] 프로그램 시행 전 후를 비교하면 가구 당 월수입이 증가했으므로 긍정적인 변화가 일어난 것처럼 보일 수 있습니다.



가구당월수입.jpg

가구당월수입1.jpg


하지만 다른 마을을 비교하면 월수입의 증가가 A,B,C 마을 모두에 관찰되는 현상으로 B마을에 제공된 프로그램 때문이 아니라 A,B,C마을 모두에 영향을 미치는 외부적인 요소 (국가 기간산업의 발전, 외국자본의 유입, 새로운 농경기술의 발전 등)에 기인한 현상일 가능성이 높습니다. 이 경우 B마을에 나타난 변화가 프로그램 때문이라고 결론 짓기는 어렵습니다. 그렇기 때문에 비교할 수 있는 통제집단(control group)을 영향평가에 포함시키는 것은 평가의 정확도를 위해서 필수불가결한 일이라고 할 수 있습니다.

 

통제집단과 표본집단(treatment group)이 동일하다는 가정아래 정해진 시간 동안 표본집단에 프로그램을 제공하고 통제집단에 프로그램을 제공하지 않으면 프로그램 종결 후, 그 두 집단에 차이가 있다면 그 차이는 외부적인 요소나 시간의 흐름에 따른 자연스러운 변화가 아닌 프로그램으로부터 야기된 것이라 결론 내릴 수 있습니다.

 

하지만 처음부터 통제집단과 표본집단이 다르다면 표본집단에 나타난 변화가 프로그램으로 인한 것인지 아니면 표본집단자체에 처음부터 내제된 특성 때문인지 알기가 어렵습니다. 그렇기 때문에 통제집단과 표본집단을 가능한 최대로 동일하게 하는 것이 중요합니다. 그렇기 때문에 사용하는 것이 바로 무작위 대조군 시험입니다.

 

무작위 대조군 시험이란?

 

무작위 대조군 시험(RCT: randomized controlled trial)은 통제집단과 표본집단의 특성을 동일하게 유지해 잠재적인 오류를 배제하여 영향평가의 정확성을 높일 수 있는 우수한 기법입니다. 특별히 예산 졔약으로 인해 도움이 필요한 대상 전체를 지원할 수 없는 경우, 사업 수혜자를 선발하는 과정에 발생하는 있는 부정부패 등과 같은 여러 문제를 RCT는 원천적으로 제거할 수 있으며 사업수혜의 공정성을 유지할 수 있는 장점을 가지고 있습니다.


 


RCT의 원리

RCT를 사용할 경우 샘플 사이즈가 충분히 크다면 두 집단의 특성은 평균적으로 동일하게 됩니다. RCT의 가장 널리 알려진 예는 동전던지기 입니다. 동전을 던져서 앞면이 나올 경우 0을 적고 뒷면이 나올 경우 1을 적습니다. 몇 번을 던지다 보면 0이 대부분이거나 1이 대부분일 수도 있습니다. 하지만 동전을 던지는 횟수가 많아지면 많아질수록 0 1이 나오는 비율은 50 50으로 비슷해집니다

 

같은 논리로 1000명의 사람에게 1부터 1000까지의 수를 배정하고 그 수를 종이쪽지에 적어 종이쪽지를 흔들어 섞은 다음 처음 500개의 종이쪽지를 꺼내 통제집단에 넣고 나머지 500개의 종이쪽지를 표본집단에 배정합니다. 처음 1000명에서 여성이 40%였다면 통제집단과 표본집단에도 여성의 비율은 각각 40%가 됩니다. (그림 1 참고) 처음 1000명에서 안경을 쓴 사람이 20%였다면 통제집단과 표본집단에도 안경을 쓴 사람은 20%정도로 고르게 분포됩니다. 표본의 크기가 충분히 크다면 관측가능한 특성 뿐만 아니라 관측이 불가능한 개인의 내면적 특성들 까지도 확률적으로 표본집단과 통제집단에 동일하게 분포됩니다.[3]



그림111.jpg



이와 같이 RCT를 시행해 배정한 두 집단은 거의 모든 면에서 평균적으로 동일하다고 가정할 수 있기 때문에 프로그램 시행 후 만약 그 두 집단에 차이가 있다면 그 차이는 프로그램으로부터 비롯된 것이라고 결론 내릴 수 있는 것입니다.

 

프로그램의 영향을 정확하게 밝혀낼 수 있다는 RCT의 장점에도 불구하고 국제원조분야에서 이 기법을 사용하기 어려웠던 것은 바로 윤리적인 측면 때문이었습니다. 예산이 충분하여 표본집단 뿐만 아니라 통제집단까지도 원조를 제공할 수 있는 상황에서 영향평가를 위해 통제집단을 설정하고 원조를 제공하지 않는 것이 비윤리적이라는 것입니다. 프로젝트 말라위는 이러한 윤리적 측면을 고려하여 사업대상지 내 phase-in design을 사용하였습니다.

 

Phase-in design은 인원이 많기 때문에 모든 사람을 동시에 수술하거나 교육하는 것은 현실적으로 불가능하다는 사실을 이용하여  사업 혜택은 대상자 전체가 받게 되나, 그 혜택을 받는 순서를 무작위로 선발하여 먼저 사업혜택을 받는 사람들을 표본집단으로 나중에 사업혜택을 받게 되는 사람들을 통제집단으로 설정하고, 사업 중간에 후속조사(follow-up survey)를 실시하여 영향평가를 하게 됩니다. 한 집단에만 혜택을 주고 다른 집단에는 주지 않는 것이 아니라 순서만 다를 뿐 결국에는 모든 집단에 혜택을 제공하는 것입니다.

 

프로젝트 말라위와 RCT

 

HIV/AIDS 예방사업과 RCT

프로젝트말라위 사업 중 HIV/AIDS 예방사업은 HIV/AIDS교육, 포경수술, 장학금지급 사업으로 나누어져 있습니다. 프로젝트말라위는 RCT를 이용해 잠재적인 오류를 최소화하고 평가의 정확성을 높일 뿐 아니라 예방사업의 각 요소들이 어떤 결과를 초래하는지, 개별의 요소들이 결합되었을 시 어떤 시너지 효과를 내는지를 조사하기 위해 후속조사 시점에서 아래와 같이 가능한 모든 경우의 수를 고려하는 정교한 기법을 사용했습니다.



도표1.jpg  


예를 들어 장학금이 HIV/AIDS 예방에 어떤 영향을 미치는지 알기 위해서는 G1 G4를 비교하면 됩니다. HIV/AIDS교육, 포경수술, 그리고 장학금을 다 받은 경우와 아무것도 받지 않은 경우 어떠한 차이가 있는지 알기 위해서는 G1 G8를 비교하면 됩니다. 이러한 비교를 통해서 어떤 방법이 HIV/AIDS 예방에 가장 큰 효과가 있는지, 어떤 방법이 결합되었을 때 효과가 더 극대화 되는지 등을 알 수 있습니다.


모자보건사업과 RCT

모자보건사업의 식량 및 영양보조 프로그램도 HIV/AIDS 예방사업과 마찬가지로 그 프로그램의 영향을 평가하기 위해 RCT를 사용해 대상자를 아래 도표 2와 같이 네 개의 그룹으로 나누었습니다.[4] 이 영향평가의 결과, 산전에 식량과 영양을 보조해줬을 경우와 산후에 식량과 영양을 보조했을 경우, 그리고 산전 산후 모두 식량과 영양을 지원했을 경우 영유아의 건강상태에 어떠한 영향을 미치는지에 관해 알 수 있을 것입니다. 결과적으로 모자보건분야에 있어서 최소의 비용으로 최대의 효과를 낼 수 있는 정책을 개발해 내는데 결정적인 역할을 할 근거를 마련할 수 있을 것입니다.

도표2.jpg


이러한 영향평가방식은 기존 국제원조분야에서는 찾아보기 힘든 선구적인 시도로서 HIV/AIDS의 효과적인 예방을 위한 정책과 모자보건증진을 위한 정책형성뿐 아니라 앞으로 영향평가를 비롯한 평가시스템의 방법론적인 측면에서도 큰 기여를 할 수 있을 것으로 기대합니다



---------------------------------------------------

[1] CDC. 2010. “Program Evaluation.” Retrieved from http://www.cdc.gov/abcs/reports-findings/downloads/prog-eval.pdf

[2] KOICA, 개발협력사업평가 가이드라인, 2008

[3] Gertler, P. 2011. “Impact Evaluation in Practice.” World Bank, Washington, DC.

[4] 모자보건사업은 현재의 예산으로 사업대상지 내 임산부 전체를 지원할 수 없어, phase-in design RCT를 도입할 수 없었고,일반적인 표본집단통제집단을 가지는 RCT 방법으로 사업을 설계하였습니다