국문요약

제1장 서론

1. 연구 배경과 목적

2. 연구 대상과 범위

3. 연구 방법과 구성

제2장 기술협력 ODA 평가 동향과 주요 쟁점

1. 기술협력 ODA의 개념과 국제사회의 지원 동향

2. 한국의 기술협력 ODA 및 평가 현황

3. 기술협력 ODA 평가의 주요 쟁점

제3장 국제사회의 기술협력 ODA 평가 정책 및 사례

1. 다자기구의 기술협력 ODA 평가체계 및 사례

2. 양자 개발기관의 기술협력 ODA 평가체계 및 사례

3. 기술협력 평가체계 및 사례분석의 주요 시사점

제4장 우리나라 기술협력 사업의 유형별 평가 사례 분석

1. 시행기관 규모별 자체평가 특징 비교ㆍ분석

2. 개발 컨설팅 유형 평가 사례 분석

3. 연수 유형 평가 사례 분석

4. 소결 및 시사점

제5장 기술협력 ODA 평가방법 개선방안

1. 기술협력 ODA 평가의 쟁점별 시사점

2. 기술협력 ODA 평가체계화 방안

3. 기술협력 ODA 평가품질 개선을 위한 과제

제6장 결론

참고문헌

부록

Executive Summary

우리나라 공적개발원조(ODA) 규모가 커지고 ODA 사업을 추진하는 기관이 확대됨에 따라 ODA 성과의 체계적 관리 및 평가의 실효성 제고에 대한 요구가 높아지고 있다. 그러나 우리나라 ODA 사업 평가는 주로 프로젝트형 사업을 위한 평가방법론을 기반으로 하여 수립된 평가지침과 매뉴얼을 적용하고 있으며, 기타 유형의 사업을 위한 체계적인 평가방법론 연구는 미흡한 실정이다. 특히 정책 컨설팅, 연수와 같은 기술협력 유형의 사업에 프로젝트형 사업의 평가방법을 적용하기에 한계가 많은 것으로 파악된다.

따라서 본 연구는 우리나라 ODA에서 중요한 비중을 차지하는 기술협력 사업에 대한 현실적이고 유용한 평가방법을 제안한다는 연구 목적을 가지고 우리나라 기술협력 사업의 특성과 시행기관의 평가 여건을 반영한 평가방법을 연구하는 데 중점을 두었다. 

제2장에서 살펴본 바와 같이 우리나라 ODA는 기술협력 비중이 타 공여국보다 높고 소규모 단독 기술협력 사업이 많은 것이 특징이다. 2021년 기준 총 31개 기관이 기술협력 사업을 수행하고 있으며, 소규모 기술협력 사업만 시행하는 기관을 포함하여 많은 시행기관이 기술협력 사업을 대상으로 평가를 실시하고 있다. 기술협력 사업은 역량 강화를 목표로 한다는 특성 때문에 사업의 성과를 명확히 정의하기 어렵고, 평가를 설계하고 방법을 수립할 때 고려해야 할 사항이 많다. 특히 우리나라 기술협력의 상당 부분을 차지하는 단년도 소규모 사업의 경우에는 성과의 발현 여부나 시점이 불분명하고 측정이 어려워 평가성이 높지 않다. 평가의 유용성과 학습의 기능을 강조하는 최근의 개발협력 평가 동향을 반영하여 우리나라 ODA 평가에서도 대상사업의 평가 가능성(evaluability)과 평가의 효용(utility)을 고려할 필요가 있다. 

제3장에서는 기술협력을 실시하는 6개 주요 다자기구(UNDP, FAO, 세계은행, ADB, IDB, WTO)와 4개 양자 공여기관(독일 GIZ, 일본 JICA, 프랑스 AFD 그룹, 스웨덴 Sida)의 기술협력 평가체계와 사례를 심층 조사하였다. 주요 공여기관들은 기술협력 ODA 평가의 한계를 각 기관 평가제도의 틀 안에서 평가의 형식과 부담을 줄이는 방향으로 극복하고 있음을 발견하였다. 다자기구의 사업 단위 평가에서 주목할 점은 사업 종료 단계에서 사업종료보고서를 통해 자체적인 평가를 수행하고, 이를 외부평가자가 검증(validation)하는 약식 평가체계를 가지고 있다는 것이다. 양자 개발기관의 경우, 평가 대상을 사업 분야, 규모, 평가의 유용성 등의 기준에 따라 일부 선정하여 평가하고 있으며, 소규모 사업은 평가 대상에서 제외하기도 한다. 개별 사업보다는 정책, 프로그램, 분야ㆍ주제별로 종합평가를 실시한다는 점도 중요한 특징이다.

제4장에서는 우리나라 기술협력 사업의 대부분을 차지하는 개발 컨설팅과 연수 유형에 활용되는 평가방법을 심층 분석하였다. 시행기관의 사업규모별로 평가방법을 비교ㆍ분석하고, 종합평가 및 개별 사업평가로 구분하여 문제점과 개선방향을 도출하였다. 개발 컨설팅 사업 평가에서는 평가의 범위를 현실적으로 설정하고, 산출물 건수와 같이 단순한 정량 데이터 외에도 정성지표를 활용하여 평가에 필요한 정보를 풍부하게 수집하는 것이 필요한 것으로 나타났다. 연수사업 평가에서는 종료 시점 연수생 만족도 점수 외에 성과의 근거가 명확히 제시되지 않고, 평가 결과의 충실성이 낮은 경우가 많았다. 두 유형에서 도출된 시사점을 종합해보면 단순 점수 위주의 만족도 조사보다는 참여자를 대상으로 보다 구체적인 질적 정보를 수집하여 컨설팅ㆍ연수 내용, 지식 전달이나 협업 방식에 대한 품질을 평가하고 개선 의견을 수렴하는 것이 더 유용할 것으로 보인다. 또한 종합평가를 실시할 때는 평가 목적을 보다 명확히 수립하여 개별 사업평가와 차별화되는 제언을 도출할 필요가 있다. 

국내외 사례 분석 결과를 종합하여 우리나라 기술협력 ODA 평가를 위한 개선 방향으로 도출한 시사점은 다음과 같다. 첫째, 평가성의 측면에서는 기술협력 사업의 성과를 현실적인 범위로 설정하여 대표성 있는 성과지표를 수립하고, 사업 과정과 결과의 품질에 중점을 두어 질적인 측면을 균형 있게 평가할 필요가 있다. 둘째, 단기ㆍ소규모 사업은 개별 사업평가의 효용이 떨어지므로 평가의 필요성이 있을 때 종합평가로 추진하는 것이 바람직하다. 셋째, ‘정식’ 평가를 하지 않더라도 책무성을 확보하기 위해 비용이 적게 드는 ‘약식’ 평가방법을 활용할 수 있다. 넷째, 평가 목적을 명확하게 수립하여 평가의 시기와 범위, 외부 위탁 여부를 결정할 필요가 있다. 

이러한 시사점을 바탕으로 제5장에서는 기술협력 ODA 평가의 한계를 보완하고 평가 단계를 체계화하는 개선방안을 제시하였다. 기술협력 사업 평가에서 평가성의 제약은 책무성 범위(accountability ceiling)를 설정하여 평가의 범위를 현실화함으로써, 효용성 문제는 체계화된 사업관리와 연계하여 약식 종료평가를 도입함으로써 보완할 수 있다. 이를 종합적으로 반영하여 다음과 같은 4단계 사업관리ㆍ평가체계를 제안하였다. 첫 단계는 사업 과정 중 체계적인 모니터링을 통해 사업정보와 데이터를 수집ㆍ축적하는 것으로, 이는 그다음 평가 단계가 제대로 이루어지기 위한 전제조건이 된다. 두 번째 사업종료 보고 단계에서는 사업 과정과 최종 산출물, 사업 수행 중 얻은 교훈에 대해서 사업 수행자 또는 관리자가 자체적인 평가를 실시하도록 한다. 이어 세 번째 단계에서는 2단계의 사업종료보고서 품질과 자체평가 결과를 외부평가자가 객관적으로 검증하는 약식 종료평가를 실시한다. 마지막 단계인 종합평가는 평가 목적에 따라 선정된 사업(군)을 대상으로 사후적으로 실시할 수 있다.

위와 같은 평가관리 개선방안이 실효성 있게 적용되기 위해서는 각 시행기관이 기술협력 사업에 대한 평가의 목적을 명확히 수립하여 평가를 기획하는 제도를 정착시키는 한편, 각 기관의 대표적 기술협력 사업에 대하여 통합적인 성과모형을 수립하고 종합적인 성과관리 체계를 구축하는 것이 중요하다. 또한 기술협력 사업의 평가방법에 융통성을 용인하고, 정량 성과 외에도 다양한 정성적 평가를 병행하여 사업의 장ㆍ단점과 개선사항 도출에 중점을 두어야 한다.

국제개발협력위원회 및 국무조정실 차원에서도 현재 의무화된 자체평가를 유연하게 적용하는 것을 적극 장려하고, 기술협력 ODA 사업의 품질기준을 제시하여 각 시행기관이 자체적으로 사업의 품질을 관리할 수 있도록 유도하는 것이 바람직하다. 궁극적으로 우리나라 기술협력 사업의 효과성을 제고하기 위해서는 소규모 단발적 사업에서 벗어나 보다 넓은 개발 맥락에서 성과를 창출할 수 있도록 프로그램형 사업으로 추진해야 할 것이다. 현재와 같이 다양한 기관에서 기술협력 사업이 산발적으로 시행되고 있는 여건에서는 시행기관 자체적으로 기술협력 사업에 대한 M&E 체계를 강화하는 것이 우선이며, 장기적으로는 보다 통합적인 관점에서 기술협력 사업 평가의 목적을 설정할 필요가 있다.