| Home | E-Submission | Sitemap | Contact Us |  
top_img

The Korean text of this paper can be translated into multiple languages on the website of http://jksee.or.kr through Google Translator.

J Korean Soc Environ Eng > Volume 42(8); 2020 > Article
하수도 서비스의 정책성과지표(안) 도출: 서울시 사례 중심

Abstract

Objectives

The objective of this study was to develop the performance indicators (PIs) framework for the assessment of sewerage services, especially focused on the case of the Seoul Metropolitan Government (SMG).

Methods

For the prioritization of each indicator, the Analytic Hierarchy Process (AHP) method was employed to obtain the weights of individual performance ratings, and hence the survey questionnaire asking to make pairwise comparisons between two alternatives at each level was distributed to the experts in field of sewerage services. A total of fifty-six experts responded to the survey, and based on their decision-making, the relative importance of criteria and alternatives were calculated.

Results and Discussion

The PI framework developed in this study consists of three hierarchical structures with levels 1 to 3, in which level 1 indicates three goals of the sewerage services, level 2 contains ten performance indicators, and level 3 includes twenty technical performance indicators. Of the framework, especially, the 10 PIs in the level 2 are designed to be open to the public after converting them into the grades. Of level 1, the water environmental soundness showed 62% of the entire weights was found to be the most prioritized objective, followed by the sewer service sustainability (27%) and the customer compliance to policy (11%), respectively. Of 10 PIs in level 2, ‘No odor sewerage system’ and ‘No flooding sewerage system’ were the two most weighted indicators.

Conclusions

The proposed PIs framework is expected to provide an insight to develop the project of 2040 master plan for sewage and drainage system of the SMG. Although the scope of the study is in particular limited to the case of the SMG, this PI framework can be replicated in any local government with modified adaptation.

요약

목적

이 연구는 하수도 서비스의 달성을 평가할 수 있는 성과지표(Performance Indicator, PI) 체계를 도출하기 위해 수행되었다. 국내에서는, 서울시가 추구하는 하수도 서비스의 정책 및 기술 수준이 타 지자체에 비하여 선진화 되어있다고 판단되어, 지표체계는 서울시 사례를 염두에 두고 개발되었다.

방법

개발된 지표체계는 3개의 위계구조로 되어있으며, 상위 level 1은 3개의 하수도 서비스의 목표(물환경 건전도, 지속가능도, 정책공감도)를 포함하고, 중간의 level 2는 상위 3가지의 목표를 달성하기 위하여, 총 10개의 정책 성과지표로 구성되어있다. 이 10개의 정책성과지표는 시민들이 이해하기 쉬운 용어와 성과표현 방법으로 명명하여 시민들에게 하수도 서비스의 성과를 공유하도록 하였다. 가장 하위인 level 3은 20개의 기술성과지표로 구성되어 있으며, level 2에서의 각 정책성과지표별로 2개씩의 대표적 기술성과지표를 도출하여 할당하였다. 성과 달성을 위한 지표간의 중요도 및 우선순위를 결정하기 위하여, 하수도 서비스 분야의 전문가를 대상으로 설문조사를 실시하였으며, 9점 척도 내에서 두 개의 대안들 간의 중요도를 선택하도록 하였다. 설문의 결과는 계층적 분석법(Analytic Hierarchy Process, AHP)을 통해 가중치를 계산하였다.

결과 및 토의

AHP분석의 결과, 하수도 서비스의 목표(level 1) 중, ‘물환경 건전도’가 62%로 가장 우선도가 높았으며, ‘지속가능도’(27%)와 ‘정책공감도’(11%)의 순으로 나타났다. 정책성과지표 항목 중에서는 ‘냄새없는 하수도’가 29% 이상으로 가장 중요한 성과항목인 것으로 나타났으며, 다음으로 ‘잘 처리하는 하수도’는 17%이었고, 가장 우선도가 낮은 성과지표는 ‘시민이 참여하는 하수도’였다. 정책성과지표는 달성도에 따라 A~D 및 F등급으로 변환하여 시민에게 공표될 수 있도록 하였다. 기술성과지표(level 3)의 20개 항목에서는 ‘정화조 폐쇄율’이 18.9%로 가장 중요도가 높았고, ‘하수도 정책 소통력’이 가장 낮았다.

결론

이 연구에서 개발된 하수도 서비스의 성과지표는 서울시 사례를 중심으로 도출되었으며, 서울시 하수도 서비스의 성과평가 및 2040 하수도 정비 기본계획에 반영될 것으로 기대한다. 그러나, 서울시 외의 타 지자체나 단체에서도 본 연구의 성과지표체계가 적용될 수 있으며, 다만, 개발방법론은 동일하나, 지자체의 하수도 서비스 실정과 목적에 맞게 변형되는 것이 필요할 것으로 생각된다.

1. 서 론

서울시는 약 1,020만 인구 및 421만 세대가 거주하고 있으며, 우리나라 국내 총생산(1,565,247십억원)의 약 22%를 차지하는(2015년 기준)[1], 이른바 글로벌 메가시티이다. 서울시에서 배출되는 하수량은 평균 273.1만톤/일이며(2016년 기준), 하수관로의 총 길이는 10,616 km로, 1998년 이후 하수도 보급률 100%를 유지하고 있다[2]. 25개 행정구역에서 배출된 하수는 한강과 주요하천 4개소(홍제천, 중랑천, 탄천, 안양천)를 중심으로, 총 4개의 처리구역으로 구분하여, 물재생센터(중랑, 난지, 탄천, 서남)에서 처리되고 있다. 서울시의 하수배제방식은 전체 면적의 약 90% (546.8 km2)가 ‘합류식’ 배제방식이며, 나머지는 ‘분류식’ 배제방식으로 처리된다[2]. 청천시에는 발생 하수의 전량(498만톤/일, 2017년 5월말 기준)을 수집・처리하여, 방류수 수질 기준(biochemical oxygen demand (BOD), chemical oxygen demand (COD), total nitrogen (TN) 등) 내에서 한강으로 방류되는 시스템을 갖추고 있다.
그러나, 최근 기후변화로 인한 이상 강우, 생활수준 향상과 함께 물사용량 및 발생하수량 증가, 특히, 강우시 하수도 시설의 처리용량 초과로 인한 월류수, 미처리수의 바이패스, 도시침수 등이 발생하고 있으며, 이는 도시의 안전 및 환경, 하천오염에도 위협이 되고 있다. 정화조나 물재생센터에서 발생되는 악취 문제는 하수도 관련 가장 빈번한 민원이며, 하수관로 및 기반 시설물의 노후화나 공사 불량에 따른 싱크홀과 같은 도로 함몰 사고의 발생도 잦아지고 있는 실정이다. 새로운 수처리 소재 및 공법의 개발로 하수의 처리 효율은 향상되었고, 정보통신 기술(information & communication technology, ICT)을 활용한 하수도 시설 및 서비스 전반에 대한 모니터링과 예측이 정확해졌다. 그러나, 하수 내 오염물질의 종류는 신종오염물질(개인의약물질, 항생제, 미세플라스틱 등)로 인해 더욱 복잡 다양해졌으며, 오염물질의 부하량 역시 증가했다.
하수도 서비스는 전 지구적 환경 변화, 사회・문화적 변화, 기술적 변화 등으로 인하여 새로운 가치와 목표 설정 및 그에 맞는 정책적 변화에의 요구에 직면하고 있다. 하수도의 본래의 역할인 오수의 배제와 처리, 홍수 방지, 하천 오염방지 등의 기능을 달성함과 동시에, 도시의 물순환을 통한 지속가능한 물관리(수질관리 및 수량확보)에도 기여하고, 오염배출은 최소화하면서 자원을 생산하는 시설로, 주민혐오시설에서 주민친화시설로 탈바꿈되어, 하수도 시설물이 교육・문화・체육 등의 생활시설물로 활용될 수 있도록 요구하고 있다[3]. 이러한 패러다임의 변화에 맞게, 하수도 서비스가 지속가능하고 글로벌 추세를 선도할 수 있도록, 하수도 정책을 수립하고, 정책의 성과 달성을 평가하고, 달성 결과가 정책을 독려할 수 있는 시민체감형 지표를 마련하고자하는 것이 필요하다.
성과지표(performance indicator, PI)는 연구개발을 통하여 달성하고자하는 구체적인 목표의 달성도를 객관적으로 측정할 수 있는 지표로 정의할 수 있다[4]. 하수도 서비스에 대한 표준화된 성과지표로는 2003년 국제물협회(International Water Association, IWA)에서 개발된 지표체계가 대표적이며[5], 그 외 세계은행(World Bank) [6]이나 미국 환경청(United States Environmental Protection Agency, US EPA) [7] 과 수도협회(American Water Works Association, AWWA) [8], 영국의 물서비스국(Office of Water Services, OFWAT) [9], 일본의 하수도관리협회(Japan Sewage Works Association, JSWA) [10] 등에서 하수도 사업이나 서비스 성과의 측정 목적에 따라 다른 성과지표 체계를 마련하여 활용하고 있다. 국내의 경우, 2005년 하수관로정비 임대형 민자사업(Build-Transfer-Lease, BTL)의 성과평가를 위하여 지표체계가 마련되었으며[11], 2008년 환경부가 마련한 「공공하수도시설 관리업무 위탁지침」을 통해 공공하수처리시설에 대한 관리대행 성과평가가 처음으로 제도화되었다[12]. 해당 지표는 최초 6개 부문, 55개의 지표에서 현재는 38개 지표로 축소되었으며, 인력(3개), 하수처리시설운영(15개), 슬러지 및 처리수 재이용(8개), 서비스 질(12개)으로 구분되어 성과를 측정한다. 그 외, 하수관로 정비 사업(BTL사업)의 성과평가를 대체할 수 있는, 분류식 하수관로 시스템에 대한 성과지표 체계가 제안되기도 하였다[13]. 그러나, 기존의 하수도 서비스와 관련된 성과 지표들은 수요자인 시민의 눈높이에 맞춘 것이 아니라, 시설 설비 및 기술 중심, 혹은 전문가나 관련 종사자 중심의 용어와 계산 방법을 사용하였다. 그 결과, 하수도 정책의 성과에 대한 일반 시민들의 이해도가 낮았을 뿐 아니라, 이는 하수도 서비스 전반에 대한 무관심과 낮은 시민의식을 초래하는 원인이 되기도 하였다. 서비스에 대한 수요자의 이해가 높을수록 문제의식을 갖게 되고, 구체적인 개선 요구가 증가하여 전체적으로는 시민이 체감하는 정책의 수립과 공공서비스의 질이 높아지게 된다.
따라서, 이 연구의 목적은 서울시 사례를 중심으로, 하수도 서비스의 성과를 평가할 수 있는 성과지표를 도출하는 것이며, 세부적으로는 사용자인 일반 시민이 이해할 수 있도록, ‘시민 체감형’ 혹은 ‘시민 이해형 지표’와 전문적인 기술의 성과 달성을 평가하는 ‘기술성과지표’로 구분하여 지표를 도출하는 것이 목적이다. 이 연구는 서울시 중심의 하수도 현황 및 데이터를 고려하여 수행되었으므로, 타 지자체에 본 연구의 결과를 적용하는 경우 맞지 않을 수 있으나, 접근 방법론은 보편적으로 적용 가능하다고 판단된다.

2. 연구방법

2.1. 전문가 설문지 작성

서울시는 2019년 1월부터 일 년간 하수도 및 유관분야 전문가, 시민 등 138인으로 구성된 ‘하수도 전문가 포럼(이하, 하수도 포럼)’을 운영하여 왔으며, ‘하수도 비전’, ‘시민체감형 정책지표’, ‘하수배제시스템’, ‘스마트 기술 융합’, ‘자원재생 및 생산화’, ‘물재생센터 현대화’, ‘시민소통’ 등의 7개 분과를 통해 미래 서울의 하수도 정책 방향과 과제를 도출하였다[14]. 먼저, ‘하수도 비전’ 분과의 전문가 그룹을 통해 서울시 하수도 서비스의 비전과 목표를 설정하였다. 비전과 목표는 중・장기적 관점에서 하수도 서비스의 지속 가능하고 미래지향적인 발전 방향을 제시하는 보편적 가치 위주로 설정하고, 환경, 정책, 기술 변화에 따른 변동사항은 목표보다 하위체계에 두도록 하였다. 또한, 서울시 하수도 서비스의 고유성을 잘 반영하는 내용구성 및 문구를 사용하고, 완전히 검증되지 않은 혁신 기술은 배제하였다. 비전-목표와 그 하위 항목 간에는 서로 중복되지 않고, 위상과 구체성에 있어 서로 성격이 명확히 구분되는 방식으로 구성하였다. 이와 같은 원칙하에 서울시 및 국내외 하수도 비전, 목표 등의 검토, 심층 토론 등을 통해 구성과 문구에 대한 수회의 수정을 거쳐 하수도 서비스의 비전-목표-핵심전략으로 구성된 정책성과지표체계의 구조와 최종안이 마련되었다[14].
Fig. 1은 정책성과지표 도출을 위한 단계별 과정을 나타내며, 단계별 과정에 대한 설명은 다음과 같다. 먼저, 서울시 하수도의 비전은 ‘시민 행복에 기여하는 하수도’로 제시되었으며, 이를 위해 크게 세 가지 목표, 즉, ‘1) 안전하고 쾌적한 도시 물 환경 조성’, ‘2) 스마트하고 지속가능한 하수도 시스템 구축’, ‘3) 시민이 공감하는 서비스와 효율적 경영’이 도출되었다. 이 세 가지는 하수도 서비스를 통해 달성하고자 하는 ‘결과물’의 관점에 근거하여 도출된 목표이다.
이와 같은 비전과 목표를 압축적으로 반영하여, 정책성과 지표(안)의 위계(hierarchy) 중 가장 상위인, level 1의 항목과 대응되게 ‘1. 물환경 건전도(L1-1)’, ‘2. 지속가능도(L1-2)’, ‘3. 정책공감도(L1-3)’로 명명하였다.
∙ ‘안전하고 쾌적한 도시 물 환경 조성’: 물환경 건전도(L1-1)
∙ ‘스마트하고 지속가능한 하수도 시스템 구축’: 지속가능도(L1-2)
∙ ‘시민이 공감하는 서비스와 효율적 경영’: 정책공감도(L1-3)
다음 과정으로, level 2에서는 level 1에서 제시된 목표의 달성을 위하여, 목표별로 2개 혹은 3개, 총 10개의 세부핵심전략을 도출하였다.
첫째, ‘1) 안전하고 쾌적한 도시 물 환경 조성(물환경 건전도)’의 달성을 위해서, 하수도 시설(정화조, 관로) 및 물재생센터에서 발생하는 악취, 강우나 국지성 폭우시의 빈번한 침수, 강우시 미처리 방류수나 물재생센터에서 방류되는 처리수로 인한 한강생태계의 오염부하량 증가 등의 해결이 시민의 안전과 쾌적한 삶을 위해 시급한 과제로 제시되었으며, 이와 대응되는 세부목표를 도출하였다.
▸‘안전하고 쾌적한 도시 물 환경 조성’: 물환경 건전도(L1-1) 달성을 위한 세부핵심전략
∙ ‘악취없는 하수도 구축’: 냄새없는 하수도(L2-1)
∙ ‘도시침수대응능력 향상’: 침수없는 하수도(L2-2)
∙ ‘처리수 수질 개선 및 강우시 수질관리강화’: (오염물질과 하수용량 모두를) 잘 처리하는 하수도(L2-3)
▸‘스마트하고 지속가능한 하수도 시스템 구축’: 지속가능도(L1-2) 달성을 위한 세부핵심전략
∙ ‘하수도 시설의 품질 및 기능 향상’: 튼튼하게 오래쓰는 하수도(L2-4)
∙ ‘스마트 하수관리체계 도입’: 똑똑한 하수도(L2-5)
∙ ‘하수로부터 에너지 생산 및 자원회수 확대’: 에너지 만드는 하수도(L2-6)
∙ ‘물재생센터의 혁신 기지화’: 시민과 가까운 하수도(L2-7)
▸‘시민이 공감하는 서비스와 효율적 경영’: 정책공감도(L1-3) 달성을 위한 세부핵심전략
∙ ‘경영효율성 및 안정성 향상’: 경영 잘하는 하수도(L2-8)
∙ ‘시민이 참여하는 하수도 행정 정착’: 시민이 참여하는 하수도(L2-9)
∙ ‘첨단 서비스를 제공하는 전문인력체계 구축’: 전문가가 함께하는 하수도(L2-10)
마지막으로, level 2를 구성하는 10개 정책성과지표의 실질적 평가가 가능하도록, 각 정책성과지표별로 2개씩, 총 20개의 구체적인 기술적 성과지표를 도출하였으며, level 3의 계층을 구성하고 있다. 기술적 성과지표에 포함되어야 할 여러 시급하고 중요한 과제들이 있으나, 서울시의 하수도 관련 현안과 방향성, 중점과제를 반영하여, 가장 핵심적이며, 대표적인 과제를 추려 지표에 포함하였다. Level 2의 정책성과지표에 대응되는 level 3의 세부 기술성과지표는 다음과 같다.
‘냄새없는 하수도(L2-1)’의 달성을 위한 기술성과지표는 ‘정화조 폐쇄율(L3-1)’과 ‘악취물질 제어율(L3-2)’로 도출되었으며, 하수도 악취의 주요 발생원인 정화조의 폐쇄, 물재생센터에서 발생하는 악취로 인한 민원 발생을 줄이기 위하여 (일정 반경 이내에서 측정되는 악취물질의 농도나 종류 등을 저감하기 위한) 기술적 성과로 측정될 수 있다. ‘침수없는 하수도(L2-2)’는 ‘배수시설 정비율(L3-3)’과 ‘배수용량 여유율(L3-4)’의 기술성과지표로 달성된다. 강우시 침수나 하수 역류 등의 발생을 줄이기 위하여 배수 취약지역에서의 배수시설 사전 정비 성과나 하수의 발생 예측량 대비 배수 가능한 하수 용량의 대비율 등을 기술성과로 측정하게 된다. ‘잘 처리하는 하수도(L2-3)’의 지표에서는 한강 생태계와 시민의 쾌적한 물놀이를 위해 오염물질의 부하량 저감이 시급한 과제로 제시되었다. 물재생센터에서 방류되는 처리수와 강우시의 미처리 방류수의 수질과 수량을 각각 저감하기 위하여 ‘방류수 유기물 기준 달성률(L3-5)’과 ‘미처리 우수 저류율(L3-6)’을 지표로 도출하였다.
‘튼튼하게 오래쓰는 하수도(L2-4)’는 관로의 노후화, 관로 공사의 시공 불량이나 품질관리의 미준수 등이 도로함몰, 싱크홀과 같은 안전사고의 주요 원인으로 보고, 이를 예방할 수 있는 기술성과지표로 ‘30년 미만 하수관로율(L3-7)’과 ‘하수도 공사 품질 달성률(L3-8)’이 포함되었다. ‘똑똑한 하수도(L2-5)’는 관로의 막힘, 월류, 펌프 등의 시설물 고장, 강우시 하수 유입 급증 등과 같은 문제를 실시간으로 감지하여 신속 대응하기 위한 스마트 하수도 관리체계 구축을 위해, ‘GIS기반 실시간 감시제어시스템 구축율(L3-9)’과 ‘자산관리시스템 구축율(L3-10)’의 두 지표가 도출되었다.
‘에너지 만드는 하수도(L2-6)’의 달성을 위해서는 ‘에너지 자립률(L3-11)’과 ‘슬러지 자원화율(L3-12)’의 기술성과를 측정하며, 하수처리 전 과정에서의 에너지 소모와 폐기물 발생량을 최소화하기 위한 정책을 평가한다. ‘시민과 가까운 하수도(L2-7)’는 혐오 혹은 기피시설로 여겨졌던 하수도 시설을, 시민의 편의를 위한 시설로 변화시키기 위한 정책성과지표로서, 물재생센터의 현대화 사업(지하화 및 육상부지 근린・친수 시설화)이나 조경관개수, 폭염이나 미세먼지 발생시 도로 살수 등으로 처리수를 재이용하는 등, 시민의 일상 가까이에서 하수도 서비스를 체감하고 하수도에 대한 부정적 인식을 전환한다는 방향성을 갖고 있다. 이를 위해 ‘하수의 생활 재이용률(L3-13)’과 ‘친수시설 전환이행률(L3-14)’의 기술성과지표를 도출하였다.
‘경영 잘하는 하수도(L2-8)’의 달성평가를 위하여, ‘(공기업)경영성과 달성률(L3-15)’과 ‘하수도 재정 건전성(L3-16)’의 기술성과지표를 도출하였으며, 이는 서울시의 하수도 사업 경영을 공기업 경영성과 기준에서 평가할 때, 세입과 세출의 불균형을 해소하고, 장기적으로 영업 이익을 내고, 이를 인력창출, 시설 재투자 등에 투입할 수 있도록, 효율적 경영과 재정 건전성을 위한 성과를 평가한다. ‘시민이 참여하는 하수도(L2-9)’에서는 하수도 서비스 제공자(예, 서울시)가 민원을 통해 전달된 불편사항이나 의견에 대하여 신속하게 응답&해결함으로써, 시민과 소통하는 하수도 정책을 실현하는지에 대한 성과를 평가하며, ‘불편신고 신속처리율(L3-17)’과 ‘하수도 정책 소통력(L3-18)’의 기술성과지표가 도출되었다.
‘전문가가 함께하는 하수도(L2-10)’는 하수도 서비스를 제공하는 행정 및 기술지원 인력의 우수성 및 전문성(자격 및 경험)을 유지・확보하기 위한 지표이며, ‘전담 인력의 자격전문성(L3-19)’와 ‘전담 인력의 경험 전문성(L3-20)’의 두 지표로 평가된다.
이로써, level 1: 3개 항목, level 2: 10개 항목(정책성과지표), level 3: 20개 항목(기술성과지표)으로 구성된 서울시 하수도 서비스 정책성과지표(안)이 Fig. 2와 같이 구성되었으며, 이를 토대로, 계층구조의 항목별로 상대적 중요도를 묻는 전문가 설문을 진행하였다.

2.2. 전문가 설문조사 및 AHP 분석

완성된 정책성과지표(안)을 토대로 1:1의 쌍대 비교를 통한 상대적 중요도를 묻는 질문지를 Table 1과 같은 형태로 작성하였으며, 총 25문항에 대하여 9점 척도에서 중요도를 선택하도록 하였다. 설문의 조사는 2019년 11월 1~9일간 진행되었으며, 응답회수는 1) 온라인 구글 설문(https://forms.gle/iDSDkd89UQJHWRp56을 통해 제공)과 2) 한글 파일을 통한 응답 체크 후 이메일 회신의 두 가지 방법으로 진행하였다. 설문의 응답율은 약 41%이며, 하수도 포럼 내 자문단 및 각 분과위원 등이 포함된 총 138명 중, 56명의 응답이 회수되었다. 각 단계별 항목에 대한 조작적 정의(operational definition)와 설명, level 3의 경우 산정예시가 포함된 보충설명자료도 함께 배포되었다.
계층적 분석과정(AHP: Analytic Hierarchy Process)은 1970년대 초, Thomas L. Saaty에 의해 개발되었으며, 사업성과 측정이나 정책 결정의 우선순위를 도출할 때 주로 사용되는 기법이다[15]. 속성이 다른 다수의 항목들을 계층적으로 분류하여, 각 속성 및 개별 속성 내 하부 계층의 항목 간의 중요도를 파악하고 최적의 대안을 선정하게 된다. 복잡한 의사결정 상황에서 평가 요소들 간의 중요도를 쌍대비교(pairwise comparison)하여 평가지표의 가중치를 산정하여 우선순위를 도출한다[16]. 대개, 의사결정계층의 최상층에는 가장 포괄적인 의사결정의 목적이 설정되며, 다음 계층은 의사결정의 목적에 영향을 미치는 다양한 속성의 기준들로 구성된다. 하위 혹은 마지막 계층은 선택의 대상이 되는 의사결정대안들로 구성된다. AHP는 사회, 기술, 경영, 교육 분야 등 매우 다양한 영역에서 폭넓게 활용되고 있으며, 공공부문에서의 성과지표 개발과정에서도 지표별 상대적 중요도 분석, 사업의 타당성 평가분석에 이용되고 있다[17]. AHP가 갖는 특징은 계층구조를 구성하고 있는 요인들의 상대적 중요도(weight)를 설정하고, 논리적인 일관성을 확보한 응답을 선별하여 분석한다는 점이다. AHP를 통한 중요도 의사결정의 첫 단계는 앞서 설명한 바와 같이, 평가 기준(criteria)별로 계층화된 지표체계를 구성하는 것이며, 두 번째 단계에서는 동일 계층에서 비교 가능한 요소들간의 쌍대 비교를 수행한다. 쌍대 비교에 적용되는 척도는 9점 척도(1: 동등 또는 비슷함, 3: 약간 중요함, 5: 중요함, 7: 매우 중요함, 9: 극히 중요함, 2, 4, 6, 8: 앞 값들의 중간값)이며, 동일 계층에 있는 성과지표들 간의 상대적 중요도를 1에서 9까지의 값을 부여하여 선택하도록 하였다(Table 1). 이때, 항목 i가 항목 j에 비해 갖는 상대적 중요도를 aji로 하는 쌍대비교 행렬을 A=aij라 하면, aij=1aji이며, aii=1이 된다. 따라서, n개의 요소인 행렬 AEq. (1)과 같이 행렬의 대각을 중심으로 역수의 형태를 취하게 된다.
(1)
A=1a12a13a1na211a23a2na31a321a3nan1an2an3ann
세 번째로, 쌍대비교 행렬을 바탕으로 고유치방법(eigenvector method)를 이용하여, 요소들 간의 상대적 가중치(weight, wi)를 추정한다. 비교대상이 되는 n개의 상대적 중요도를 wii=1,,n라 하면, aijaij=wi/wji=1,,n로 추정될 수 있다. Eq. (1)의 행렬의 모든 요소를 다시 나타내면, Eq. (2)와 같이 정리될 수 있다.
(2)
A=w1w1w1w2w1w3w1wnw2w1w2w2w2w3w2wnw3w1w3w2w3w3w3wnwnw1wnw2wnw3wnwn
고유치 방법에 의해, A·w=n·w로 표현되며, 이는 다시 A-nIw=0으로 변형될 수 있다. 이때, w=w1,w2,w3,,wn의 고유벡터이고, m은 행렬 A의 고유치가 되며, 행렬 A의 특성방정식의 해를 구함으로써 w를 구할 수 있게 된다[18].
구성 요소들 간의 상대적 중요도 비교는 응답자가 일관성을 가지고 응답하였는가의 여부, 즉, 응답의 일관성이 확보되어야 결과의 타당성과 신뢰성을 인증받을 수 있다. AHP에서는 일관성 지수(Consistency Index, CI)와 평균무작위 지수(Random Index, RI)를 사용하는데, 일관성의 검증을 위해 CI를 RI로 나눈 값, 즉 일관성 비율(Consistency Ratio, CR)를 사용한다(Eq. (3), (4)). RI는 무작위 행렬의 크기에 따라 1에서 9까지 정수들을 무작위 추출하여 역수 행렬(reciprocal matrix)을 작성한 후 이로부터 일치 지수를 구한 것이며(Table 2), 일반적으로, CI의 임계치는 0.1, CR의 임계치도 0.1(즉, 10%)이다. 따라서, CR이 10% 이하이면 평가가 일관성이 있다고 하고, 10%를 초과하면 의사결정자가 논리적 일관성을 잃고 있는 것으로 판단하여 의사결정과정을 재점검하는 신호를 보내는 기준으로 삼는다. 그러나, 연구의 형태나 분야에 따라 20% 이내이면 허용할 수 있다고 평가하는 경우도 있다[19].
(3)
CI=λmax-nn-1
(4)
CR=CIRI=λmax-nn-1·1RI

3. 결과 및 고찰

3.1. 하수도 정책의 목표별(Level 1) 중요도

Fig. 3은 level 1의 세 가지 하수도 정책의 목표에 대한 전문가들의 상대적 중요도 응답결과이다. 물환경 건전도(0.6247) > 지속가능도(0.2656) > 정책공감도(0.1097)의 순으로 나타났으며, 이 응답에 대한 CR=0.089로 일관성을 확보하였다. 이는 하수도 관련 전문가들은 서울시의 하수도 비전을 달성하기 위해서, ‘물환경 건전도’가 가장 우선순위로 달성되어야 하며, 이와 관련된 세부 하수도 정책의 성과를 중요하게 여긴다는 것을 의미한다. ‘지속가능도’와 ‘정책공감도’의 목표를 달성하는 것도 중요하지만, 이 두 가지의 목표가 갖는 가중치를 합한 것보다도 약 2배에 가깝게, 하수도 서비스의 일차적인 목적(하수의 처리 및 배제, 수환경 보전)의 달성이 우선시 되어야 함을 의미하기도 한다.

3.2. 정책성과지표별(Level 2) 중요도

‘물환경 건전도(L1-1)’의 하위 항목들 간의 중요도는 냄새 없는 하수도(0.468)로 가장 중요도가 높았으며, 잘 처리하는 하수도(0.285)와 침수 없는 하수도(0.247)가 비슷한 수준의 중요도를 보였다. 이 응답에 대한 CR은 0.031로 일관성을 유지하였다. ‘지속가능도(L1-2)’의 하위 항목들 가운데서는 튼튼하고 오래 쓰는 하수도(0.459) > 똑똑한 하수도(0.245) > 에너지 만드는 하수도(0.174) > 일상과 가까운 하수도(0.121)의 순으로 상대적 중요도가 높은 것으로 나타났다. ‘정책공감도(L1-3)’의 하위 항목들에서는 경영 잘하는 하수도(0.461) > 전문가가 함께하는 하수도(0.287) > 시민이 함께하는 하수도(0.252)의 순으로 중요도가 높게 나타났다(Table 3, Fig. 4). ‘지속가능도(L1-2)’와 ‘정책공감도(L1-3)’의 하위 항목들 간의 중요도 선택 응답에 대한 CR값은 각각 0.023과 0.020이었다.
Level 2의 전체 10개의 정책성과지표간의 상대적 중요도는 가중치 순서대로, 냄새 없는 하수도(0.2923) > 잘 처리하는 하수도(0.1779) > 침수 없는 하수도(0.1545) > 튼튼하게 오래 쓰는 하수도(0.1220) > 똑똑한 하수도(0.0652) > 경영 잘하는 하수도(0.0505) > 에너지 만드는 하수도(0.0463) > 일상과 가까운 하수도(0.0322) > 전문가가 함께하는 하수도(0.0315) > 시민이 참여하는 하수도(0.0276)의 순으로 나타났다(Fig. 4). Level 1에서 ‘물환경 건전도(L1-1)’ 항목이 62%로 상대적 중요도가 가장 높았다는 결과에서 유추할 수 있듯이, level 2에서의 중요도의 순위 중 1~3순위까지 모두 ‘물환경 건전도(L1-1)’의 하위 계층 항목이었다. Level 2에서의 전체 지표들 중, 1순위인 냄새 없는 하수도의 중요도는 2위와 10위의 지표 항목들에 비해 약 1.6배와 10.6배의 높은 가중치를 보였다.

3.3. 기술성과지표별(Level 3) 중요도

세 번째 계층을 구성하는 20개의 기술성과지표들 간의 상대적 중요도와 순위를 Fig. 5로 나타내었다. 20개 지표 중 상위 4개의 기술성과지표가 50% 정도의 가중치를 차지하였으며, 이는 모두 ‘물환경 건전도(L1-1)’를 달성하기 위한 하부 계층의 항목에 해당한다. 50% 정도의 가중치를 차지한 4개의 항목 간의 순위는 정화조 폐쇄율(0.189) > 방류수 유기물 기준 달성률(0.115) > 악취물질 제어율(0.103) > 배수시설 정비율(0.099)이었으며, 전체 하수도 정책성과지표 체계에 대하여 각 계층별로 가중치와 우선순위 결과를 Table 3과 같이 정리하였다. 가장 우선순위가 높은 항목(‘정화조 폐쇄율’)의 가중치(0.189)는 가장 낮은 우선순위인, ‘하수도 정책 소통력(0.009)’에 비해 21배 높은 가중치를 보였다. ‘하수도재정 건전성’의 가중치는 0.030이었으며, 이는 ‘정책공감도(L1-3)’에 해당하는 6개 기술성과지표 중 가장 높은 값이었다.

3.4. 정책성과지표의 산정 및 적용

3.4.1. 정책성과지표의 산정

앞서 언급한 바와 같이, 하수도 서비스의 목표 달성은 하부 계층을 구성하는 기술적 성과를 통해 상위 계층의 지표가 달성될 수 있다. 따라서, AHP분석을 통해 얻어진 각 지표항목의 가중치를 활용하여, level 3의 기술성과지표가 산정되며, 각 상위 단계의 지표인 level 1과 level 2가 도출된다(Table 4, 5).
식에서 알 수 있듯이, 각 단계별 성과들은 상위 단계와 연결되어 있다. 따라서, level 1의 지표는 level 2나 level 3의 달성도를 통해서도 산정될 수 있으며, level 2 지표의 달성을 평가하기 위해서는 level 3의 기술성과의 달성도가 우선 평가되어야 한다. 기술성과지표의 달성을 평가하기 위해서는 기준이 되는 목표값 및 구체적인 지표산정방법이 확정되어야 하며, 이는 서울시가 향후 구체적인 과제 등을 통해 결정하여야 한다. 이 연구에서는 기술성과지표 항목과 산정방법을 예시로 제안하였으며, 관심있는 연구자들은 ‘서울시 하수도 포럼 최종보고서’를 참조하기를 권한다[14].
기술성과지표의 달성도에 따라 level 2의 결과가 점수 혹은 %가 산출되면, 이를 Table 6과 같이 A~D와 F등급으로 나누었다. A는 매우 우수한 성과, B는 우수한 성과, C는 미흡한 성과, D는 매우 미흡한 성과, F는 성과 달성 실패에 해당한다. Level 2의 성과를 이와 같은 형태로 변형하여 공표함으로써, 시민들이 하수도 서비스의 성과 달성을 쉽게 이해할 수 있도록 구분하였다.

3.4.2. 정책성과지표의 적용

성과지표체계가 하수도에 대한 전문적인 이해도가 부족한 일반 시민에게는 하수도 서비스의 성과를 직관적이고 쉽게 전달해주는 지표로서, 동시에 관련 전문가에게는 기술적 관점에서 하수도 서비스의 성과 달성을 평가하는 지표로서 작동할 수 있는지 적용하였다. 그러나, 도출된 성과지표체계(안)의 각 항목에 맞는 데이터를 확보하거나 당장은 항목에 맞는 데이터가 없는 경우도 있어, 당장 기술적 성과(level 3의 항목)를 평가하는 것은 불가능했다. 따라서, 향후 구체적인 목표와 해당 기술성과지표의 항목이 정해지고, 데이터가 확보되면, 실효적으로 이 성과지표체계와 방법이 적용될 수 있을 것이란 가정하에, 앞선 설문 조사에 참여하였던 동일한 전문가 집단을 대상으로 추가 설문을 실시하였다. 하수도 서비스 정책성과지표(안)을 기준으로, 현재(2019년 11월 기준)와 가까운 미래(2040년)에 기대하는 서울시 하수도 정책 성과에 대한 만족도 혹은 달성도를 level 2 수준에서만 평가하도록 요청하였다. 달성도 평가는 9점 척도 내(1: 매우 미흡, 3: 어느 정도 미흡, 5: 보통, 7: 어느 정도 만족, 9: 매우 만족)에서 선택하도록 하였다. 이 설문은 2019년 11월 12-13일간 이루어졌으며, 총 53명이 응답하였으며, 응답률은 약 30%였다.
설문의 결과를 100점 기준으로 점수화하여, level 2에 대한 달성도 혹은 기대치 점수를 표현하였으며, level 1에 대한 달성도와 기대치는 level 2의 가중치와 산식을 적용하여 100점 기준으로 점수화하였다. 그 결과, level 1의 세 가지 하수도 서비스 목표에 대한 현재 수준의 만족도 혹은 달성도에 대한 평가 점수는(100점 만점기준), ‘물환경 건전도(L1-1)’가 52점, ‘지속가능도(L1-2)’가 42점, ‘정책공감도(L1-3)’가 50점 수준으로 나타났으며, 이는 C등급인 ‘미흡한 성과달성(unsatisfactory performance)’에 해당되는 것이다(Fig. 6).
2019년 수행된 서울시 온라인 패널(3,232명) 대상의 하수도 인식도 조사 결과에서는 응답자의 62.5%가 하수도 서비스의 수준을 ‘잘하고 있다’로 평가하였다. 본 연구의 전문가 설문과 서울시 온라인 패널조사의 결과 간의 직접적인 비교는 어려우나, 전문가 집단은 전반적으로 일반 서울 시민에 비해 하수도 서비스의 달성수준이 저조하다고 인식하고 있음을 알 수 있다. 이는 전문가 집단은 하수도에 대한 높은 이해를 바탕으로, 하수도 서비스의 잘함과 못함에 대한 평가를 수치적 달성 결과에 근거하여 판단하는데 비해, 일반 시민은 하수도 서비스에 대하여 이해도가 낮을 뿐 아니라, 제한된 영역과 범위 내에의 서비스 경험 사례에 근거하여 판단하기 때문인 것으로 생각된다.
2040년까지, 세 가지 목표의 기대치는 77점(L1-1), 71점(L1-2), 76점(L1-3)으로, B등급 이상의 달성을 기대하는 것으로 나타났다. Level 2에 대한 현재의 수준과 2040년 달성 기대치 조사에서는 ‘잘 처리하는 하수도(L2-3)’의 현재 달성도와 기대치가 각각 60점과 81점으로 가장 높게 났다. 가장 달성 기대치가 낮은 항목은 ‘똑똑한 하수도(L2-5)’였으며, 현재 달성도와 2040년 기대치가 각각 37점과 69점으로 나타났다(Fig. 6).
이는 ‘잘 처리하는 하수도’의 달성에 필요한 기술의 발달(예, 하수처리 신기술, 소재 및 장비, 처리 효율성 증대)로 미래에는 현재보다 수질과 수량 모두, 효과적으로 관리되리라는 기대감이 반영된 때문인 것으로 판단된다. 그러나, ‘똑똑한 하수도’의 낮은 기대치의 경우, 하수도 시설물 자산에 대하여 GIS기반 실시간 감시제어 혹은 자산관리기반의 정보관리시스템 구축이 필요한데, 서울시와 같은 메가도시의 복잡한 하수도 시스템에서 이와 같은 시스템을 단시간 내 구축하기가 쉽지 않다고 판단하였거나, 하수도 시설물에 대한 자산관리의 중요성이 전문가들 사이에서도 보편적으로 인식되지 않았기 때문에, 기대치도 낮은 것이 아닌가 추측된다.

4. 결 론

이 연구에서는 하수도 서비스의 성과평가를 위한 정책성과지표(안)을 도출하였다. 연구의 배경 및 성과 도출은 서울시의 하수도의 비전과 목표를 염두에 두고 수행되었다. 따라서, 본 연구의 지표체계 구성을 위해 고려되었던 상황이나 항목이 서울시의 사례 중심이며, 타 지자체 등에 사용하고자 할 때, 방법론은 그대로 적용해도 무방하나, 구체적인 구성체계나 지표항목은 지자체 상황과 목적에 맞게 재검토되어야 한다. 이 연구의 성과물인, 하수도 서비스 정책성과 지표(안)은 서울시의 현재 하수도 정책성과를 파악하고, 2040 하수도 정비기본계획과 같은 미래 계획 수립에 활용될 수 있다. 시민이 이해하기 쉬운 형태로 명명된 정책성과 지표와 평가 등급을 통해, 하수도 서비스에 대한 이해도 향상 및 관심 고취에 도움을 줄 것으로 기대한다. 또한, 성과 지표를 지속적이고 정기적으로 모니터링하는 경우, 지표 달성의 시계열적 변화를 통해 미진한 서비스 부문을 파악하고, 하수도 정책의 시의적절한 변화 및 의사결정의 근거로 활용할 수 있을 것이다. 그러나, 도출된 정책성과지표 항목에 대한 가중치는, 사회문화적 인식변화나 인구변화, 기후 변화 등과 같은, 내적 혹은 외적인 원인에 의해 변동되거나, 새로운 지표항목이 추가될 수도 있으므로, 전문가 의견수렴을 통해 필요에 따라 지표체계의 수정 및 보완이 필요할 것으로 판단된다. 특히, 기술성과지표의 가중치는 관련 기술의 발전수준, 기상 이변 등으로 인한 재해, 시민들의 요구수준에 따라 상대적 변동성이 클 수 있다고 생각되며, 이는 상위지표의 결과에도 미치는 영향이 크다. 따라서, 기술성과 지표의 정확한 측정을 위해 관리부처 및 과업 수행기관에 대한 책임관리의무를 강화하고, 달성도에 따른 상벌제도를 도입하는 것도 필요하다고 판단된다.

Acknowledgments

본 연구는 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단-과학기술 인문사회 융합연구사업의 지원을 받아 수행된 연구(2017M3C1B6070095)이며, 이에 감사드립니다.

Fig. 1.
Stepwise procedures for developing the policy performance indicators framework of sewerage services.
KSEE-2020-42-8-393f1.jpg
Fig. 2.
Hierarchy structure for the evaluation of policy performance indicators of sewage services.
KSEE-2020-42-8-393f2.jpg
Fig. 3.
Prioritization of three goals of sewage services (level 1).
KSEE-2020-42-8-393f3.jpg
Fig. 4.
Prioritization of policy performance indicators of sewage services (level 2).
KSEE-2020-42-8-393f4.jpg
Fig. 5.
Prioritization of technical performance indicators of sewage services (level 3).
KSEE-2020-42-8-393f5.jpg
Fig. 6.
Current (2019) and expected (2040) achievements on performance of sewerage services; (a) level 1, and (b) level 2.
KSEE-2020-42-8-393f6.jpg
Table 1.
Example of pairwise comparison: results of level 1.
Selection A A’s Importance Equal B’s Importance Selection B
Water Environmental Soundness Sewer Service Sustainability
Water Environmental Soundness Customer Compliance to Policy
Sewer Service Sustainability Customer Compliance to Policy

Relative weights based on responses (56 persons)

Water Environmental Soundness Sewer Service Sustainability Customer Compliance to Policy

Water Environmental Soundness 1 3.349 4.351
Sewer Service Sustainability 0.299 1 3.367
Customer Compliance to Policy 0.230 0.297 1
Table 2.
Random Index (RI); n means the dimension of matrix A.
Matrix Size 1 2 3 4 5 6 7 8 9
RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45
Table 3.
Summary on overall weights and rankings of the proposed PIs for sewerage services.
Level 1-Goals
Level 2-LoS
Level 3
Prioritization (Ranking)
Indicator Gross Weight Policy Performance Indicator Local Weight Technical Performance Indicator Local Weight Gross Weight Level 1 Level 2 Level 3
Water Environmental Soundness (L1-1) 62% No odor sewerage system (L2-1) 0.468 Septic tank disclosure (L3-1) 0.646 0.189 1 1 1
Odor compounds control (L3-2) 0.354 0.103 3
No flooding sewerage system (L2-2) 0.247 Cleaning and maintenance of drainage facilities (L3-3) 0.644 0.099 3 4
Secure drainage affordability (L3-4) 0.356 0.055 7
Less discharging sewerage system (L2-3) 0.285 Minimized effluent organics (L3-5) 0.644 0.115 2 2
Untreated stormwater retention rate (L3-6) 0.356 0.063 6
Sewer Service Sustainability (L1-2) 27% Long functioning sewerage system (L2-4) 0.459 Less-than-30-year sewer rate (L3-7) 0.575 0.070 2 4 5
Sewage works approval rate (L3-8) 0.425 0.052 8
Smart sewerage system (L2-5) 0.245 GIS-based real-time monitoring system rate (L3-9) 0.644 0.042 5 9
Sewer asset management system rate (L3-10) 0.356 0.023 12
Energy generating sewerage system (L2-6) 0.174 Energy independence rate (L3-11) 0.527 0.024 7 11
Sludge-to-Resources rate (L3-12) 0.473 0.022 13
Close-to-everyday-life sewerage system (L2-7) 0.121 Wastewater reuse rate (L3-13) 0.652 0.021 8 14
Transition to resident-friendly facilities (L3-14) 0.348 0.011 19
Customer Compliance to Policy (L1-3) 11% Efficiently managed sewerage system (L2-8) 0.461 Overall achievement of business goals (L3-15) 0.405 0.020 3 6 15
Financial stability to sewage service business (L3-16) 0.595 0.030 10
Customer-friendly sewerage system (L2-9) 0.252 Rapid feedback rate to complaints (L3-17) 0.670 0.019 10 16
Mutual communication on sewage policies (L3-18) 0.330 0.009 20
Technical experts hands-on sewerage system (L2-10) 0.287 Qualifying education/licensure of operators (L3-19) 0.536 0.017 9 17
Qualifying professional work experience of operators (L3-20) 0.464 0.015 18
Table 4.
Determination of level 2 using the results of level 3.
Code in Level 2 Calculation from Weights in Level 3
L2-1 = 0.6461×(L3-1)+0.3539×(L3-2)
L2-2 = 0.6439×(L3-3)+0.3561×(L3-4)
L2-3 = 0.6436×(L3-5)+0.3564×(L3-6)
L2-4 = 0.5746×(L3-7)+0.4254×(L3-8)
L2-5 = 0.6436×(L3-9)+0.3564×(L3-10)
L2-6 = 0.5274×(L3-11)+0.4726×(L3-12)
L2-7 = 0.6522×(L3-13)+0.3478×(L3-14)
L2-8 = 0.4049×(L3-15)+0.5951×(L3-16)
L2-9 = 0.6700×(L3-17)+0.3300×(L3-18)
L2-10 = 0.5366×(L3-19)+0.4644×(L3-20)
Table 5.
Determination of level 1 using the results of levels 2 and 3.
Code in Level 1 Calculation from Weights in Levels 2 & 3
L1-1 = 0.4680×(L2-1)+0.2472×(L2-2)+0.2848×(L2-3)
= 0.3024×(L3-1)+0.1656×(L3-2)+0.1592×(L3-3)+0.0881×(L3-4)+0.1833×(L3-5)+0.1015×(L3-6)
L1-2 = 0.4594×(L2-4)+0.2453×(L2-5)+0.1742×(L2-6)+0.1211×(L2-7)
= 0.2639×(L3-7)+0.1954×(L3-8)+0.1579×(L3-9)+0.0874×(L3-10)+0.0919×(L3-11)+0.0824×(L3-12)+0.0790×(L3-13)+0.0421×(L3-14)
L1-3 = 0.4607×(L2-8)+0.2518×(L2-9)+0.2875×(L2-10)
= 0.1866×(L3-15)+0.2742×(L3-16)+0.1687×(L3-17)+0.0831×(L3-18)+0.1540×(L3-19)+0.1335×(L3-20)
Table 6.
Reporting of achievement grade as measures of performance.
Achievement Grade Point Range Category
A 81-100 Very good performance
B 61-80 Good performance
C 41-60 Unsatisfactory performance
D 21-40 Poor performance
F 0-20 Failed performance

References

1. Seoul Open Data Square, http://data.seoul.go.kr/dataList/418/S/2/datasetView.do, July2020.

2. Seoul Metropolitan Government (SMG), Promotion booklet of sewage policy(2018).

3. K. Mulder, Future options for sewage and drainage systems three scenarios for transitions and continuity, Sustainability, 11, 1383(2019).
crossref
4. Ministry of the Interior and Safety (MOIS), Definition and explanation on performance indicators(2017).

5. R. Matos, A. Cardoso, R. Ashley, P. Duarte, A. Molinari, A. Schulz, Performance Indicators for Wastewater ServicesIWA Publishing, London, UK(2003).

6. A. Danilenko, C. Berg, B. Macheve, L. J. Mofitt, The IBNET Water Supply and Sanitation Blue Book 2014: The International Benchmarking Network for Water and Sanitation Utilities Databook, World Bank Group, Washington, D.C., USA(2014).

7. United States Environmental Protection Agency (U.S. EPA), Guide for Evaluation Capacity, Management, Operation, and Maintenance (CMOM) Programs at Sanitary Sewer Collection Systems, Cincinnati, USA(2005).

8. American Water Works Association (AWWA), Benchmarking Performance Indicators for Water and Wastewater Utilities-2013 Survey Data and Analyses Report, American Water Works Association, Denver, USA(2015).

9. Office of Water Services (OFWAT) Key Performance Indicators—Guidance, Water Services Regulation Authority, Birmingham, UK(2013).

10. Japan Sewage Works Association (JSWA), Usage guidance of performance indicators of sewerage management(2007).

11. Korea Environment Corporation (KECO), Standardized performance indicator framework for assessment the achievements of BTL sewer rehabilitation project(2005).

12. Ministry of Environment (MOE), Guidelines on commissioning for management of public sewage facilities(2008).

13. S.-N. Nam, T. T. Nguyen, J. Oh, Performance indicators framework for assessment of a sanitary sewer system using the analytic hierarchy process (AHP), Sustainability, 11(10), 2746(2019).
crossref
14. Seoul Metropolitan Government (SMG), Seoul, High quality of sewerage service project, final report, Sewerage Policy Forum(2019).

15. T. L. Saaty, Decision making with the analytic hierarchy process, Int. J. Services Sci., 1(1), 83-98(2008).
crossref
16. Y.-S. Park, Decision-making by Analytic Hierarchy Process, Kyowoo Press, Seoul, Korea(2009).

17. D.-H. Jeong, K.-H. Park, Application of analytic hierarchy process for the feasibility assessment on watershed management program by construction and operation of an integrated sewerage system in the upstream of Dam Chung-Ju, J. Korean Soc. Environ. Eng., 26(10), 1116-1124(2004).

18. Korea Rural Economic Institute (KREI), Developing the performance evaluation strategies for the agricultural policy with AHP analysis(2017).

19. N. Subramanian, R. Ramanathan, A review of application of analytic hierarchy process in operations management, Int. J. Prod. Econ., 138(2), 215-241(2012).
crossref
TOOLS
PDF Links  PDF Links
PubReader  PubReader
ePub Link  ePub Link
Full text via DOI  Full text via DOI
Download Citation  Download Citation
  E-Mail
  Print
Share:      
METRICS
0
Crossref
107
View
9
Download
Related article
Editorial Office
464 Cheongpa-ro, #726, Jung-gu, Seoul 04510, Republic of Korea
TEL : +82-2-383-9653   FAX : +82-2-383-9654   E-mail : ksee@kosenv.or.kr
About |  Browse Articles |  Current Issue |  For Authors and Reviewers
Copyright © Korean Society of Environmental Engineers. All rights reserved.                 Developed in M2Community