1. 서 론
서울시는 약 1,020만 인구 및 421만 세대가 거주하고 있으며, 우리나라 국내 총생산(1,565,247십억원)의 약 22%를 차지하는(2015년 기준)[1], 이른바 글로벌 메가시티이다. 서울시에서 배출되는 하수량은 평균 273.1만톤/일이며(2016년 기준), 하수관로의 총 길이는 10,616 km로, 1998년 이후 하수도 보급률 100%를 유지하고 있다[2]. 25개 행정구역에서 배출된 하수는 한강과 주요하천 4개소(홍제천, 중랑천, 탄천, 안양천)를 중심으로, 총 4개의 처리구역으로 구분하여, 물재생센터(중랑, 난지, 탄천, 서남)에서 처리되고 있다. 서울시의 하수배제방식은 전체 면적의 약 90% (546.8 km2)가 ‘합류식’ 배제방식이며, 나머지는 ‘분류식’ 배제방식으로 처리된다[2]. 청천시에는 발생 하수의 전량(498만톤/일, 2017년 5월말 기준)을 수집・처리하여, 방류수 수질 기준(biochemical oxygen demand (BOD), chemical oxygen demand (COD), total nitrogen (TN) 등) 내에서 한강으로 방류되는 시스템을 갖추고 있다.
그러나, 최근 기후변화로 인한 이상 강우, 생활수준 향상과 함께 물사용량 및 발생하수량 증가, 특히, 강우시 하수도 시설의 처리용량 초과로 인한 월류수, 미처리수의 바이패스, 도시침수 등이 발생하고 있으며, 이는 도시의 안전 및 환경, 하천오염에도 위협이 되고 있다. 정화조나 물재생센터에서 발생되는 악취 문제는 하수도 관련 가장 빈번한 민원이며, 하수관로 및 기반 시설물의 노후화나 공사 불량에 따른 싱크홀과 같은 도로 함몰 사고의 발생도 잦아지고 있는 실정이다. 새로운 수처리 소재 및 공법의 개발로 하수의 처리 효율은 향상되었고, 정보통신 기술(information & communication technology, ICT)을 활용한 하수도 시설 및 서비스 전반에 대한 모니터링과 예측이 정확해졌다. 그러나, 하수 내 오염물질의 종류는 신종오염물질(개인의약물질, 항생제, 미세플라스틱 등)로 인해 더욱 복잡 다양해졌으며, 오염물질의 부하량 역시 증가했다.
하수도 서비스는 전 지구적 환경 변화, 사회・문화적 변화, 기술적 변화 등으로 인하여 새로운 가치와 목표 설정 및 그에 맞는 정책적 변화에의 요구에 직면하고 있다. 하수도의 본래의 역할인 오수의 배제와 처리, 홍수 방지, 하천 오염방지 등의 기능을 달성함과 동시에, 도시의 물순환을 통한 지속가능한 물관리(수질관리 및 수량확보)에도 기여하고, 오염배출은 최소화하면서 자원을 생산하는 시설로, 주민혐오시설에서 주민친화시설로 탈바꿈되어, 하수도 시설물이 교육・문화・체육 등의 생활시설물로 활용될 수 있도록 요구하고 있다[3]. 이러한 패러다임의 변화에 맞게, 하수도 서비스가 지속가능하고 글로벌 추세를 선도할 수 있도록, 하수도 정책을 수립하고, 정책의 성과 달성을 평가하고, 달성 결과가 정책을 독려할 수 있는 시민체감형 지표를 마련하고자하는 것이 필요하다.
성과지표(performance indicator, PI)는 연구개발을 통하여 달성하고자하는 구체적인 목표의 달성도를 객관적으로 측정할 수 있는 지표로 정의할 수 있다[4]. 하수도 서비스에 대한 표준화된 성과지표로는 2003년 국제물협회(International Water Association, IWA)에서 개발된 지표체계가 대표적이며[5], 그 외 세계은행(World Bank) [6]이나 미국 환경청(United States Environmental Protection Agency, US EPA) [7] 과 수도협회(American Water Works Association, AWWA) [8], 영국의 물서비스국(Office of Water Services, OFWAT) [9], 일본의 하수도관리협회(Japan Sewage Works Association, JSWA) [10] 등에서 하수도 사업이나 서비스 성과의 측정 목적에 따라 다른 성과지표 체계를 마련하여 활용하고 있다. 국내의 경우, 2005년 하수관로정비 임대형 민자사업(Build-Transfer-Lease, BTL)의 성과평가를 위하여 지표체계가 마련되었으며[11], 2008년 환경부가 마련한 「공공하수도시설 관리업무 위탁지침」을 통해 공공하수처리시설에 대한 관리대행 성과평가가 처음으로 제도화되었다[12]. 해당 지표는 최초 6개 부문, 55개의 지표에서 현재는 38개 지표로 축소되었으며, 인력(3개), 하수처리시설운영(15개), 슬러지 및 처리수 재이용(8개), 서비스 질(12개)으로 구분되어 성과를 측정한다. 그 외, 하수관로 정비 사업(BTL사업)의 성과평가를 대체할 수 있는, 분류식 하수관로 시스템에 대한 성과지표 체계가 제안되기도 하였다[13]. 그러나, 기존의 하수도 서비스와 관련된 성과 지표들은 수요자인 시민의 눈높이에 맞춘 것이 아니라, 시설 설비 및 기술 중심, 혹은 전문가나 관련 종사자 중심의 용어와 계산 방법을 사용하였다. 그 결과, 하수도 정책의 성과에 대한 일반 시민들의 이해도가 낮았을 뿐 아니라, 이는 하수도 서비스 전반에 대한 무관심과 낮은 시민의식을 초래하는 원인이 되기도 하였다. 서비스에 대한 수요자의 이해가 높을수록 문제의식을 갖게 되고, 구체적인 개선 요구가 증가하여 전체적으로는 시민이 체감하는 정책의 수립과 공공서비스의 질이 높아지게 된다.
따라서, 이 연구의 목적은 서울시 사례를 중심으로, 하수도 서비스의 성과를 평가할 수 있는 성과지표를 도출하는 것이며, 세부적으로는 사용자인 일반 시민이 이해할 수 있도록, ‘시민 체감형’ 혹은 ‘시민 이해형 지표’와 전문적인 기술의 성과 달성을 평가하는 ‘기술성과지표’로 구분하여 지표를 도출하는 것이 목적이다. 이 연구는 서울시 중심의 하수도 현황 및 데이터를 고려하여 수행되었으므로, 타 지자체에 본 연구의 결과를 적용하는 경우 맞지 않을 수 있으나, 접근 방법론은 보편적으로 적용 가능하다고 판단된다.
2. 연구방법
2.1. 전문가 설문지 작성
서울시는 2019년 1월부터 일 년간 하수도 및 유관분야 전문가, 시민 등 138인으로 구성된 ‘하수도 전문가 포럼(이하, 하수도 포럼)’을 운영하여 왔으며, ‘하수도 비전’, ‘시민체감형 정책지표’, ‘하수배제시스템’, ‘스마트 기술 융합’, ‘자원재생 및 생산화’, ‘물재생센터 현대화’, ‘시민소통’ 등의 7개 분과를 통해 미래 서울의 하수도 정책 방향과 과제를 도출하였다[14]. 먼저, ‘하수도 비전’ 분과의 전문가 그룹을 통해 서울시 하수도 서비스의 비전과 목표를 설정하였다. 비전과 목표는 중・장기적 관점에서 하수도 서비스의 지속 가능하고 미래지향적인 발전 방향을 제시하는 보편적 가치 위주로 설정하고, 환경, 정책, 기술 변화에 따른 변동사항은 목표보다 하위체계에 두도록 하였다. 또한, 서울시 하수도 서비스의 고유성을 잘 반영하는 내용구성 및 문구를 사용하고, 완전히 검증되지 않은 혁신 기술은 배제하였다. 비전-목표와 그 하위 항목 간에는 서로 중복되지 않고, 위상과 구체성에 있어 서로 성격이 명확히 구분되는 방식으로 구성하였다. 이와 같은 원칙하에 서울시 및 국내외 하수도 비전, 목표 등의 검토, 심층 토론 등을 통해 구성과 문구에 대한 수회의 수정을 거쳐 하수도 서비스의 비전-목표-핵심전략으로 구성된 정책성과지표체계의 구조와 최종안이 마련되었다[14].
Fig. 1은 정책성과지표 도출을 위한 단계별 과정을 나타내며, 단계별 과정에 대한 설명은 다음과 같다. 먼저, 서울시 하수도의 비전은 ‘시민 행복에 기여하는 하수도’로 제시되었으며, 이를 위해 크게 세 가지 목표, 즉, ‘1) 안전하고 쾌적한 도시 물 환경 조성’, ‘2) 스마트하고 지속가능한 하수도 시스템 구축’, ‘3) 시민이 공감하는 서비스와 효율적 경영’이 도출되었다. 이 세 가지는 하수도 서비스를 통해 달성하고자 하는 ‘결과물’의 관점에 근거하여 도출된 목표이다.
이와 같은 비전과 목표를 압축적으로 반영하여, 정책성과 지표(안)의 위계(hierarchy) 중 가장 상위인, level 1의 항목과 대응되게 ‘1. 물환경 건전도(L1-1)’, ‘2. 지속가능도(L1-2)’, ‘3. 정책공감도(L1-3)’로 명명하였다.
∙ ‘안전하고 쾌적한 도시 물 환경 조성’: 물환경 건전도(L1-1)
∙ ‘스마트하고 지속가능한 하수도 시스템 구축’: 지속가능도(L1-2)
∙ ‘시민이 공감하는 서비스와 효율적 경영’: 정책공감도(L1-3)
다음 과정으로, level 2에서는 level 1에서 제시된 목표의 달성을 위하여, 목표별로 2개 혹은 3개, 총 10개의 세부핵심전략을 도출하였다.
첫째, ‘1) 안전하고 쾌적한 도시 물 환경 조성(물환경 건전도)’의 달성을 위해서, 하수도 시설(정화조, 관로) 및 물재생센터에서 발생하는 악취, 강우나 국지성 폭우시의 빈번한 침수, 강우시 미처리 방류수나 물재생센터에서 방류되는 처리수로 인한 한강생태계의 오염부하량 증가 등의 해결이 시민의 안전과 쾌적한 삶을 위해 시급한 과제로 제시되었으며, 이와 대응되는 세부목표를 도출하였다.
▸‘안전하고 쾌적한 도시 물 환경 조성’: 물환경 건전도(L1-1) 달성을 위한 세부핵심전략
∙ ‘악취없는 하수도 구축’: 냄새없는 하수도(L2-1)
∙ ‘도시침수대응능력 향상’: 침수없는 하수도(L2-2)
∙ ‘처리수 수질 개선 및 강우시 수질관리강화’: (오염물질과 하수용량 모두를) 잘 처리하는 하수도(L2-3)
▸‘스마트하고 지속가능한 하수도 시스템 구축’: 지속가능도(L1-2) 달성을 위한 세부핵심전략
∙ ‘하수도 시설의 품질 및 기능 향상’: 튼튼하게 오래쓰는 하수도(L2-4)
∙ ‘스마트 하수관리체계 도입’: 똑똑한 하수도(L2-5)
∙ ‘하수로부터 에너지 생산 및 자원회수 확대’: 에너지 만드는 하수도(L2-6)
∙ ‘물재생센터의 혁신 기지화’: 시민과 가까운 하수도(L2-7)
▸‘시민이 공감하는 서비스와 효율적 경영’: 정책공감도(L1-3) 달성을 위한 세부핵심전략
∙ ‘경영효율성 및 안정성 향상’: 경영 잘하는 하수도(L2-8)
∙ ‘시민이 참여하는 하수도 행정 정착’: 시민이 참여하는 하수도(L2-9)
∙ ‘첨단 서비스를 제공하는 전문인력체계 구축’: 전문가가 함께하는 하수도(L2-10)
마지막으로, level 2를 구성하는 10개 정책성과지표의 실질적 평가가 가능하도록, 각 정책성과지표별로 2개씩, 총 20개의 구체적인 기술적 성과지표를 도출하였으며, level 3의 계층을 구성하고 있다. 기술적 성과지표에 포함되어야 할 여러 시급하고 중요한 과제들이 있으나, 서울시의 하수도 관련 현안과 방향성, 중점과제를 반영하여, 가장 핵심적이며, 대표적인 과제를 추려 지표에 포함하였다. Level 2의 정책성과지표에 대응되는 level 3의 세부 기술성과지표는 다음과 같다.
‘냄새없는 하수도(L2-1)’의 달성을 위한 기술성과지표는 ‘정화조 폐쇄율(L3-1)’과 ‘악취물질 제어율(L3-2)’로 도출되었으며, 하수도 악취의 주요 발생원인 정화조의 폐쇄, 물재생센터에서 발생하는 악취로 인한 민원 발생을 줄이기 위하여 (일정 반경 이내에서 측정되는 악취물질의 농도나 종류 등을 저감하기 위한) 기술적 성과로 측정될 수 있다. ‘침수없는 하수도(L2-2)’는 ‘배수시설 정비율(L3-3)’과 ‘배수용량 여유율(L3-4)’의 기술성과지표로 달성된다. 강우시 침수나 하수 역류 등의 발생을 줄이기 위하여 배수 취약지역에서의 배수시설 사전 정비 성과나 하수의 발생 예측량 대비 배수 가능한 하수 용량의 대비율 등을 기술성과로 측정하게 된다. ‘잘 처리하는 하수도(L2-3)’의 지표에서는 한강 생태계와 시민의 쾌적한 물놀이를 위해 오염물질의 부하량 저감이 시급한 과제로 제시되었다. 물재생센터에서 방류되는 처리수와 강우시의 미처리 방류수의 수질과 수량을 각각 저감하기 위하여 ‘방류수 유기물 기준 달성률(L3-5)’과 ‘미처리 우수 저류율(L3-6)’을 지표로 도출하였다.
‘튼튼하게 오래쓰는 하수도(L2-4)’는 관로의 노후화, 관로 공사의 시공 불량이나 품질관리의 미준수 등이 도로함몰, 싱크홀과 같은 안전사고의 주요 원인으로 보고, 이를 예방할 수 있는 기술성과지표로 ‘30년 미만 하수관로율(L3-7)’과 ‘하수도 공사 품질 달성률(L3-8)’이 포함되었다. ‘똑똑한 하수도(L2-5)’는 관로의 막힘, 월류, 펌프 등의 시설물 고장, 강우시 하수 유입 급증 등과 같은 문제를 실시간으로 감지하여 신속 대응하기 위한 스마트 하수도 관리체계 구축을 위해, ‘GIS기반 실시간 감시제어시스템 구축율(L3-9)’과 ‘자산관리시스템 구축율(L3-10)’의 두 지표가 도출되었다.
‘에너지 만드는 하수도(L2-6)’의 달성을 위해서는 ‘에너지 자립률(L3-11)’과 ‘슬러지 자원화율(L3-12)’의 기술성과를 측정하며, 하수처리 전 과정에서의 에너지 소모와 폐기물 발생량을 최소화하기 위한 정책을 평가한다. ‘시민과 가까운 하수도(L2-7)’는 혐오 혹은 기피시설로 여겨졌던 하수도 시설을, 시민의 편의를 위한 시설로 변화시키기 위한 정책성과지표로서, 물재생센터의 현대화 사업(지하화 및 육상부지 근린・친수 시설화)이나 조경관개수, 폭염이나 미세먼지 발생시 도로 살수 등으로 처리수를 재이용하는 등, 시민의 일상 가까이에서 하수도 서비스를 체감하고 하수도에 대한 부정적 인식을 전환한다는 방향성을 갖고 있다. 이를 위해 ‘하수의 생활 재이용률(L3-13)’과 ‘친수시설 전환이행률(L3-14)’의 기술성과지표를 도출하였다.
‘경영 잘하는 하수도(L2-8)’의 달성평가를 위하여, ‘(공기업)경영성과 달성률(L3-15)’과 ‘하수도 재정 건전성(L3-16)’의 기술성과지표를 도출하였으며, 이는 서울시의 하수도 사업 경영을 공기업 경영성과 기준에서 평가할 때, 세입과 세출의 불균형을 해소하고, 장기적으로 영업 이익을 내고, 이를 인력창출, 시설 재투자 등에 투입할 수 있도록, 효율적 경영과 재정 건전성을 위한 성과를 평가한다. ‘시민이 참여하는 하수도(L2-9)’에서는 하수도 서비스 제공자(예, 서울시)가 민원을 통해 전달된 불편사항이나 의견에 대하여 신속하게 응답&해결함으로써, 시민과 소통하는 하수도 정책을 실현하는지에 대한 성과를 평가하며, ‘불편신고 신속처리율(L3-17)’과 ‘하수도 정책 소통력(L3-18)’의 기술성과지표가 도출되었다.
‘전문가가 함께하는 하수도(L2-10)’는 하수도 서비스를 제공하는 행정 및 기술지원 인력의 우수성 및 전문성(자격 및 경험)을 유지・확보하기 위한 지표이며, ‘전담 인력의 자격전문성(L3-19)’와 ‘전담 인력의 경험 전문성(L3-20)’의 두 지표로 평가된다.
이로써, level 1: 3개 항목, level 2: 10개 항목(정책성과지표), level 3: 20개 항목(기술성과지표)으로 구성된 서울시 하수도 서비스 정책성과지표(안)이 Fig. 2와 같이 구성되었으며, 이를 토대로, 계층구조의 항목별로 상대적 중요도를 묻는 전문가 설문을 진행하였다.
2.2. 전문가 설문조사 및 AHP 분석
완성된 정책성과지표(안)을 토대로 1:1의 쌍대 비교를 통한 상대적 중요도를 묻는 질문지를 Table 1과 같은 형태로 작성하였으며, 총 25문항에 대하여 9점 척도에서 중요도를 선택하도록 하였다. 설문의 조사는 2019년 11월 1~9일간 진행되었으며, 응답회수는 1) 온라인 구글 설문(https://forms.gle/iDSDkd89UQJHWRp56을 통해 제공)과 2) 한글 파일을 통한 응답 체크 후 이메일 회신의 두 가지 방법으로 진행하였다. 설문의 응답율은 약 41%이며, 하수도 포럼 내 자문단 및 각 분과위원 등이 포함된 총 138명 중, 56명의 응답이 회수되었다. 각 단계별 항목에 대한 조작적 정의(operational definition)와 설명, level 3의 경우 산정예시가 포함된 보충설명자료도 함께 배포되었다.
계층적 분석과정(AHP: Analytic Hierarchy Process)은 1970년대 초, Thomas L. Saaty에 의해 개발되었으며, 사업성과 측정이나 정책 결정의 우선순위를 도출할 때 주로 사용되는 기법이다[15]. 속성이 다른 다수의 항목들을 계층적으로 분류하여, 각 속성 및 개별 속성 내 하부 계층의 항목 간의 중요도를 파악하고 최적의 대안을 선정하게 된다. 복잡한 의사결정 상황에서 평가 요소들 간의 중요도를 쌍대비교(pairwise comparison)하여 평가지표의 가중치를 산정하여 우선순위를 도출한다[16]. 대개, 의사결정계층의 최상층에는 가장 포괄적인 의사결정의 목적이 설정되며, 다음 계층은 의사결정의 목적에 영향을 미치는 다양한 속성의 기준들로 구성된다. 하위 혹은 마지막 계층은 선택의 대상이 되는 의사결정대안들로 구성된다. AHP는 사회, 기술, 경영, 교육 분야 등 매우 다양한 영역에서 폭넓게 활용되고 있으며, 공공부문에서의 성과지표 개발과정에서도 지표별 상대적 중요도 분석, 사업의 타당성 평가분석에 이용되고 있다[17]. AHP가 갖는 특징은 계층구조를 구성하고 있는 요인들의 상대적 중요도(weight)를 설정하고, 논리적인 일관성을 확보한 응답을 선별하여 분석한다는 점이다. AHP를 통한 중요도 의사결정의 첫 단계는 앞서 설명한 바와 같이, 평가 기준(criteria)별로 계층화된 지표체계를 구성하는 것이며, 두 번째 단계에서는 동일 계층에서 비교 가능한 요소들간의 쌍대 비교를 수행한다. 쌍대 비교에 적용되는 척도는 9점 척도(1: 동등 또는 비슷함, 3: 약간 중요함, 5: 중요함, 7: 매우 중요함, 9: 극히 중요함, 2, 4, 6, 8: 앞 값들의 중간값)이며, 동일 계층에 있는 성과지표들 간의 상대적 중요도를 1에서 9까지의 값을 부여하여 선택하도록 하였다(Table 1). 이때, 항목 i가 항목 j에 비해 갖는 상대적 중요도를 a j i 로 하는 쌍대비교 행렬을 A = a i j 라 하면, a i j = 1 a j i 이며, a i i = 1 이 된다. 따라서, n개의 요소인 행렬 A는 Eq. (1)과 같이 행렬의 대각을 중심으로 역수의 형태를 취하게 된다.
세 번째로, 쌍대비교 행렬을 바탕으로 고유치방법(eigenvector method)를 이용하여, 요소들 간의 상대적 가중치(weight, wi)를 추정한다. 비교대상이 되는 n개의 상대적 중요도를 w i i = 1 , … , n 라 하면, a i j 는 a i j = w i / w j i = 1 , … , n 로 추정될 수 있다. Eq. (1)의 행렬의 모든 요소를 다시 나타내면, Eq. (2)와 같이 정리될 수 있다.
고유치 방법에 의해, A · w = n · w 로 표현되며, 이는 다시 A - n I w = 0 으로 변형될 수 있다. 이때, w = w 1 , w 2 , w 3 , … , w n 의 고유벡터이고, m은 행렬 A의 고유치가 되며, 행렬 A의 특성방정식의 해를 구함으로써 w를 구할 수 있게 된다[18].
구성 요소들 간의 상대적 중요도 비교는 응답자가 일관성을 가지고 응답하였는가의 여부, 즉, 응답의 일관성이 확보되어야 결과의 타당성과 신뢰성을 인증받을 수 있다. AHP에서는 일관성 지수(Consistency Index, CI)와 평균무작위 지수(Random Index, RI)를 사용하는데, 일관성의 검증을 위해 CI를 RI로 나눈 값, 즉 일관성 비율(Consistency Ratio, CR)를 사용한다(Eq. (3), (4)). RI는 무작위 행렬의 크기에 따라 1에서 9까지 정수들을 무작위 추출하여 역수 행렬(reciprocal matrix)을 작성한 후 이로부터 일치 지수를 구한 것이며(Table 2), 일반적으로, CI의 임계치는 0.1, CR의 임계치도 0.1(즉, 10%)이다. 따라서, CR이 10% 이하이면 평가가 일관성이 있다고 하고, 10%를 초과하면 의사결정자가 논리적 일관성을 잃고 있는 것으로 판단하여 의사결정과정을 재점검하는 신호를 보내는 기준으로 삼는다. 그러나, 연구의 형태나 분야에 따라 20% 이내이면 허용할 수 있다고 평가하는 경우도 있다[19].
3. 결과 및 고찰
3.1. 하수도 정책의 목표별(Level 1) 중요도
Fig. 3은 level 1의 세 가지 하수도 정책의 목표에 대한 전문가들의 상대적 중요도 응답결과이다. 물환경 건전도(0.6247) > 지속가능도(0.2656) > 정책공감도(0.1097)의 순으로 나타났으며, 이 응답에 대한 CR=0.089로 일관성을 확보하였다. 이는 하수도 관련 전문가들은 서울시의 하수도 비전을 달성하기 위해서, ‘물환경 건전도’가 가장 우선순위로 달성되어야 하며, 이와 관련된 세부 하수도 정책의 성과를 중요하게 여긴다는 것을 의미한다. ‘지속가능도’와 ‘정책공감도’의 목표를 달성하는 것도 중요하지만, 이 두 가지의 목표가 갖는 가중치를 합한 것보다도 약 2배에 가깝게, 하수도 서비스의 일차적인 목적(하수의 처리 및 배제, 수환경 보전)의 달성이 우선시 되어야 함을 의미하기도 한다.
3.2. 정책성과지표별(Level 2) 중요도
‘물환경 건전도(L1-1)’의 하위 항목들 간의 중요도는 냄새 없는 하수도(0.468)로 가장 중요도가 높았으며, 잘 처리하는 하수도(0.285)와 침수 없는 하수도(0.247)가 비슷한 수준의 중요도를 보였다. 이 응답에 대한 CR은 0.031로 일관성을 유지하였다. ‘지속가능도(L1-2)’의 하위 항목들 가운데서는 튼튼하고 오래 쓰는 하수도(0.459) > 똑똑한 하수도(0.245) > 에너지 만드는 하수도(0.174) > 일상과 가까운 하수도(0.121)의 순으로 상대적 중요도가 높은 것으로 나타났다. ‘정책공감도(L1-3)’의 하위 항목들에서는 경영 잘하는 하수도(0.461) > 전문가가 함께하는 하수도(0.287) > 시민이 함께하는 하수도(0.252)의 순으로 중요도가 높게 나타났다(Table 3, Fig. 4). ‘지속가능도(L1-2)’와 ‘정책공감도(L1-3)’의 하위 항목들 간의 중요도 선택 응답에 대한 CR값은 각각 0.023과 0.020이었다.
Level 2의 전체 10개의 정책성과지표간의 상대적 중요도는 가중치 순서대로, 냄새 없는 하수도(0.2923) > 잘 처리하는 하수도(0.1779) > 침수 없는 하수도(0.1545) > 튼튼하게 오래 쓰는 하수도(0.1220) > 똑똑한 하수도(0.0652) > 경영 잘하는 하수도(0.0505) > 에너지 만드는 하수도(0.0463) > 일상과 가까운 하수도(0.0322) > 전문가가 함께하는 하수도(0.0315) > 시민이 참여하는 하수도(0.0276)의 순으로 나타났다(Fig. 4). Level 1에서 ‘물환경 건전도(L1-1)’ 항목이 62%로 상대적 중요도가 가장 높았다는 결과에서 유추할 수 있듯이, level 2에서의 중요도의 순위 중 1~3순위까지 모두 ‘물환경 건전도(L1-1)’의 하위 계층 항목이었다. Level 2에서의 전체 지표들 중, 1순위인 냄새 없는 하수도의 중요도는 2위와 10위의 지표 항목들에 비해 약 1.6배와 10.6배의 높은 가중치를 보였다.
3.3. 기술성과지표별(Level 3) 중요도
세 번째 계층을 구성하는 20개의 기술성과지표들 간의 상대적 중요도와 순위를 Fig. 5로 나타내었다. 20개 지표 중 상위 4개의 기술성과지표가 50% 정도의 가중치를 차지하였으며, 이는 모두 ‘물환경 건전도(L1-1)’를 달성하기 위한 하부 계층의 항목에 해당한다. 50% 정도의 가중치를 차지한 4개의 항목 간의 순위는 정화조 폐쇄율(0.189) > 방류수 유기물 기준 달성률(0.115) > 악취물질 제어율(0.103) > 배수시설 정비율(0.099)이었으며, 전체 하수도 정책성과지표 체계에 대하여 각 계층별로 가중치와 우선순위 결과를 Table 3과 같이 정리하였다. 가장 우선순위가 높은 항목(‘정화조 폐쇄율’)의 가중치(0.189)는 가장 낮은 우선순위인, ‘하수도 정책 소통력(0.009)’에 비해 21배 높은 가중치를 보였다. ‘하수도재정 건전성’의 가중치는 0.030이었으며, 이는 ‘정책공감도(L1-3)’에 해당하는 6개 기술성과지표 중 가장 높은 값이었다.
3.4. 정책성과지표의 산정 및 적용
3.4.1. 정책성과지표의 산정
앞서 언급한 바와 같이, 하수도 서비스의 목표 달성은 하부 계층을 구성하는 기술적 성과를 통해 상위 계층의 지표가 달성될 수 있다. 따라서, AHP분석을 통해 얻어진 각 지표항목의 가중치를 활용하여, level 3의 기술성과지표가 산정되며, 각 상위 단계의 지표인 level 1과 level 2가 도출된다(Table 4, 5).
식에서 알 수 있듯이, 각 단계별 성과들은 상위 단계와 연결되어 있다. 따라서, level 1의 지표는 level 2나 level 3의 달성도를 통해서도 산정될 수 있으며, level 2 지표의 달성을 평가하기 위해서는 level 3의 기술성과의 달성도가 우선 평가되어야 한다. 기술성과지표의 달성을 평가하기 위해서는 기준이 되는 목표값 및 구체적인 지표산정방법이 확정되어야 하며, 이는 서울시가 향후 구체적인 과제 등을 통해 결정하여야 한다. 이 연구에서는 기술성과지표 항목과 산정방법을 예시로 제안하였으며, 관심있는 연구자들은 ‘서울시 하수도 포럼 최종보고서’를 참조하기를 권한다[14].
기술성과지표의 달성도에 따라 level 2의 결과가 점수 혹은 %가 산출되면, 이를 Table 6과 같이 A~D와 F등급으로 나누었다. A는 매우 우수한 성과, B는 우수한 성과, C는 미흡한 성과, D는 매우 미흡한 성과, F는 성과 달성 실패에 해당한다. Level 2의 성과를 이와 같은 형태로 변형하여 공표함으로써, 시민들이 하수도 서비스의 성과 달성을 쉽게 이해할 수 있도록 구분하였다.
3.4.2. 정책성과지표의 적용
성과지표체계가 하수도에 대한 전문적인 이해도가 부족한 일반 시민에게는 하수도 서비스의 성과를 직관적이고 쉽게 전달해주는 지표로서, 동시에 관련 전문가에게는 기술적 관점에서 하수도 서비스의 성과 달성을 평가하는 지표로서 작동할 수 있는지 적용하였다. 그러나, 도출된 성과지표체계(안)의 각 항목에 맞는 데이터를 확보하거나 당장은 항목에 맞는 데이터가 없는 경우도 있어, 당장 기술적 성과(level 3의 항목)를 평가하는 것은 불가능했다. 따라서, 향후 구체적인 목표와 해당 기술성과지표의 항목이 정해지고, 데이터가 확보되면, 실효적으로 이 성과지표체계와 방법이 적용될 수 있을 것이란 가정하에, 앞선 설문 조사에 참여하였던 동일한 전문가 집단을 대상으로 추가 설문을 실시하였다. 하수도 서비스 정책성과지표(안)을 기준으로, 현재(2019년 11월 기준)와 가까운 미래(2040년)에 기대하는 서울시 하수도 정책 성과에 대한 만족도 혹은 달성도를 level 2 수준에서만 평가하도록 요청하였다. 달성도 평가는 9점 척도 내(1: 매우 미흡, 3: 어느 정도 미흡, 5: 보통, 7: 어느 정도 만족, 9: 매우 만족)에서 선택하도록 하였다. 이 설문은 2019년 11월 12-13일간 이루어졌으며, 총 53명이 응답하였으며, 응답률은 약 30%였다.
설문의 결과를 100점 기준으로 점수화하여, level 2에 대한 달성도 혹은 기대치 점수를 표현하였으며, level 1에 대한 달성도와 기대치는 level 2의 가중치와 산식을 적용하여 100점 기준으로 점수화하였다. 그 결과, level 1의 세 가지 하수도 서비스 목표에 대한 현재 수준의 만족도 혹은 달성도에 대한 평가 점수는(100점 만점기준), ‘물환경 건전도(L1-1)’가 52점, ‘지속가능도(L1-2)’가 42점, ‘정책공감도(L1-3)’가 50점 수준으로 나타났으며, 이는 C등급인 ‘미흡한 성과달성(unsatisfactory performance)’에 해당되는 것이다(Fig. 6).
2019년 수행된 서울시 온라인 패널(3,232명) 대상의 하수도 인식도 조사 결과에서는 응답자의 62.5%가 하수도 서비스의 수준을 ‘잘하고 있다’로 평가하였다. 본 연구의 전문가 설문과 서울시 온라인 패널조사의 결과 간의 직접적인 비교는 어려우나, 전문가 집단은 전반적으로 일반 서울 시민에 비해 하수도 서비스의 달성수준이 저조하다고 인식하고 있음을 알 수 있다. 이는 전문가 집단은 하수도에 대한 높은 이해를 바탕으로, 하수도 서비스의 잘함과 못함에 대한 평가를 수치적 달성 결과에 근거하여 판단하는데 비해, 일반 시민은 하수도 서비스에 대하여 이해도가 낮을 뿐 아니라, 제한된 영역과 범위 내에의 서비스 경험 사례에 근거하여 판단하기 때문인 것으로 생각된다.
2040년까지, 세 가지 목표의 기대치는 77점(L1-1), 71점(L1-2), 76점(L1-3)으로, B등급 이상의 달성을 기대하는 것으로 나타났다. Level 2에 대한 현재의 수준과 2040년 달성 기대치 조사에서는 ‘잘 처리하는 하수도(L2-3)’의 현재 달성도와 기대치가 각각 60점과 81점으로 가장 높게 났다. 가장 달성 기대치가 낮은 항목은 ‘똑똑한 하수도(L2-5)’였으며, 현재 달성도와 2040년 기대치가 각각 37점과 69점으로 나타났다(Fig. 6).
이는 ‘잘 처리하는 하수도’의 달성에 필요한 기술의 발달(예, 하수처리 신기술, 소재 및 장비, 처리 효율성 증대)로 미래에는 현재보다 수질과 수량 모두, 효과적으로 관리되리라는 기대감이 반영된 때문인 것으로 판단된다. 그러나, ‘똑똑한 하수도’의 낮은 기대치의 경우, 하수도 시설물 자산에 대하여 GIS기반 실시간 감시제어 혹은 자산관리기반의 정보관리시스템 구축이 필요한데, 서울시와 같은 메가도시의 복잡한 하수도 시스템에서 이와 같은 시스템을 단시간 내 구축하기가 쉽지 않다고 판단하였거나, 하수도 시설물에 대한 자산관리의 중요성이 전문가들 사이에서도 보편적으로 인식되지 않았기 때문에, 기대치도 낮은 것이 아닌가 추측된다.
4. 결 론
이 연구에서는 하수도 서비스의 성과평가를 위한 정책성과지표(안)을 도출하였다. 연구의 배경 및 성과 도출은 서울시의 하수도의 비전과 목표를 염두에 두고 수행되었다. 따라서, 본 연구의 지표체계 구성을 위해 고려되었던 상황이나 항목이 서울시의 사례 중심이며, 타 지자체 등에 사용하고자 할 때, 방법론은 그대로 적용해도 무방하나, 구체적인 구성체계나 지표항목은 지자체 상황과 목적에 맞게 재검토되어야 한다. 이 연구의 성과물인, 하수도 서비스 정책성과 지표(안)은 서울시의 현재 하수도 정책성과를 파악하고, 2040 하수도 정비기본계획과 같은 미래 계획 수립에 활용될 수 있다. 시민이 이해하기 쉬운 형태로 명명된 정책성과 지표와 평가 등급을 통해, 하수도 서비스에 대한 이해도 향상 및 관심 고취에 도움을 줄 것으로 기대한다. 또한, 성과 지표를 지속적이고 정기적으로 모니터링하는 경우, 지표 달성의 시계열적 변화를 통해 미진한 서비스 부문을 파악하고, 하수도 정책의 시의적절한 변화 및 의사결정의 근거로 활용할 수 있을 것이다. 그러나, 도출된 정책성과지표 항목에 대한 가중치는, 사회문화적 인식변화나 인구변화, 기후 변화 등과 같은, 내적 혹은 외적인 원인에 의해 변동되거나, 새로운 지표항목이 추가될 수도 있으므로, 전문가 의견수렴을 통해 필요에 따라 지표체계의 수정 및 보완이 필요할 것으로 판단된다. 특히, 기술성과지표의 가중치는 관련 기술의 발전수준, 기상 이변 등으로 인한 재해, 시민들의 요구수준에 따라 상대적 변동성이 클 수 있다고 생각되며, 이는 상위지표의 결과에도 미치는 영향이 크다. 따라서, 기술성과 지표의 정확한 측정을 위해 관리부처 및 과업 수행기관에 대한 책임관리의무를 강화하고, 달성도에 따른 상벌제도를 도입하는 것도 필요하다고 판단된다.