The Korean text of this paper can be translated into multiple languages on the website of http://jksee.or.kr through Google Translator.
AbstractThere is a possibility that Chironomidae Larva may appear in sand and activated carbon filters during drinking water treatment. This study was conducted to determine whether the presence or absence of larva that may appear in filters through image data analysis. Image data were created for cases with and without larva background with interference materials such as sand and activated carbon granules used in the actual water treatment process. We used ResNet, one of the image classification deep learning models, and verified and evaluated its accuracy. Among the 12 models, the top three models with high TPR were ResNet50 No-pretrained LR=0.1, ResNet18 No-pretrained LR=0.001, and ResNet18 No-pretrained LR=0.01. Models trained by only obtaining the structure of the ResNet model without pre-training showed higher accuracy and superior performance. Among the models with the highest accuracy, ResNet50 No-pretrained LR=0.1 had a large TPR value. However, FPR also showed a large value. Therefore, it could not be suitable for judging the presence or absence of larva in the water treatment process.When comparing ResNet18 No-pretrained LR=0.001 and ResNet18 No-pretrained LR=0.01, which had the second and third highest TPRs, the ResNet18 No-pretrained LR=0.01 model had the highest Accuracy and F1 Score.
요약본 연구에서는 정수 처리 공정 중 모래 및 활성탄 여과지에서 출현 가능성이 있는 깔따구 유충의 유무를 여재 시료 샘플링 이미지 데이터 분석을 통해 자동으로 판별이 가능한지 알아보고자 수행하였다. 본 연구에서는 정수 처리 공정에 사용되는 모래 및 활성탄 여재라는 간섭 물질이 있는 배경을 대상으로 깔따구 유충이 있는 경우와 없는 경우 이미지 데이터를 생성하여 이미지 분류 딥러닝 모델 중 하나인 ResNet을 이용하여 학습시켜 그 정확도를 검증⁃평가하였다. 12개의 모델 중 TPR가 높은 상위 3개의 모델은 ResNet50 No-pretrained LR=0.1, ResNet18 No-pretrained LR=0.001, ResNet18 No-pretrained LR=0.01 순으로 나타났다. 사전 학습 없이 ResNet 모델의 구조만 가져와 학습시킨 모델들이 성능이 우수했다. TPR이 높은 상위 3개의 모델은 ResNet50 No-pretrained LR=0.1, ResNet18 No-pretrained LR=0.001, ResNet18 No-pretrained LR=0.01 순으로 나타났다. 하지만 TPR이 가장 높은 ResNet50 No-pretrained LR=0.1의 경우 TPR의 값이 크지만, FPR 또한 크게 나타나 정수처리 과정에서 깔따구 유무를 판결하는데 적합하지 않다고 판단됐다. TPR이 두 번째와 세 번째로 높은 ResNet18 No-pretrained LR=0.001과 ResNet18 No-pretrained LR=0.01을 비교했을 때 ResNet18 No-pretrained LR=0.01 모델이 Accuracy와 F1 Score가 더 높아 상대적으로 더 신뢰할 수 있는 모델로 평가 되었다. 결론적으로 TPR, FPR, Accuracy, F1 Score의 값으로 판단한 결과 사전 학습 없는 ResNet18 No-pretrained L=0.01 모델이 깔따구 유충의 유무를 판별하는데 가장 적합한 모델로 판단되었다.
1. 서 론정수 처리는 원수를 대상으로 물리화학적인 기작을 이용하여 불순물, 병원균 및 용존 물질을 제거함으로써 음용수로써의 안정성을 보장하는 것을 목적으로 한다[1,2]. 음용수 생산 목적의 정수 처리 설비는 취수, 응집 및 침전, 여과 및 소독을 기본으로 오존 처리 및 활성탄 흡착, 막과 같은 고도처리 공정으로 구성된다[2]. 최근 들어 수돗물에서 발현되는 깔따구 유충은 우리나라뿐만 아니라 미국, 스코틀랜드, 남아프리카 공화국 등에서도 빈번한 문제로 대두되어 왔다[3]. 이에 정수 처리 시설에서의 깔따구 유충의 발생 원인을 정확하게 이해하고 지속적으로 모니터링하는 기술 및 방법론의 필요성이 요구되고 있다[4].
깔따구류는 절지동물문(Phylum Arthropoda), 곤충강(Class Insecta), 파리목(Order Diptera)에 속하는 생물이다[2]. 지표종으로 분류되는 이 유충은 다양한 환경변화와 유해물질 노출에 민감하며, 정수 처리 각 공정에서의 발생과 번식을 제어할 필요가 있다[5,6]. 이미 1970년대부터 일본은 수돗물에서 깔따구 유충사고를 경험하기 시작했고 이에 대한 대응매뉴얼을 준비하였으며[7,8] 한국의 경우 2020년 7월 국내의 한 가정집 수돗물에서 유충이 발견되며 수돗물 안전 문제가 대두됐다. 당시 발견된 유충은 파리목(Diptera) 깔따구과(Chironmidae)의 등깔따구(Chironomus dorsalis)로 밝혀졌다. 발견된 깔따구 유충은 정수장에서 발생해 수도관을 타고 민가로 이동했다는 것이 알려졌고, 이 사건을 시발점으로 전국에서 발생한 유충 유출 사례가 보고되었다. 또한 동년 9월, 10월 국내 정수장과 정수장의 여과지에서 각각 전장 5mm 이상의 3~4령기 유충, 전장 3mm 이하의 2~3령기 유충이 발견됐고, 발견된 깔따구 유충들은 깔따구속(Genus Chironmus)와 무늬깔따구속(Genus Polypedilum), 깃깔따구아과(Subfamily Orthocaldiinae)로 다양한 깔따구들이 동정 되었다. 이와 같은 사건들로 인해 수돗물 모니터링과 수생생물 제거에 대한 방안 수립과 개선이 진행됐고, 2023년 10월 1일부로 ‘먹는 물 수질감시 항목 감시기준 및 검사주기’(제5조 관련)에 깔따구 유충이 심미적 영향 물질로 추가됐다(환경부 고시 제2023-149호)[3].
현재 수돗물을 대상으로 발현될 가능성이 있는 깔따구 유충 모니터링 방법은 거의 전적으로 수작업에 의존하고 있다. 깔따구 유충을 모니터링 하는 방법은 여과지 및 활성탄지 유출부 또는 정수지 유입부 등 대상 모니터링 지점에서 1분당 1L이상의 시료가 24시간 연속으로 흐르게 한 후 24시간마다 (원수 유입부는 주 1회 이상) 망목 100 μm(#150 mesh)의 거름망(폴리에틸렌 또는 스테인레스 재질)을 이용하여 여과한 후 그 표면에 유충의 존재 여부를 현미경이나 육안으로 관측한다. 만약 거름망 표면에서 깔따구 유충으로 추정되는 생물체가 발견되면 유충 추정 생물체를 거름망에서 분리하거나 생물체를 포함하는 거름망 일부를 잘라 에틸알코올이 담긴 병에 보관하여 국립생물자원연구소 등 깔따구 유충 여부를 판별할 수 있는 전문기관으로 검사를 의뢰한다. 유충 존재 여부를 현미경 등으로 확인하는 작업은 수작업으로 이루어진다. 특히 2022년 이후 강화된 ‘먹는 물 수질기준 감시항목 감시기준 및 검사주기’에서는 깔따구 유충 발견 시 검사주기를 월 1회에서 일 1회로 늘리도록 하고 있다. 검사주기가 약 30배로 줄게 되면 현미경을 이용해 깔따구 유충의 존재 여부를 확인하는 작업자의 피로는 고착될 것이며, 이를 해결할 수 있는 자동 모니터링의 시스템의 기술 개발 필요성이 제고될 것으로 예상된다.
한편 어떤 연구자들은 원격 모니터링 시스템(TMS)과 인공지능(AI) 기술을 적용하여 정수 처리 공정의 운영 및 유지관리(O&M)에 있어서 실시간으로 모니터링하고 예측할 수 있는 가능성을 제시하기도 하였다[9]. 앞서 언급한 수돗물에서의 유충 발현을 완벽하게 모니터링하고 이를 방지하는데 한계가 있을 것으로 예상되나 이미 제시된 가능성과 인공지능을 기반으로 정수처리 공정에서의 유충 탐지 모니터링 시스템의 개발 필요성이 요구됨은 분명하다. Jang 등은 (2024) 수돗물에서 발현될 가능성이 있는 유충 감지를 대상으로 세 가지 딥러닝 알고리즘 ① convolution neural network(CNN), ② pre-trained residual neural network(ResNet) 그리고 ③ you only look once(YOLO), 의 비교 분석을 수행하였다. 그들은 연구 결과에서 ResNet이 RMSE값에서 가장 우수한 성능을 보였지만, 세 가지 알고리즘은 거의 유사한 결과를 보였고, 실시간 감시를 위한 속도 측면에서는 CNN이 가장 적합한 것으로 발표하였다[1]. Jang 등의 연구에서 사용된 이미지는 수돗물에서 발견된 유충 이외 간섭 물질이 없는 경우를 대상으로 한 것이다. 이제까지 국내 정수장에서 발견되는 깔따구 유충의 발현은 정수 처리 공정 중 대부분 모래 및 활성탄 여과지에 발생하였는데, 이러한 여재(모래 및 활성탄)와 같은 간섭 물질이 혼재되어 있는 경우, 이미지 인식 및 학습을 통해 깔따구 유충의 유무를 자동으로 판단할 수 있는지 그 여부 및 타당성을 연구한 사례는 전무한 것으로 알고 있다.
이에 본 연구에서는 정수 처리 공정에 사용되는 모래 및 활성탄 여재라는 간섭 물질이 있는 배경을 대상으로 깔따구 유충이 있는 경우와 없는 경우 이미지 데이터를 생성하여 이미지 분류 딥러닝 모델 중 하나인 ResNet을 이용하여 학습시켜 그 정확도를 검증하는 연구를 수행하였다. 본 연구의 목적은 정수 처리 공정 중 모래 및 활성탄 여과지에서 출현 가능성이 있는 깔따구 유충의 유무를 여재 시료 샘플링 이미지 데이터 분석을 통해 자동으로 판별이 가능한지 알아보고자 수행한 것이다.
2. 재료 및 방법2.1. 깔따구 유충국내 수돗물에서 이제까지 발생된 깔따구 유충은 무척추 절지동물로 파리목으로 수생 생태계에서 가장 많이 서식하는 동물이다. 이들은 호소, 바다 및 강 등 다양한 수생 생태계에 존재한다. 특히 국내의 수생 생태계에서 발견되는 이들은 돌파리과 무척추동물로 전체 50% 이상을 차지한다[10]. 이 유충은 물 1m3당 100,000마리 밀도로 생존이 가능하며, 최대 수심 1,000m, 영하 16℃의 낮은 온도도 견디어 낼 수 있는 능력을 갖춘 것으로 알려져 있다. 깔따구류는 완전변태 생물로 종마다 차이가 있지만 약 1~2달의 생활사를 가진다. Fig. 1에서 나타낸 바와 같이 깔따구는 알 → 1령기 유충 → 2령기 유충 → 3령기 유충 → 4령기 유충 → 번데기 → 성충으로 성장한다[11,12].
깔따구 유충은 성장 과정상 수돗물에서 섭취가 가능한 유기물이 적고, 유충 기간을 고려하면 수돗물이 오염될 가능성은 작은 것으로 알려져 있었다. 깔따구 유충의 유해성 여부도 아직은 확인되지 않고 있어서 심미적인 영향 물질로 분류되어 있다. 깔따구 유충은 수돗물에서의 염소 농도로는 제거되지 않는다. 과거 연구에서 깔따구 유충을 제거하기 위해서는 70 mg/L 이상을 사용한 사례가 있지만 우리나라 먹는 물 수질기준에서는 잔류염소 4.0mg/L를 넘지 않을 것을 제시하고 있다[12]. 본 연구에서 사용된 깔따구 유충은 3~4령기 장수 깔따구 유충으로 국내 N강에 있는 수중보 근처에서 채집하여, 원형을 유지하기 위해 물과 함께 냉동 보관 후 해동하여 이미지 데이터를 취득하는데 활용했다.
2.2. 이미지 인식 딥러닝 알고리즘: ResNet 모델ResNet모델은 CNN 구조에서 레이어가 깊어질수록 기울기 소실과 포발로 인해 모델 최적화가 매우 어려워지는 문제를 해결하기 위해 잔차 학습 프레임워크를 도입한 모델이다[13, 14]. ResNet 모델을 본 연구에서 사용한 이유는 ‘ILSVRC & COCO 2015 ImageNet detection’에서 가장 우수한 모델로 선정되었기 때문이다[15].
Fig. 2는 ResNet 알고리즘이 사용하는 네트워크 구조인 shortcut 구조를 나타낸다. Shortcut 구조는 2개의 컨볼루션 층에서 옆으로 화살표가 빠져나가 합쳐지는 식으로 이루어졌다. ‘Identity’는 컨볼루션 층을 통과하지 않고 input 값 그대로 전달하는 ‘identity mapping’을 의미한다. Weight layer는 컨볼루션을 수행하는 층을 의미하며, ‘ReLu (rectified linear unit)’는 계층이 깊어짐에 따라 나타나는 성능 저하 문제를 해결하기 위해 적용하는 활성화 함수로 0이하 값은 다음 층으로 전달하지 않는 특징을 가지고 있다. F(x) = H(x) - x 이며, F(x)를 학습한다는 것은 나머지(residual)를 학습한다고 볼 수 있기 때문에 ‘ResNet’이라 부른다. 본 연구에서는 ResNet의 저자인 He 등이(2016년) 소개한 계층의 수에 따라 ‘ResNet-18’, ‘ResNet-34’, ‘ResNet-50’, ‘ResNet-101’, ‘ResNet-152’ 등 5가지 버전의 ResNet모델 중에서 ‘ResNet 18’과 ‘ResNet 50’을 사용했다[13].
2.3. 이미지 데이터 취득 및 특성다음 Fig. 3은 깔따구 유충 이미지 데이터 취득을 위한 XY 직교 기계이다. Table 1에서는 직교 기계를 구성하고 있는 카메라와 사용 프로그램의 상세 스펙에 대해서 정리하였다. 본 연구에서는 직교 기계와 카메라를 개별적으로 구입하여 조립하였다.
다음 Fig. 4는 상기 언급한 직교 기계와 카메라를 이용하여 데이터를 취득하는 과정을 사진으로 나타내었다. 데이터를 취득하기 위해서는 두 가지 주변 환경을 조성하였다. 첫 번째는 기존 수돗물 내에서 깔따구 유충을 모니터링하고 있는 방법 중 하나인 ‘먹는 물 수질 감시 기준 항목 및 검사 주기(제5조 관련)’ 에 따른 정수 처리 공정(특히 침전 및 여과 공정)을 모의하는 환경이다. 이를 조성하기 위해 불투명한 하얀 판 위에 100 um규격의 PE(Polyethylene) 거름망을 설치한 후 장수 깔따구 유충, 낙엽과 모래 등을 이용하여 실제 발견 환경보다 더 가혹한 조건을 조성했다(Fig. 4 참조).
두 번째는 활성탄 여과지에서 깔따구 유충이 서식 하고 있는 환경을 모의하였다. 깔따구 유충은 일반적으로 분말활성탄(PAC) 보단 입상활성탄(GAC)에서 주로 서식하고 발견된다[2]. 이를 참고하여 활성탄 여과지에서 깔따구 유충이 서식하는 환경을 모의하기 위해 일반적으로 수처리에 많이 사용되는 입상활성탄과 활성탄 여과지에서 같이 발견되는 이물질인 작은 크기의 낙엽을 간섭 물질로 조성했다. 모래의 경우 국내 S 정수장 급속여과지에서 사용되는 유효경 0.6mm, 균등계수 1.4 의 여재를 사용하였습니다. 활성탄의 경우 국내 K 정수장 입상활성탄 흡착지에서 사용 중인 유효경 1.0 mm, 균등계수 1.5의 여재를 사용하였습니다(Fig. 5 참조).
Fig. 3의 기계에 부착된 카메라의 위치를 조절해 1회 촬영 범위가 70×40 mm되게 위치를 조절했다. 카메라의 위치를 조절한 후 Laser GRBL 프로그램과 윈도우 10의 카메라 앱을 이용하여 기계가 X축으로 이동할 땐 한 번에 4cm, 축 끝에 도달해 Y축으로 이동할 때는 2cm 이동하게 설정함으로써 깔따구 유충이 촬영 범위 가장자리에 있어 일부분만 찍히는 현상을 최소화했다(Fig. 6 참조). 촬영된 사진(이미지 데이터)에는 깔따구 유충이 한 마리 혹은 여러 마리가 있거나 없는 경우도 있으며 일부분만 찍힌 사진도 있다. 결과적으로 첫 번째 환경과 두 번째 환경을 합쳐 깔따구 유충이 일부라도 있는 이미지 데이터 10,490장을 획득했고 깔따구 유충이 없는 이미지 데이터 6,832장을 획득했다(Fig. 7 참조).
2.4. 이미지 전처리와 학습앞서 얻은 깔따구 유충의 이미지 데이터를 ResNet의 input size인 224×224×3으로 변환을 해주었다. 그 후 데이터의 편향을 감소시키고, 일반화 능력을 향상시키기 위해 생성한 이미지 데이터를 무작위로 섞었다. 학습을 통해서 데이터의 편향을 감소한다는 의미는, 데이터가 순서대로 정렬되어 있을 경우, 특정 클래스나 특성이 연속적으로 나타날 수 있는데, 이에 따라 모델이 특정 패턴에 과적합(overfitting)이 발생할 가능성이 있다. 그러므로 무작위로 섞으면 이러한 편향을 줄일 수 있다는 뜻이다. 그리고 일반화 능력의 향상이란, 무작위로 섞은 데이터의 학습으로 대상 모델이 다양한 상황에서 학습하지 않은 데이터에 대한 정확도를 높이는 것을 의미한다.
그 후 신뢰성이 있는 평가를 위해 모델 학습에 쓸 이미지 데이터 각각 1,000장씩을 제외한 깔따구 유충이 있는 이미지 데이터 9,490장과 깔따구 유충이 없는 이미지 데이터 5,382장을 Train과 Validation의 비율 8:2로 학습시켰다. 데이터가 랜덤하게 섞이지 않으면 학습 및 검증에서 성능 평가가 왜곡될 수 있다[13].
2.5. 모델 성능 평가 방법본 연구에서 학습한 ResNet 모델의 성능은 ‘혼동행렬(Confusion matrix)’을 통해 평가했다. 학습한 모델은 정수처리 과정에서 깔따구 유충을 발견하는 것이 목적이다. 이를 위해 깔따구 유충이 있는 이미지 데이터를 ‘양성(Positive)’, 깔따구 유충이 없는 이미지 데이터를 ‘음성(Negative)’으로 설정했다. 혼동행렬의 구조와 평가 요소들은 아래의 표와 같다.
Table 4에서 ①, ②, ③과 ④는 혼동행렬을 나타내고 ⑤ ~ ⑪은 평가 요소를 나타내는 것이다. 각 항목은 다음과 같은 의미를 나타낸다.
① True Positive (TP): 모델이 양성(Positive)을 양성(Positive)이라고 올바르게 판단한 개수를 의미하며, 여기서는 깔따구 유충이 있는 이미지 데이터를 ‘깔따구 유충이 있다’라고 올바르게 판단하는 것이다.
② False Negative (FN): 모델이 양성(Positive)을 음성(Negative)으로 잘못 판단한 개수를 의미하며, 여기서는 깔따구 유충이 있는 이미지 데이터를 ‘깔따구 유충이 없다’라고 잘못 판단하는 것이다.
③ False Positive (FP): 모델이 음성(Negative)을 양성(Positive)으로 잘못 판단한 개수를 의미하며, 여기서는 깔따구 유충이 없는 이미지 데이터를 ‘깔따구 유충이 있다’라고 잘못 판단하는 것이다.
④ True Negative (TN): 모델이 음성(Negative)을 음성(Negative)으로 올바르게 판단한 개수를 의미하며, 여기서는 깔따구 유충이 없는 이미지 데이터를 ‘깔따구 유충이 없다’라고 올바르게 판단하는 것이다.
⑤ True Positive Rate(TPR): 모델이 실제 양성 중에서 양성이라 정확히 예측한 비율을 의미한다.
⑥ Specificity: 모델이 실제 음성 중에서 음성이라 정확히 예측한 비율을 의미한다.
⑦ Precision: 모델이 양성이라고 예측한 데이터 중에서 실제로 양성인 비율을 의미한다.
⑧ Negative Predictive Value: 모델이 음성이라 예측한 데이터 중 실제 음성인 비율을 의미한다.
⑨ False Positive Rate (FPR): 모델이 실제 음성 중에서 양성으로 잘못 예측한 비율을 의미한다.
⑩ F1 Score:
⑪ Accuracy: 모델이 전체 데이터 중 정확하게 분류한 데이터의 비율을 의미한다.
3. 결과 및 토의3.1. 모델의 학습 및 검증 정확도 결과학습 결과를 바탕으로 각 조건별 생성된 모델은 Train과 Validation의 정확도 그래프를 시각화했다(Fig. 8 참조).
(a) ResNet18 No-pretrained LR=0.001 모델의 경우 Train Accuracy 0.8638 값으로 시작하여 마지막 Epoch 값인 0.9932까지 안정적으로 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.6832로 시작하여 중간에 감소하는 경우가 있었지만, 일정 지점(Epoch 34) 이후로는 비슷한 값의 정확도가 안정적으로 증가하여 마지막 Epoch에서는 0.9762값이 나타났다.
(b) ResNet18 pretrained LR=0.001 모델은 Train Accuracy 값이 0.8638로 시작하여 마지막 Epoch 값인 0.9818까지 안정적으로 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.5824로 시작하여 특정 Epoch에서 감소하는 경우도 많고, 마지막 Epoch에서 이전 Epoch보다 감소한 0.9109로 나타났다.
(c) ResNet18 No-pretrained LR=0.01 모델은 Train Accuracy 값이 0.8228로 시작하였고 마지막 Epoch 값인 0.9922까지 안정적으로 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.7918로 시작하여 중간에 감소하는 경우가 있었지만, 일정 지점(Epoch 35) 이후로는 비슷한 값의 정확도가 나왔고, 마지막 Epoch에서는 0.9860까지 안정적으로 증가했다.
(d) ResNet18 pretrained LR=0.01 모델은 Train Accuracy 값이 0.7481로 시작하여 마지막 Epoch 값인 0.9908까지 안정적으로 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.4042로 시작하여 초반에 감소하는 경우가 있었지만, 일정 지점(Epoch 10) 이후로는 비슷한 값의 정확도로 마지막 Epoch 값인 0.9811까지 안정적으로 증가했다.
(e) ResNet18 pretrained LR = 0.1 모델은 Train Accuracy 값이 0.8638로 시작하여 마지막 Epoch에서는 0.9932까지 안정적으로 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.6832로 시작하여 중간에 감소하는 경우가 있었지만, 일정 지점(Epoch 32) 이후로는 비슷한 값의 정확도로 마지막 Epoch 값인 0.9762까지 안정적으로 증가했다.
(f) ResNet18 pretrained LR = 0.1 모델은 Train Accuracy 값이 0.7557로 시작하여 마지막 Epoch 값인 0.9883까지 증가하는 모습을 볼 수 있다. Validation Accuracy의 시작 값은 0.8591로 Train Accuracy 값 보다 높게 시작하였고, 특정 에포크에서 감소하는 경우가 있고, 안정적으로 증가하지는 않았지만 마지막 Epoch에서는 0.9827까지 증가했다.
(g) ResNet50 No-pretrained LR = 0.001 모델은 비교적 높은 수치인 Train Accuracy 값이 0.8841로 시작하여 마지막 Epoch 값인 0.9914까지 증가하는 모습을 볼 수 있다. 0시작한 Validation Accuracy 값은 0.6633으로 시작하여 특정 에포크에서 감소하는 경우도 있었지만, 마지막 Epoch 값은 0.9781으로 나타났다.
(h) ResNet50 pretrained LR = 0.001 모델은 Train Accuracy 값이 0.9248로 시작하여 마지막 Epoch 값인 0.9942까지 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.9546로 시작하여 특정 에포크에서 감소하는 경우가 있었지만, 일정 지점(Epoch 10) 이후로는 안정적으로 증가하여 마지막 Epoch 값인 0.9896까지 증가했다.
(i) ResNet50 No-pretrained LR = 0.01 모델은 0.8437로 시작한 Train Accuracy 값이 0.8437로 시작하여 마지막 Epoch 값인 0.9821까지 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 0.6212로 시작하여 특정 에포크에서 감소하는 경우도 많고, 안정적으로 증가하지 않았지만, 마지막 Epoch 값인 0.9827까지 증가했다.
(j) ResNet50 pretrained LR = 0.01 모델은 Train Accuracy 0.7863으로 시작하여 마지막 Epoch 값인 0.9887까지 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 Train Accuracy보다 높은 0.8790으로 시작하여 특정 에포크에서 감소하는 경우도 많고, 안정적으로 증가하지는 않았지만, 마지막 Epoch 값인 0.9850까지 증가했다.
(k) ResNet50 No-pretrained LR = 0.1 모델은 Train Accuracy 값이 0.7456으로 시작하여 마지막 Epoch 값인 0.9692까지 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 Train Accuracy보다 높은 0.8254으로 시작하여 특정 에포크에서 감소하는 경우도 많고, 안정적으로 증가하지는 않았지만, 마지막 Epoch 값인 0.9582까지 증가했다.
(l) ResNet50 pretrained LR = 0.1 모델은 0.6811으로 시작한 Train Accuracy 값이 0.6811로 시작하여 마지막 Epoch 값인 0.9039까지 증가하는 모습을 볼 수 있다. Validation Accuracy 값은 Train Accuracy보다 높은 0.8434으로 시작하여 마지막 Epoch 값인 0.9269까지 증가했다. 특정 에포크에서 감소하는 경우도 많고, 안정적으로 증가하지도 않았다.
ResNet 18과 ResNet50 모델의 Train과 Validation의 정확도를 종합적으로 비교한 결과 두 모델 모두 사전 학습이 되지 않은 모델이 사전학습 된 모델에 비해 비교적 높은 Train Accuracy와 Validation Accuracy 값을 보이고 안정적인 성능을 보였다. 이는 학습에 사용한 깔따구 유충의 이미지 데이터를 이용하여 모델을 학습시킬 때 사전 학습이 되지 않은 모델을 이용하는 것이 성능에 더 유리할 수 있음을 나타낸다.
3.2. 모델 성능 평과 결과(a)의 ResNet18 No-pretrained LR = 0.001 경우 TPR 0.871, FPR 0.09, Accuracy 0.891, F1 Score 0.888로 나타났다. 이는 모델이 상대적으로 좋은 성능을 보인 것으로 나타났다. (b)의 ResNet18 pretrained LR = 0.001 경우 TPR 0.583, FPR 0.004, Accuracy 0.790, F1 Score 0.735로 나타났다. 이 모델의 평가지표는 음성을 잘못 판별하는 경우가 적지만, 양성을 잘못 판별하는 경우가 많게 나타났다. 또한 F1 Score도 마찬가지로 높지 않아 모델의 전반적인 성능이 좋지 않음을 알 수 있다. (c)의 ResNet18 No-pretrained LR = 0.01 경우 TPR 0.864, FPR 0.021, Accuracy 0.922, F1 score 0.917로 나타났다. 이 모델은 Accuracy와 TPR, FPR 수치 전반적으로 우수한 성능을 보였고, F1 Score를 통해 균형 잡힌 결과가 나왔다는 것을 알 수 있다. (d)의 ResNet18 pretrained LR = 0.01 경우 TPR 0.799, FPR 0.006, Accuracy 0.897, F1 Score 0.885로 나타났다. 이 모델의 평가지표는 TPR을 제외한 나머지 지표들은 상대적으로 좋은 성능을 보였다. (e)의 ResNet18 No-pretrained LR = 0.1 경우 TPR 0.726, FPR 0.005, Accuracy 0.861, F1 Score 0.839로 나타났다. 정확도는 높지만 양성을 발견하는 성능은 부족했다. (f)의 ResNet18 pretrained LR = 0.1 경우 TPR 0.715, FPR 0.002, Accuracy 0.857, F1 score 0.833로 나타났다. 이는 음성을 판별하는 능력은 우수하나 양성을 판별하는 능력이 부족하다는 것을 의미한다. (g)의 ResNet50 No- pretrained LR=0.001 경우 TPR 0.689, FPR 0.019, Accuracy 0.835, F1 Score 0.807로 나타났다. 이는 음성을 판별하는 능력은 우수하나 양성을 판별하는 능력이 부족하다는 것을 의미한다. (h)의 ResNet50 pretrained LR = 0.001 경우 TPR 0.630, FPR 0.012, Accuracy 0.809, F1 Score 0.767로 나타났다. 이는 음성을 판별하는 능력은 우수하지만 그에 비해 양성을 판별하는 능력이 부족하다는 것을 의미한다. (i)의 ResNet50 No-pretrained LR = 0.001 경우 TPR 0.530, FPR 0.001, Accuracy 0.765, F1 Score 0.692로 나타났다. 이는 음성을 판별하는 능력은 우수하나 양성을 판별하는 능력이 거의 없다는 것을 의미한다. (j)의 ResNet50 pretrained LR = 0.01 경우 TPR 0.744, FPR 0.018, Accuracy 0.863, F1 Score 0.844로 나타났다. 이는 음성을 판별하는 능력은 우수하지만 그에 비해 양성을 판별하는 능력이 부족하다는 것을 의미한다. (k)의 ResNet50 No-pretrained LR = 0.1 경우 TPR 0.903, FPR 0.225, Accuracy 0.839, F1 Score 0.848 로 나타났다. 양성을 발견하는 능력이 우수했지만 음성을 잘못 분류하는 경우가 많았다. 마지막으로 (l)의 ResNet50 pretrained LR = 0.1 경우 TPR 0.580, FPR 0, Accuracy 0.790, F1 Score 0.734로 나타났다. 음성을 판별하는 능력은 매우 우수하나 정확도와 양성을 판별하는 능력은 부족했다.
ResNet18 및 ResNet50의 3가지 LR과 사전 학습 여부에 따라 생성된 12개의 모델의 성능을 TPR, FPR, Accuracy, F1 Score를 사용하여 결과를 분석하였다. 그 결과 ResNet 50 LR = 0.01의 경우를 제외하고 모두 사전 학습 없이 진행된 모델들이 TPR 더 높았다. 또한 사전 학습된 모델의 경우 전반적으로 FPR과 TPR이 낮아 음성을 잘못 판별 하는 경우는 적지만, 양성을 판별하는 능력 또한 낮았다. 이는 사전에 학습된 가중치로 인하여 새로운 데이터에서의 일반화 성능이 저하 될 수 있다는 가능성을 보이며. 3.1. 모델의 학습 및 검증 정확도 결과에서도 나타나듯이 ResNet 18과 ResNet 50 모델의 경우 깔따구 유충의 이미지 데이터를 이용하여 모델을 학습시킨다면 사전 학습이 되지 않은 모델을 이용하는 것이 더 효과적임을 알 수 있다. TPR이 높은 상위 3개의 모델은 ResNet50 No-pretrained LR = 0.1, ResNet18 No-pretrained LR = 0.001, ResNet18 No-pretrained LR = 0.01 순으로 나타났다. 하지만 TPR이 가장 높은 ResNet50 No-pretrained LR = 0.1의 경우 TPR의 값이 크지만, FPR 또한 크게 나타나 정수처리 과정에서 깔따구 유무를 판결하는데 적합하지 않다고 판단됐다. TPR이 두 번째와 세 번째로 높은 ResNet18 No-pretrained LR = 0.001과 ResNet18 No-pretrained LR = 0.01을 비교했을 때 ResNet18 No-pretrained LR = 0.01 모델이 Accuracy와 F1 Score가 더 높아 상대적으로 더 신뢰할 수 있는 모델로 평가 되었다. 결론적으로 TPR, FPR, Accuracy, F1 Score의 값으로 판단한 결과 사전 학습 없는 ResNet18 No-pretrained LR = 0.01 모델이 깔따구 유충의 유무를 판별하는데 가장 적합한 모델로 판단되었다.
4. 결론본 연구는 정수처리 과정에서 깔따구 유충이 발견될 시 2022년 이후 강화된 ‘먹는 물 수질기준 감시항목 및 검사주기’에 따른 깔따구 유충 유무 판별을 위해 이미지 데이터를 확인하는 모델을 개발했다. 모델 개발 전 깔따구 유충의 이미지 데이터를 획득하기 위해 카메라가 부착된 XY 직교 기계를 제작하였다. 그 후 현재 모니터링 방법 중 하나인 여과지 유출부에서 깔따구 유충이 발견되는 환경과 정수처리 과정 중 깔따구 유충이 주로 서식하는 입상활성탄 여과지에서의 환경을 구현했다. 이를 통해 획득한 이미지를 이용하여 ResNet기반의 깔따구 유무 분류 모델을 개발했다. 이에 관한 주요 연구 결과는 다음과 같다.
(1) 깔따구 유충 촬영 기계를 통해 총 17,322장의 정수처리 과정에서 발견될 수 있는 모래 및 활성탄 여재라는 간섭 물질이 있는 배경을 대상으로 깔따구 유충 이미지 데이터를 획득했다. 획득한 깔따구 유충의 이미지를 pretrain된 ResNet의 input size인 224×224×3으로 변환을 해주었다. 그 후 데이터의 편향을 감소시키고, 일반화 능력 향상과 배치의 일관성을 위해 위에서 생성한 이미지 데이터를 무작위로 섞었다. 신뢰성이 있는 평가를 위해 이미지 데이터 각각 1,000장씩을 제외한 깔따구 유충이 있는 이미지 데이터 9,490장과 깔따구 유충이 없는 이미지 데이터 5,382장을 ResNet18, ResNet50 모델을 사전 학습된(Pre-trained) 모델과, 구조만 가져온(Non-Pretrained) 모델을 Epoch 50, learning rate 0.1, 0.01, 0.001 조건에서 Train과 Validation의 비율 8:2로 학습시켰다. 그 결과 12개의 모델을 생성하였다.
(2) 본 연구에서 생성한 ResNet 모델의 성능은 ‘혼동행렬(Confusion matrix)’을 통해 평가했다. 생성한 모델은 정수처리 과정에서 깔따구 유충을 발견하는 것이 목적임을 고려하여 깔따구 유충이 있는 이미지 데이터를 ‘양성(Positive)’, 깔따구 유충이 없는 이미지 데이터를 ‘음성(Negative)’으로 설정하였다.
(3) ResNet18 및 ResNet50의 3가지 LR과 사전 학습 여부에 따라 생성된 12개의 모델의 성능을 TPR, FPR, Accuracy, F1 Score를 사용하여 결과를 분석하였다. 그 결과 ResNet 50 LR = 0.01의 경우를 제외하고 모두 사전 학습 없이 진행된 모델들이 TPR 더 높았다. 또한 사전 학습된 모델의 경우 전반적으로 FPR과 TPR이 낮아 음성을 잘못 판별 하는 경우는 적지만, 양성을 판별하는 능력 또한 낮았다. 이는 사전에 학습된 가중치로 인하여 새로운 데이터에서의 일반화 성능이 저하 될 수 있다는 가능성을 보이며. 3.1. 모델의 학습 및 검증 정확도 결과에서도 나타나듯이 ResNet 18과 ResNet 50 모델의 경우 깔따구 유충의 이미지 데이터를 이용하여 모델을 학습시킨다면 사전 학습이 되지 않은 모델을 이용하는 것이 더 효과적임을 알 수 있다. TPR이 높은 상위 3개의 모델은 ResNet50 No-pretrained LR = 0.1, ResNet18 No-pretrained LR = 0.001, ResNet18 No-pretrained LR = 0.01 순으로 나타났다. 하지만 TPR이 가장 높은 ResNet50 No-pretrained LR = 0.1의 경우 TPR의 값이 크지만, FPR 또한 크게 나타나 정수처리 과정에서 깔따구 유무를 판결하는데 적합하지 않다고 판단됐다. TPR이 두 번째와 세 번째로 높은 ResNet18 No-pretrained LR = 0.001과 ResNet18 No-pretrained LR = 0.01을 비교했을 때 ResNet18 No-pretrained LR = 0.01 모델이 Accuracy와 F1 Score가 더 높아 상대적으로 더 신뢰할 수 있는 모델로 평가 되었다. 결론적으로 TPR, FPR, Accuracy, F1 Score의 값으로 판단한 결과 사전 학습 없는 ResNet18 No-pretrained LR = 0.01 모델이 깔따구 유충의 유무를 판별하는데 가장 적합한 모델로 판단되었다.
Fig. 6.Camera shooting range (gray full grid) and range of overlapping shots in the Y-axis(red colored 10×70 mm size). ![]() Table 1.XY orthogonal machine specifications for this study.
Table 2.Hyperparameter components. Table 3.Hardware and software configuration for deep learning
Table 4.Confusion Matrix and Evaluation Metrics. Table 5.Model evaluation results matrix. References1. Goeun J., Wooseong Y., Meeyoung P., Yong-Gyun P.. RT-CLAD: Artificial Intelligence-Based Real-Time Chironomid Larva Detection in Drinking Water Treatment Plants. Sensors. 2024;24:177. https://doi.org/10.3390/s24010177
![]() 2. Kwak I.-S., Park J.-W., Kim W.-S., Park K.. Morphological and genetic species identification in the Chironomus larvae (Diptera: Chironomidae) found in domestic tap water purification plants. Korean J. Ecol. Environ. 2020;53:286–294.
3. Baek Y., Lee K., Yang Y.. Study on the Behavior Evaluation and Control of Midge Larvae in the Filtration Process. J. Korean Soc. Environ. Eng. 2022;44:418–425.
![]() 4. Park J.-W., Park K., Kwak I.-S.. Surveillance spilled Chironomidae (Diptera) larvae from drinking water treatment plants in South Korea using morphogenetic species analysis and eDNA metabarcoding. Sci. Total Environ. 2023;896:165241. Diptera;
![]() 5. Hidayaturrahman H., Kwon H.J., Bao Y., Peera S.G., Lee T.G.. Assessing the Efficacy of Coagulation (Al3+) and Chlorination in Water Treatment Plant Processes: Inactivating Chironomid Larvae for Improved Tap Water Quality. Appl. Sci. 2023;13:5715. S.G. Lee. T.G:"Assessing the Efficacy of Coagulation. Al3+;
![]() 6. Kim T., Lee H.. The Case Studies of Artificial Intelligence Technology for apply at The Sewage Treatment Plant. J. Korean Soc. Water Environ. 2019;35:370–378.
7. Xing-Bin Sun, Fu-Yi Cui. Inactivation of Chironomid larvae with ozone. Water science & Technology- Water Supply. 2008;8:355–361.
![]() ![]() 8. Baek Y., Lee K., Yang Y.. A Study on the Behavior Evaluation and Control of Midge Larvae in the Filtration Process. J. Korean Soc. Environ. Eng. 2022;44:418–425.
![]() 9. Kim B.-S.. Establishment of a national water supply smart management system. Water Future. 2020;53:8–13.
10. Korea Ministry of Environment. Drinking Water Larvae Prevention and Response Measures. Korea Ministry of Environment, Seoul, Republic of Korea; 2021
11. Christopher S., Michels U., Gunkel G.. Paratanytarsus grimmii (Chironomidae) Larvae in Drinking Water Distribution Systems: Impairment or Disaster? Water. 2023;15:377. https://doi.org/ 10.3390/w15030377
![]() 12. Kwak I.S.. Introduction to the Chironomidae as a water pollution indicator[dissertation]. Chonnam National University. Korea; Gwangju; 2015
13. He K., Zhang X., Ren S., Sun J.. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016;770–778.
![]() 14. Kim J.H., Park D.H., Kim H.N.. Performance Analysis of ResNet-based Target Classifications using Spectral Kurtosis. J. of The Institute of Electronics and Information Engineers. 2022;59:90–106.
![]() 15. Russankovsky O., Deng J., Su H., Krause J., Satheesh S., Ma S., Huang Z., Karpathy A., Khosla A., Bernstein M., Berg A. C., Fei-Fei L.. ImageNet Large Scale Visual Recognition Challenge. Computer Science; Computer Vision and Pattern Recognition. Jan 2015
|
|