CCTV 영상과 의미론적 분할 모델을 이용한 재해성 하천기인 부유쓰레기 탐지

1. 서 론

급격한 기후변화로 인한 태풍과 집중강우 등 이상 기후 현상의 빈도와 강도가 증가하면서, 재해로 인해 유입되는 해양쓰레기의 양도 급증하고 있다(Ford et al.[2022]; Lincoln et al.[2022]). 이러한 재해성 해양쓰레기는 하천과 하구를 통해 해양으로 유출되어 수질오염과 수생태계 교란, 경관훼손 등의 심각한 문제를 야기하고 있다(Jambeck et al.[2015]). 특히, 최근 몇 년 동안 우리나라와 같은 해안 국가에서는 이상 기후로 인한 수재해 발생 빈도가 증가하고 있어, 재해성 해양쓰레기의 유입으로 인한 해양 오염의 심각한 문제로 대두되고 있다(Lincoln et al.[2022]). 우리나라는 매년 장마, 태풍 등에 의한 집중강우가 발생하고 있고, 기후변화로 인해 집중강우의 강도가 더욱 강해질 것으로 예상되므로 이러한 문제에 대응을 위한 방안 마련이 시급하다.

해양쓰레기의 발생원인은 크게 육상기인과 해상기인으로 나뉜다. 육상기인은 육지에서 발생한 쓰레기가 하천·하구를 통해 해양으로 유입되는 경우로, 전체 해양쓰레기의 약 60% 이상을 차지한다(KMI[2020], Korshenko et al.[2020]; Schmidt et al.[2017]). 이러한 육상기인 쓰레기 중에서도 가장 문제가 되는 것은 하천기인 부유쓰레기이다. 하천기인 부유쓰레기는 매년 장마, 집중강우, 태풍 내습 등 강우가 집중되는 홍수기에 관광객, 피서객 및 주변 주민들의 쓰레기 투기와 방치, 평상시 수거·처리되지 못한 쓰레기 등이 하천을 통해 일시에 대량으로 해양에 유입된다. 우리나라의 경우 하천·하구를 통해 유입되는 부유쓰레기 성상 조사에 따르면, 대부분 초목류이며 스티로폼과 PET병 등과 같은 생활쓰레기도 초목류에 뒤엉켜 유입된다고 알려져 있다(KMI[2020]). 해양으로 유입된 부유쓰레기는 어선 손상, 해안 미관 훼손, 해양생태계 영향, 해양오염, 어업자원 감소, 항해안전 위협, 관광 피해 등 다양한 심각한 문제를 야기한다.

현재 국내 해양쓰레기 조사는 대부분 일부 지역에 대한 모니터링과 인문·사회적인 통계 기법에 의존하고 있다. 이와 같은 기존의 조사 방식은 많은 시간, 인력, 비용의 소요로 인해 해안 중 일부 구간만을 선정하여 모니터링 수행함으로써 정확한 실태 파악에 상당한 오차 요인이 존재한다(Kim et al.[2022]; Song et al.[2022]). 최근 기존 조사 방식의 시공간적 한계를 극복하기 위한 방안으로 원격탐사 기술인 인공위성과 무인항공기(드론)을 인공지능에 접목하여 해양쓰레기를 자동으로 식별할 수 있는 모니터링 기술 개발이 활발하게 진행되고 있다. 위성영상은 광범위한 지역을 단시간에 촬영할 수 있다는 장점으로 인해 부유쓰레기의 발생 및 공간적인 분포를 파악하는데 유용하게 활용될 수 있다. Sentinel-1과 같은 SAR 위성영상은 다양한 편광 및 산란 특성을 이용하여 부유쓰레기를 탐지하는데 활용되고 있으며(Simpson et al.[2022]), Sentinel-2 위성과 같은 광학 영상은 전자기 스펙트럼의 가시광선, 근적외선과 단파 적외선을 활용해서 부유쓰레기와 주변 환경의 분광 반사 특성을 비교하여 부유쓰레기를 탐지하는데 활용된다(Biermann et al.[2020]; Gómez et al.[2022]). SAR(Synthetic Aperture Radar) 위성영상은 다양한 기상 조건에서 데이터를 수집할 수 있어 지속적인 모니터링이 가능하다는 장점이 있으나 SAR 위성 데이터는 기술적인 전처리 과정이 요구되며, 후방산란 특성이 하천 주변 기상과 수문 환경의 영향을 받을 수 있어 탐지 정확도를 감소시킬 수 있다는 한계가 있다(Phillips[1988]). 또한, 광학 영상은 흐린 날씨나 악천후에는 관측이 불가능하며, 유사한 스펙트럼을 가진 물체를 분류할 수 없다는 단점이 있다(Gómez et al.[2022]). 반면, 드론은 다양한 공간적 범위의 쓰레기를 빠르게 파악할 수 있다는 장점이 있어 최근 딥러닝 탐지 모델 접목하여 해안쓰레기(Song et al.[2021]; Gonçalves and Andriolo[2022]), 하천 부유쓰레기 탐지에 활용되고 있다(Kim et al.[2017]). 드론을 이용한 조사 또한 소규모의 지역을 시공간적으로 신속하고 정확하게 탐지할 수 있다는 장점이 있으나 부유쓰레기 유입 이후에 대한 정보를 제공하기 때문에 현장의 실제 상태를 정확하게 파악할 수 없으며, 폭우나 바람이 부는 악천후 경우 운영할 수 없다는 제약이 있다. 즉, 위성영상이나 드론영상은 촬영 주기가 일정하기 때문에 부유쓰레기의 발생 및 확산 현상을 실시간으로 파악하기 어렵다.

지속적이고 실시간으로 해양환경변화를 탐지하기 위해 CCTV(Closed-Circuit Television) 영상을 적용하는 연구가 진행되고 있다. CCTV는 비교적 저렴한 비용으로 고해상도의 영상을 수집할 수 있으며, 24시간 365일 연중무휴로 감시가 가능하다. Ali and Tougne[2009]는 이미지 내 물체의 스펙트럼과 공간적 특징을 고려하여 CCTV 영상 내의 나무를 식별하는 비지도 학습 방법을 개발했다. Ghaffarian et al.[2020]은 강에서 표류하는 나무를 자동으로 탐지하기 위해 CCTV 모니터링과 다중 이미지 분석 기법을 적용하였다. CCTV 영상을 기반으로 초목류를 연구함에 있어 이미지 분류 기법을 활용한 연구는 수행되었으나, 딥러닝 모델을 이용한 의미론적 분할에 관한 연구는 상대적으로 미흡하였다. 이미지 분류 기법은 주로 이미지를 정해진 범주 내에서 분류하는 데 초점을 맞추는 반면, 딥러닝 기반의 의미론적 분할 모델은 이미지 내 각 픽셀을 분석하여 객체의 경계와 종류를 더욱 세밀하게 구분한다. 딥러닝 모델을 적용함으로써, 더 정확하고 상세한 이미지 분석이 가능해져 보다 정밀하고 효과적인 모니터링과 분석을 수행할 수 있다.

본 연구에서는 CCTV 영상 자료와 CNN 기반의 딥러닝 모델을 활용하여 부유쓰레기를 탐지할 수 있는 기법을 제안하였다. 최근 이미지 분할(Segmentation)에서 뛰어난 성능을 보이고 원격탐사 분야에서 많이 사용되는 대표적인 의미론적 분할(Semantic segmentation) 모델인 U-Net 모델을 활용하였다. 제안된 모델의 성능을 평가하였고, 그 적용성을 검토하였으며, 최종적으로 개발한 모니터링 기법과 향후 연구 방향에 대한 제언 등을 논의하고자 하였다.

2. 재료 및 방법

2.1 연구대상지역

금강하구는 1994년 금강하구둑의 건설로 담수와 해수가 완전히 분리된 폐쇄형 하구이다(Fig. 1a). 금강하구역의 담수 방류는 1~3일 간격으로 썰물 때 하구로 방류되며, 주로 강수량에 영향을 받아 6~9월 여름철에 방류량이 증가한다(Cho et al.[2016]; Jeong et al.[2014]). 본 연구에서는 강우가 집중되는 시기 부유쓰레기를 탐지하기 위해 CCTV를 설치하였다(Fig. 1b). Fig. 1c는 CCTV 화면을 통해 촬영되는 영역이며, 배수갑문 715 m 중 약 160 m 구간을 촬영하고 있다. 해당 구간은 금강하구둑의 주요 흐름이 위치하고 유속이 가장 빠른 것으로 알려져 있으며, 육안으로 CCTV 영상 자료를 파악한 결과 주로 이 구간에서 부유쓰레기가 유출되는 것을 확인하였다. 따라서 본 연구에서는 해당 구간에 촬영되는 이미지를 활용하여 데이터셋을 구축하고 딥러닝 모델을 이용하여 부유쓰레기를 탐지하고자 하였다.

Fig. 1.

The location of the study area. (a) Study area. (b) CCTV camera. (c) Area covered by the CCTV image.

2.2 학습자료 및 검증 데이터 구축

부유쓰레기 탐지 이미지 추출을 위해, FFmpeg의 Python 라이브러리를 활용하여 프레임 추출을 수행하였다. FFmpeg는 디지털 음성 스트림과 영상 스트림을 다양한 형식으로 기록하고 변환하는 프로그램으로, 명령어 기반으로 동작하며 여러 가지 자유 소프트웨어와 오픈소스 라이브러리로 구성되어 있다. 본 연구에서는 금강하구둑의 수문 개방에 따라 변화하는 방류량이 부유쓰레기의 이동 속도에 미치는 영향을 고려했다. 수문 개방이 비규칙적이기 때문에 방류량을 기반으로 프레임 수를 설정하는 것은 한계가 있었다. 따라서 본 연구는 영상 내 부유쓰레기의 이동 속도를 주관적으로 분석하고, 이를 통해 데이터 추출 과정을 수행하였다. 특히, 학습 데이터의 다양성을 보장하고 부유쓰레기 이미지 간 중복률을 최소화하기 위해, 15초에서 100초 사이의 시간 간격으로 이미지를 선별적으로 추출하도록 설정하였다. 영상에서 이미지를 추출한 뒤, Table 1과 같이 다양한 환경 조건을 고려하여 CCTV 유효 영상을 선별하였다. Lin et al.[2014]은 작은 객체를 바운딩 박스의 길이와 너비 픽셀이 32 픽셀보다 작은 물체로 정의하였다. 따라서 본 연구에서는 이미지 내 부유쓰레기의 픽셀이 32 픽셀보다 작은 경우 이를 제외하였다.

Table 1.

Guide to the criteria for CCTV images

부유쓰레기 탐지를 위한 데이터셋 구축을 위해 최종적으로 선별된 총 1,414장의 이미지에 대해 오픈소스 라벨링 도구인 Labelme를 사용하여 라벨링을 수행하였다(Fig. 2). 데이터셋은 학습 데이터셋(Training dataset), 검증 데이터셋(Validation dataset) 및 시험 데이터셋(Test dataset)으로 분류하였으며, 각 데이터셋의 구성 비율은 6:2:2이다. 학습 데이터셋은 모델의 학습에 사용, 검증 데이터셋은 모델의 성능을 일반화, 시험 데이터셋은 모델의 성능을 최종적으로 평가하기 위해 사용된다.

Fig. 2.

Examples of images showing the presence of riverine floating debris in the study area. (a) original images, (b) labeling images (ground truth).

2.3 딥러닝 기반 탐지 모델

딥러닝 기반 탐지 모델은 객체 탐지(Object detection), 의미론적 분할(Semantic segmentation), 객체 분할(Instance segmentation) 모델로 분류할 수 있으며, 각각 목적에 맞게 활용되고 있다. 객체 탐지 모델은 이미지 내에서 객체를 식별하고 그 위치를 경계상자(Bounding box)로 표시한다. 이 모델은 다양한 종류의 객체를 정확하게 식별하고 위치를 파악하는 데 활용된다. 의미론적 분할 모델은 이미지 내의 모든 픽셀을 특정 클래스로 분할하는 과정이다. 이를 통해 객체의 형태와 경계를 파악하여 각 픽셀이 어떤 클래스에 해당하는지 분류한다. 객체 분할 모델은 의미론적 분할 모델을 확장하여 같은 클래스에 속하는 서로 다른 객체들을 개별적으로 구분한다. 이는 픽셀 수준에서 객체의 경계를 정확하게 파악하면서도, 각 객체를 독립적으로 인스턴스로 식별할 수 있다. 본 연구에서는 형태와 크기가 매우 다양한 부유쓰레기와 배경을 이진 분류하여 탐지하는데 목적이 있다. 따라서 객체의 위치와 종류를 식별하는 객체 탐지 모델보다는 객체의 형태와 경계를 정확하게 파악하는 의미론적 분할모델을 활용하는 것이 적합하다고 판단하였다.

부유쓰레기를 탐지하기 위해 대표적인 의미론적 분할 모델인 U-Net 모델을 활용하였다. 부유쓰레기의 형태와 크기가 매우 다양하기 때문에, 객체의 형태와 경계를 정확하게 파악할 수 있는 U-Net이 적합하다고 판단하였다. Ronneberger et al.[2015]이 제안한 U-Net은 의료 영상, 원격탐사, 자율주행 등 다양한 분야에서 사용되는 딥러닝 기반 의미론적 분할 모델이다. Fig. 3은 U-Net 모델의 구조를 도식화한 것으로 왼쪽 부분인 수축경로(Contracting Path) 또는 인코더(Encoder)와 오른쪽 부분인 팽창 경로(Expanding Path) 또는 디코더(Decoder)로 구성된다. 인코더는 입력 이미지의 특징을 추출하는 역할을 한다. 합성곱(Convolution) 연산을 반복적으로 수행하면서 차원을 축소하고, 채널 수를 늘려나가며 이미지의 특징을 추출한다. 디코더는 업샘플링(Upsampling) 연산을 통해 이미지의 해상도를 복원하고, 합성곱 연산을 수행하면서 채널 수를 줄여나간다. 이 과정에서 스킵 커넥션(Skip connection)을 사용하여 인코더에서 추출한 특징을 디코더에 직접 전달함으로써 인코더의 특징맵과 디코더의 특징맵을 결합시켜 정보의 손실을 최소화한다. 이러한 구조를 통해 U-Net은 객체의 형태와 경계를 정확하게 파악할 수 있다.

Fig. 3.

Schematic model description of U-Net model based CNNs in this study.

2.4 모델 입력변수 설정

본 연구에서는 U-Net 기반 딥러닝 모델을 통해 CCTV 영상 자료에서 부유쓰레기를 탐지하고자 하였다. 이를 위해, 모델의 성능에 중대한 영향을 미치는 주요 하이퍼파라미터(Hyper-parameters)를 세심하게 조정하여, 반복적 실험을 통해 최적화된 네트워크 구조를 도출하였다. 딥러닝 모델의 학습을 위한 하드웨어와 학습에 사용된 파라미터는 Table 2와 같다. 모델의 깊이는 계산 효율성과 탐지 정확도의 균형을 고려하여 6단계로 설정하였으며, 초기 특징(Feature)의 수는 32로 하여 데이터의 복잡성과 학습 시간 사이의 균형을 고려하였다. 초기 입력 이미지 크기는 1,280 × 1,280 픽셀로 설정하여, 부유쓰레기 탐지를 위한 충분한 해상도를 확보하였다. 모델은 RGB 이미지를 처리하며, 탐지 대상인 부유쓰레기와 배경을 구분하기 위해 이진 분류 방식을 채택하였다. 2개의 클래스는 배경과 부유쓰레기로 구분되며, 각각 0과 1 값이 부여된다. 모델 학습 시 오차를 줄이는 방식으로 optimizer는 학습률(Learning rate)과 오차의 경사(Gradient) 방향의 관성을 고려한 Adaptive moment estimation(Adam)으로 선택하였으며, learning rate는 0.003로 설정하였다. 손실함수(Loss function)는 focal loss를 사용하였다. 손실함수는 딥러닝 모델이 각 훈련 배치에서 전체 오류를 계산하는 방법을 정의하는 것으로 역전파를 통해 내부 가중치가 조정되는 과정에 영향을 미치므로 전체 모델 학습에 큰 영향을 끼친다. 일반적으로 U-Net 모델에서는 교차 엔트로피 오차(Cross entropy error)가 사용이 된다. 이는 모델이 손실을 최소화하기 위해 다수 클래스만을 예측하는 경향이 있는데, 탐지하고자 하는 객체의 불균형이 심할 경우 성능이 감소할 수 있다는 단점이 있다. 이미지내 부유쓰레기 픽셀 비율을 계산한 결과, 10% 이상의 비율을 가지는 이미지가 전체의 약 14%가 존재하였고 대부분 5% 이내로 나타났다(Fig. 4). 이는 모델 학습 과정에서 배경 영역에 대한 과도한 학습으로 부유쓰레기를 탐지 모델의 성능을 감소시킬 수 있다. 따라서 본 연구에서는 클래스 불균형 문제를 해결하기 위해 focal loss를 적용하였다. Focal Loss는 잘 분류된 샘플의 손실을 줄이고 오분류된 샘플에 대한 학습을 집중시켜 모델의 분류 성능을 향상시키는 효과를 가진다. 모델 학습의 epoch는 100회로 설정하였으며, 손실값(Loss)이 30회 이상 감소하지 않으면 학습을 조기에 종료하는 방식으로 설정하였다. Batch size는 GPU 메모리 할당량을 고려하여 4로 설정하였다.

Table 2.

Hardware and hyper-parameters for training of the U-Net model

Fig. 4.

Ratio of river floating debris by total images.

2.5 정확도 평가 방법

U-Net 모델의 부유쓰레기(초목류) 탐지 성능을 평가하기 위해 시험 데이터셋을 사용하여 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, mIoU를 계산하였다. 초목류 또는 배경의 이진 분류에서 모델의 예측 결과와 실제 레이블 간의 상관 관계는 혼동 행렬(Confusion matrix)을 통해 표현될 수 있다(Fig. 5a). 혼동 행렬은 True Positive(TP), True Negative(TN), False Positive(FP), False Negative(FN)로 구성되며, 각 지표의 높은 값은 모델의 우수한 성능을 의미한다. 정밀도는 예측 영상에서 초목류로 분류된 화소 중에서 실제 초목류의 비율로 나타낸다. 재현율은 실제 초목류 중에서 예측 영상에서 초목류로 분류된 비율로 나타낸다. FP가 많으면 정밀도가 낮아져 과탐지 경향을 나타내고, FN가 많으면 재현율이 낮아져 미탐지 경향을 나타낸다. F1-score는 정밀도와 재현율의 조화평균으로 계산한다. IoU(Intersection over Union)는 특정 클래스에 대해서 라벨 자료와 예측 자료의 교집합 영역과 합집합 영역의 면적비로 구한다(Fig. 5b). mIoU는 초목류 클래스 IoU와 배경 클래스 IoU의 평균이다.

Fig. 5.

Confusion matrix and the test measures for image segmentation. (a) Confusion matrix and metric formulas. (b) IoU calculation.

3. 결과 및 고찰

3.1 부유쓰레기 탐지 결과

본 연구에서는 CCTV 영상 자료와 딥러닝을 이용하여 부유쓰레기를 탐지하기 위한 모델을 구축하고, 그 성능을 평가하였다. 학습에 사용되지 않은 영상 이미지 자료에 대한 딥러닝 모델 적용 결과는 Table 3과 같다. 표에서 확인할 수 있듯이, mIoU는 0.69를 나타냈다. 또한, Precision의 경우에는 0.87, F1-score는 0.80 값을 가지고 있는 것을 볼 때, 딥러닝 모델에 의하여 추출된 부유쓰레기들은 대부분 정확하게 탐지하였음을 확인하였다. 이를 시각적으로 확인하기 위하여, 딥러닝 모델의 결과를 원본 이미지, 라벨링 자료와 함께 비교해보았다. Fig. 6은 학습을 완료한 모델의 가중치 자료를 이용하여 Test 자료의 예측 결과를 시각화 한 것이다. Fig. 6a는 원본 이미지 자료를 의미하며, Fig. 6b는 라벨링 자료(Ground truth), 그리고 Fig. 6c는 딥러닝 모델에 의하여 추출된 부유쓰레기 탐지 결과를 나타낸 것이다. 각 그림에서 하얀색 부분은 부유쓰레기로 탐지한 결과를 나타낸 것이며, 검은색 부분은 배경을 나타낸다. 그림에서 볼 수 있듯이 본 연구에서 적용된 U-Net 모델은 다양한 크기와 형태의 부유쓰레기를 라벨링 자료와 유사하게 예측하고 있는 것으로 나타났다. 명확한 경계를 가진 부분뿐만 아니라 배경과 부유쓰레기의 경계가 불분명한 미세한 경계까지 U-Net 모델이 잘 식별하고 있음을 확인할 수 있었다.

Table 3.

Performance indicator of the trained U-Net

Fig. 6.

Visualization and comparison of result on test data. (a) Raw image. (b) Ground truth. (c) U-Net prediction. White and black colored regions represent floating debris water and background, respectively.

3.2 부유쓰레기 미탐지 사례

본 연구에서 개발된 U-Net 기반 딥러닝 모델의 recall은 0.77로 다른 지표들과 비교하여 상대적으로 낮은 값을 기록하였다. 이는 모델이 부유쓰레기의 존재는 인지하나, 해당 쓰레기의 전체 영역을 정확히 예측하는 데는 일부 한계가 있음을 의미한다. 정성적 분석을 통하여, 모델이 부유 쓰레기를 체계적으로 과소추정(Under-estimation)하는 경향이 있는 것으로 파악되었다. 이러한 과소추정 현상은 세 가지 주요 요인에 의해 발생한다고 추정된다. 첫 번째 요인은 영상 취득 과정 중 발생하는 물방울의 영향이다. Fig. 7a와 같이, 강우량이 급격하게 증가할 시 카메라 렌즈에 물방울이 맺히게 되는 현상이 자주 발생하게 되는데, 이러한 영향이 모델의 탐지 정확도에 영향을 미치는 것으로 판단된다. 이 문제는 집중강우 시기에 대한 지속적인 유지관리를 수행함으로써 데이터 수집의 정밀성 향상을 통해 더욱 강화된 신뢰성 있는 데이터 확보로 개선될 수 있을 것으로 기대된다. 두 번째 요인은 초목류와 해수 사이의 분광학적 차이로 인한 것이다(Ali and Tougne[2009]). 집중강우가 발생할 때 다량의 초목류와 함께 플라스틱류, 스티로폼 등 다양한 부유물이 해수면 위로 유입된다. 그러나 강우가 소멸되고 방류량이 감소하는 시기에는 Fig. 7b와 같이 소량의 부유 쓰레기가 수면 위에 얇게 분포하는 상황에서는 해수와 초목류 사이의 분광적 구분이 명확하지 않아 모델의 탐지가 어려워진다. 이러한 현상은 향후 이와 유사한 이미지 확보나 분광학적 특성을 더욱 세밀하게 구분할 수 있는 방안이 필요하다는 것을 보여준다. 세 번째 요인은 태양광에 의한 분광학적 변화이다. Fig. 7c에서 예시된 바와 같이, 햇빛이 없는 조건에서는 해수와 부유쓰레기 사이의 분광학적 차이가 분명하여 탐지 성능이 우수하다. 그러나 햇빛이 있는 경우, 특히 다리의 그림자와 같은 요인으로 인해 분광학적 차이의 구분이 모호해져 탐지 능력이 저하된다(Ali and Tougne[2009]). 이는 해수의 색상과 부유쓰레기의 색상이 유사한 경우에 더욱 두드러지며, 이로 인한 미탐지 사례가 발생한다. 따라서, 본 연구에서 제시된 모델의 향후 개선을 위해서는 태양광의 영향을 최소화하고 다양한 광조건 하에서 모델의 강인성을 높이는 방향으로 연구가 진행되어야 할 것이다.

Fig. 7.

Cases of non-detection of floating debris due to different environmental conditions. (a) Failure to detect water droplets in CCTV images. (b) Spectroscopic differences between vegetation and seawater. (c) Spectroscopic differences caused by sunlight effects.

본 연구에서 개발된 U-Net 기반 딥러닝 모델은 제한된 데이터셋을 기반으로 부유쓰레기를 탐지하는 초기 방법론을 제시하였다. 향후 모델 성능의 고도화를 위해서는 신뢰성 있는 데이터 확보와 다양한 영상 자료의 축적이 필수적이다. 단순히 데이터셋의 양적 확장뿐만 아니라 기상조건 변화에 따른 부유쓰레기의 특성 변화를 반영하는 질적 향상도 중요하다. 강우, 안개, 광도 등 다양한 기상환경 요인이 부유쓰레기의 색감, 질감 등 시각적 특성에 상당한 영향을 미치기 때문에 학습 데이터셋에는 이러한 다양성이 충분히 반영되어야 한다. 이를 통해 모델의 강건성(Robustness)을 향상시킬 수 있을 것이다. 특히 강의 흐름이나 기타 환경적 요인에 의해 부유쓰레기의 형태가 지속적으로 변하는 특성을 고려하여, 모델이 형태학적 다양성을 인지하고 학습할 수 있도록 다양한 형태의 부유 쓰레기를 포함하는 이미지 데이터 수집이 필요하다. 데이터 부족 문제를 해결하기 위한 접근 방법은 데이터 증강(Data augmentation) 기술의 활용이다. 이미지의 명도, 채도, 대비 등을 변형시키거나 이미지를 회전, 뒤집기, 왜곡 등의 방법을 통해 데이터셋의 다양성을 인위적으로 확장할 수 있다. 딥러닝 기반 산불 탐지에서 데이터 증강 기법을 적용하였을 때, 모델의 정밀도를 유지하면서 재현율을 향상시킬 수 있었으며(Lee et al.[2023]), 토지피복분류 작업에서 있어서도 데이터 증강기법을 적용함으로써 데이터 불균형에 인한 클래스별 성능 왜곡을 완화하고 모델의 정확도를 높일 수 있었다(Baek et al.[2022]. 이와 같이 향후 데이터 증강기법을 적용함으로써, 향후 부유쓰레기 탐지의 정확성과 신뢰성을 더욱 향상시킬 수 있을 것으로 판단된다.

본 연구는 CCTV 자료와 딥러닝 기반모델을 활용하여 부유쓰레기를 모니터링하고 탐지하는 새로운 모니터링 기법을 제시함으로써, 환경 감시 및 관리 분야에 혁신적인 접근법을 도입하였다. 이러한 접근법은 지속 가능한 환경 관리 및 감시 체계의 발전에 기여할 수 있는 중요한 연구 결과로서, 부유쓰레기 문제에 대한 과학적이고 실용적인 해결책을 제공한다는 점에서 그 의의가 매우 크다고 할 수 있다. 향후 모델 정확도 개선과 함께 CCTV 영상 자료의 Ground Sample Distance(GSD) 산출 또는 참조점 촬영을 통해 부유쓰레기 면적을 추정할 수 있다면 부유 쓰레기의 발생을 줄이기 위한 효과적인 정책을 수립하고, 환경 피해를 최소화할 수 있을 것으로 기대된다.

4. 결 론

본 연구에서는 CCTV 영상자료를 활용한 딥러닝 기반의 의미론적 모델을 활용하여 하천기인 부유쓰레기 탐지 방안을 마련하였다. 이 모델은 특히 금강하구둑에서 유출되는 부유쓰레기 중 주로 발견되는 초목류에 초점을 맞추어 개발되었다. 모델의 정확도는 mIoU 0.69, precision 0.87, recall 0.77, f1-score 0.80, accuracy 0.99의 정확도를 나타냈다. 정성적인 결과에서도 모델이 다양한 크기와 형태의 부유쓰레기를 효과적으로 식별할 수 있음을 확인하였다. 그러나 일부 환경 조건에서는 모델의 성능이 저하될 수 있음을 확인하였다. CCTV 화면에 물방울이 맺히거나 부유쓰레기가 표면 위에 얇게 분포하고 있을 때, 햇빛의 영향으로 부유쓰레기와 해수색이 유사할 때 부유쓰레기를 미탐지한 사례가 존재하였다. 이는 현재 모델이 특정 환경 조건에서의 탐지에 다소 제한적일 수 있다는 것을 의미한다. 또한 부유 쓰레기의 형태가 수면 위에서 하천 유속에 따라 다양하게 존재하므로, 다양한 환경에서 수집된 CCTV 영상 자료로 학습 데이터를 확장하는 것이 필요하다.

본 연구는 CCTV 영상 자료와 딥러닝을 활용한 부유쓰레기 탐지 기술의 가능성을 확인하고 새로운 모니터링 기법을 제안하였다는 점에서 의의가 있다. 향후 지속적인 연구와 개발을 통해, 본 연구의 한계점을 보완하고 보다 정확하고 효율적인 부유쓰레기 탐지 기술을 개발할 수 있을 것으로 기대된다. 이러한 지속 가능한 모니터링 접근은 하천기인 부유쓰레기 관리 및 환경 보호에 중요한 역할을 할 것으로 판단된다.

Acknowledgments

본 논문은 2023년 해양수산부 지원으로 해양수산과학기술진흥원(KIMST)의 지원을 받아 수행된 연구(지능형 해양쓰레기 수거지원기술(4/5), 과제번호: RS-2020-KS201395)입니다.

References

• Ali, I., and L. Tougne., 2009, Unsupervised video analysis for counting of wood in river during floods, Proceeding ISVC’09 Proceedings of the 5th International Symposium on Advances in Visual Computing, Part II, 578-587. [https://doi.org/10.1007/978-3-642-10520-3_55]
• Baek, W. K., Lee, M. J., and Jung, H. S., 2022. The performance improvement of U-Net model for landcover semantic segmentation through data augmentation. Korean Journal of Remote Sensing, 38(6-2).
• Biermann, L., Clewley D., Martinez-Vicente V., and Topouzelis. K., 2020, Finding plastic patches in coastal waters using optical satellite data, Scientific Reports, 10(1), 1-10. [https://doi.org/10.1038/s41598-020-62298-z]
• Cho, J.G., Song, Y.C. and Kim, T.I., 2016, Numerical modeling of estuarine circulation in the Geum River Estuary, Korea, Procedia Engineering, 154, 982-989. [https://doi.org/10.1016/j.proeng.2016.07.586]
• Ford, H.V., Jones, N.H., Davies, A.J., Godley, B.J., Jambeck, J.R., Napper, I.E., Suckling, C.C., Williams, G.J., Woodall, L.C., and Koldewey, H.J., 2022, The fundamental links between climate change and marine plastic pollution. Sci. Total Environ. 806, 1150392. [https://doi.org/10.1016/j.scitotenv.2021.150392]
• Ghaffarian, H., Lemaire, P., Zhi, Z., Tougne, L., MacVicar, B., and Piégay, H., 2020. Automated quantification of floating wood pieces in rivers from video monitoring: a new software tool and validation, Earth Surf. Dyn, 9(3), 519-537. [https://doi.org/10.5194/esurf-9-519-2021]
• Gómez, À.S., Scandolo, L. and Eisemann, E., 2022. A learning approach for river debris detection, International Journal of Applied Earth Observation and Geoinformation, 107, 102682. [https://doi.org/10.1016/j.jag.2022.102682]
• Gonçalves, G., and Andriolo, U., 2022. Operational use of multispectral images for macro-litter mapping and categorization by Unmanned Aerial Vehicle. Mar. Pollut. Bull,176, 113431. [https://doi.org/10.1016/j.marpolbul.2022.113431]
• Jambeck, R.J., Geyer, R., Wilcox, C., Sieger, R.T., Perryman, M., Andrady, A., Narayan, R., and Law, K.L., 2015. Plastic waste inputs from land into the ocean, Science, 347,768-771. [https://doi.org/10.1126/science.1260352]
• Jeong, Y.H., Yang, J.S. and Park, K., 2014, Changes in water quality after the construction of an estuary dam in the geum river estuary dam system, korea, Journal of Coastal Research, 30(6), 1278-1286. [https://doi.org/10.2112/JCOASTRES-D-13-00081.1]
• Kim, H.M., Yoon, H.J., Jang, S.W., and Chung, Y.H., 2017. Detection Method of River Floating Debris Using Unmanned Aerial Vehicle, Korean J. Remote Sens., 33(5-1), 537-1546.
• Kim, H.M., Bak, S.H., Han, J.I., Ye, G.H., and Jang, S.W., 2022. Development of marine debris monitoring methods using satellite and drone images. Korean J. Remote Sens., 38(6-1), 1109-1024.
• Korea Maritime Institute, 2020. Study on improving the management system for river waste flowing into the sea, Korea Maritime Institute.
• Korshenko, E., Zhurbas, V., Osadchiev, A. and Belyakova, P., 2020. Fate of river-borne floating litter during the flooding event in the northeastern part of the Black Sea in October 2018, Mar. Pollut. Bull, 160, 111678. [https://doi.org/10.1016/j.marpolbul.2020.111678]
• Lee, S., Kang, Y., Sung, T., and Im, J., 2023. Efficient deep learning approaches for active fire detection using Himawari-8 geostationary satellite images. Korean Journal of Remote Sensing, 39(5-3), 979-995.
• Lincoln, S., Andrews, B., Birchenough, S.N.R., Chowdhury, P., Engelhard, G.H., Harrod, O., Pinnegar, J.K., and Townhill, B.L., 2022. Marine litter and climate change: inextricably connected threats to the world’s oceans. Sci. Total Environ, 837, 155709. [https://doi.org/10.1016/j.scitotenv.2022.155709]
• Lin, T.Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., and Zitnick, C. L. (2014). Microsoft coco: Common objects in context. In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13 (pp. 740-755). Springer International Publishing. [https://doi.org/10.1007/978-3-319-10602-1_48]
• Phillips, O.M. Radar Returns from the Sea Surface–Bragg Scattering and Breaking Waves. J. Phys. Oceanogr, 1988, 18, 1065-1074. [https://doi.org/10.1175/1520-0485(1988)018<1065:RRFTSS>2.0.CO;2]
• Ronneberger, O.P., Fischer, and Brox, T., 2015. U-net:Convolutional networks for biomedical image segmentation, Proc. of International Conference on Medical Image Computing and Computer assisted Intervention, Munich, Germany, 234-241. [https://doi.org/10.1007/978-3-319-24574-4_28]
• Schmidt, C., Krauth, T., Wagner, S., 2017. Export of plastic debris by rivers into the sea. Environ. Sci. Technol., 51(21), 12246-12253. [https://doi.org/10.1021/acs.est.7b02368]
• Simpson, M.D., Marino, A., de Maagt, P., Gandini, E., Hunter, P., Spyrakos, E., Tyler, A., and Telfer, T., Monitoring of Plastic Islands in River Environment Using Sentinel-1 SAR Data. Remote Sens, 2022, 14, 4473. [https://doi.org/10.3390/rs14184473]
• Song, K.H., Jung, J.Y., Lee, S.H., and Park, S.H, 2021, A comparative study of deep learning-based network model and conventional method to assess beach debris standing-stock, Mar. Pollut. Bull, 168, 112466. [https://doi.org/10.1016/j.marpolbul.2021.112466]
• Song, K.H., Jung, J., Lee, S.H., Park, S.H., and Yang, Y.G., 2022, Assessment of Marine Debris on Hard-to-Reach Places Using Unmanned Aerial Vehicles and Segmentation Models Based on a Deep Learning Approach, Sustainability, 14(14), 8311. [https://doi.org/10.3390/su14148311]