1. 서론

토지를 구성하는 물리적 지형지물은 역동적이고 급격하게 변화하며 이러한 변화를 모니터링하고 정확히 조사하는 것은 효율적인 국토의 관리와 계획을 위해 필수적이다. 원격탐사를 통한 반복적인 자료 수집은 지표의 공간적인 형상을 파악할 뿐 아니라 시간적인 변화에 대한 주목을 가능하게 한다. 다중시기에 걸쳐 촬영된 원격탐사 자료는 경관의 변화를 탐지하고 그 공간적인 분포를 분석하는 데에 사용될 수 있다(Green, 2011). 토지피복의 변화탐지 정보를 통해 도시 행정, 군사, 지속가능한 성장, 생물 보호 등 여러 주제에서 현황을 파악하고 과정을 이해하여 계획을 수립하는데 필요한 통찰력을 얻을 수 있다(Purkis and Klemas, 2011). 또한 지표의 변화를 관찰하고 관리하는 것은 산림보호, 사막화방지, 생물다양성 보전, 수자원보호 등 지속가능 발전(sustainable development)을 위한 행동강령인 UN 아젠다 21의 주요한 주제이다(National Research Council, 2002).

과거에는 토지피복의 변화탐지에 주로 육안판독 탐지 방법이 사용되어왔다. 연구자는 관심지역의 토지피복 변화를 관찰하기 위하여 해당 위치, 시점의 영상을 구득하여 변화를 탐지할 수 있다. 하지만 육안판독 방법으로는 정량적인 변화탐지 정보를 얻을 수 없을뿐더러, 특정한 위치와 시간을 상정하지 않고 역으로 토지피복이 변화한 ‘지역’과 ‘시간’을 탐지하는 작업에는 어려움이 있다. 즉 변화 자체에 주목하여 토지피복의 변화를 모니터링하고 관리하기 위해서는 변화탐지의 자동화가 필요하다. 기존의 변화탐지 자동화방법으로는 화소기반(pixel based), 객체기반(object based)의 탐지 방법이 사용되어왔다(Im et al., 2009; Gärtner et al., 2014). 하지만 기존의 탐지방법은 입력 변수의 분포(distribution) 형태, 독립성(independency), 관계의 선형성(linearity) 등 엄격한 통계적 가정을 선행하는 모수 모형(parametric model)이 사용되어 효과적인 탐지 결과를 얻는 것에는 한계가 있었다.

이 연구는 토지피복 변화탐지라는 원격탐사 주제에 인공지능 기술인 기계학습(machine learning) 방법인 딥러닝을 접목한다. 모수 모형은 결과를 예측하기 위한 매개변수의 인과 관계를 정확히 분석하여 처리하지 못하면 좋지 않은 결과를 가져올 수 있다(Lunetta and Elvidge, 1998). 이 연구에서 토지피복 변화탐지에 적용하고자 하는 U-Net 완전합성곱 신경망(fully convolutional network)은 비모수 모형(non-parametric model)¹⁾으로 딥러닝 프로토타입 모형 중 하나이다. U-Net은 다양한 인과 관계를 기하학적･비선형(non-linear)적으로 학습해 탐지 결과를 보여주며 이는 기존 방법의 대안이 될 수 있다. 본 연구는 조원호 등(2019)에서 토지피복 분류 실험을 통해 보인 합성곱 신경망(convolutional neural network)이 가지는 이론적 강점과 연구의 결과를 기반으로 모형을 설계하고 실험을 통해 그 효용성을 평가한다.

2. 연구대상지 및 데이터

본 연구는 U-Net 완전합성곱 신경망 기반의 토지피복 변화탐지 방법의 적합성을 실증적으로 분석하기 위하여, 실제 사례에 적용해 변화탐지를 실험한다. 토지피복의 변화는 기후, 재해, 토지이용의 목적 변화 등 다양한 요인에 기인하며, 이는 토지를 구성하는 인공 구조물 또는 자연환경의 변화를 일으킨다(Lambin et al., 2003). 이 연구에서는 U-Net 기반의 변화탐지를 토지피복 변화의 종류에 따라 두 가지 사례의 실험으로 보이고자 한다. 즉 토지에 발생한 인공 구조물의 변화 그리고 자연환경적 변화의 사례를 통해 모형의 탐지 효용성을 확인한다.

1) 연구 대상지

첫 번째 변화탐지 사례는 도시와 교외지역의 개발과 발전에 의하여 토지의 인공 구조물이 변화한 사례를 탐지하는 것이다. 사례지역으로 도시 개발과 주거지 생성에 따라 국토 변화를 맞이한 세종특별자치시를 선정했다. 세종시는 수도권의 과도한 인구와 인프라 집중을 해소하고 다극 중심의 국토로 전환함으로서 국토의 균형발전을 도모하고자 출범했다(조명래 등, 2010). 국가의 주요 행정기관을 이전하며 출범한 세종시는 도시를 새롭게 건설하여 인구이동을 초래했다. 이러한 인구이동 그리고 인구이동의 기대는 새로운 주거공간을 만들고 국토의 변화를 가져왔다. 사례지역의 위치는 세종시의 고운동, 아름동, 다정동, 반곡동, 소담동, 대평동 보람동 일대이다.

그림 1.

연구 대상지

두 번째 변화탐지의 사례는 토지에 발생한 자연환경적 변화를 탐지하는 것이다. 사례지역으로 2019년과 2020년에 걸쳐 대규모 산불피해를 입은 고성･속초 산불피해 지역을 선정했다. 토지피복의 변화는 기후변화에 영향을 미치는 주요한 변수이며, 지속가능발전과 생물종 보호 등을 위해 국토의 자연환경적 변화를 탐지하고 모니터링할 필요가 있다(Foley et al., 2005). 최근에는 기후변화에 따른 습도 감소, 강수일수 감소 등의 원인으로 세계적으로 대형 산불이 자주 발생하고 있으며, 이를 예방하고 모니터링하는 것이 국제적 이슈로 부각되고 있다(산림청, 2020). 고성･속초 지역에서 발생한 산불은 산림청의 조사에 따르면 총 1,757ha의 산림 소실을 가져와 이 일대에 큰 규모의 산림환경 변화를 초래했다. 사례 지역의 위치는 강원도 고성군 토성면 일대 그리고 속초시 금호동, 교동, 영랑동 일대이다.

2) 위성영상 자료와 전처리

사례 연구를 위해 사용한 위성영상 자료는 동일한 순서시야각(instantaneous field of view)을 가지는 Sentinel-2 위성영상의 자료이다. Sentinel-2는 유럽연합 코페르니쿠스 프로그램(Copernicus Programme)의 지구관측 인공위성으로 Sentinel-2A와 Sentinel-2B로 구성되어있다. 두 위성은 동시에 지구관측 임무를 수행하며 컬러 공간해상도 10 m, 시간해상도 5일의 영상을 제공하고 있다. 토지피복의 변화탐지에는 시간해상도가 높고 접근성이 좋은 위성영상을 사용해야 하며, Sentinel-2 위성영상은 이러한 측면에서 기본영상으로 적합하다. Sentinel-2 위성영상의 높은 시간해상도는 자료의 반복적 수집을 통해 많은 양의 영상 데이터를 축적하며, 이는 빅데이터를 요구하는 딥러닝의 요건과도 부합한다.

원격탐사 자료를 이용한 토지피복 변화탐지는 동일한 순간시야각내에서 분광반응도 차이에 따른 토지의 생물･물리학적인 구성 변화를 탐지하는 것이다(Jensen, 2016). 토지피복 변화탐지는 토지를 대상으로 한 변화를 탐지하는 것으로, 모형이 기상 상황에 따른 변화를 탐지하는 것을 방지해야한다. 이에 모형에 투입하는 위성영상 자료는 구름에 영향을 받지 않고 낮은 상대습도를 가지는 자료이다. 또한 연중 비슷한 시기의 영상을 사용하는 것이 영상에서 생물계절학적 주기의 영향을 최소화한다. 사용한 영상은 0%의 운량을 가지는 영상이며, 최대한 비슷한 연중 시기의 영상을 사용했다. 동일한 순서시야각 내에서도 위성영상은 기하오차(geometric error)를 가져 토지피복의 위치가 촬영된 영상마다 조금씩 차이를 보인다. 이에 영상에서 두드러지는 물체와 형상을 기준으로 지상기준점(geometric central point)을 잡아 영상에 기하보정을 적용했다. 첫 번째 사례인 세종시의 도시･교외지역 인공 구조물 변화탐지에는 2016년 5월 18일, 2017년 10월 30일의 영상이 사용되었다. 두 번째 사례인 고성･속초 산불지역의 자연환경적 변화의 탐지에는 2018년 6월 24일, 2020년 9월 19일의 영상이 사용되었다. 그림 2과 그림 3은 각 사례의 시기별 위성영상이며 이 위성영상들을 사용해 변화탐지 실험을 진행한다.

그림 2.

사례지역 1: 세종특별자치시의 토지피복 변화탐지 투입영상

그림 3.

사례지역 2: 고성･속초 산불 피해지역의 토지피복 변화탐지 투입영상

3. U-Net 기반의 토지피복 변화탐지

1) U-Net 완전합성곱 신경망 모형

완전합성곱 신경망은 합성곱 신경망 기반의 이미지 탐지 및 분할 방법으로 이미지에서 탐지작업을 가능하게 하는 동시에 경계(edge) 정보를 추출하는 방법이다. Long et al.(2015)은 완전합성곱 신경망 모형을 제시하여 이미지의 탐지(detection)와 의미적 분할(semantic segmentation) 분야에 새로운 패러다임을 선보였다. 기존의 이미지 탐지 방법의 경우 일정 크기의 영역을 상정해 이동하면서 적용하는 이동창(moving window)방식을 사용했다. 이동창 방식은 큰 영역의 탐지가 좁은 영역에 적용되어 부정확한 결과를 가져오는 문제점이 있으며 완전합성곱 신경망은 기존 탐지 방법의 대안이 되었다. 완전합성곱 신경망은 합성곱 신경망이 각 분류 항목을 예측하는 것과 달리 각 분류 항목이 아닌 이미지의 픽셀 자체를 예측하는 구조이다(Long et al., 2015). 완전합성곱 신경망의 기본 구조는 합성곱 신경망의 완전연결 층을 픽셀 별(pixel wise) 예측으로 대체하는 것이다. 완전합성곱 신경망의 픽셀 별 예측은 1×1 영역의 합성곱 연산을 통해 이루어지며 이는 특징들을 업샘플링(Upsampling)하여 원래 이미지와 같은 크기의 이미지로 복원해 탐지작업을 수행하는 것이다(Noh et al., 2015). 이러한 업샘플링 과정은 역합성곱(upconvolution)²⁾ 연산을 통해 이루어진다.

본 연구는 U-Net 완전합성곱 신경망 모형을 기반으로 토지피복 변화탐지 모형을 설계한다. Long et al.(2015)은 이미지에서 탐지를 위한 완전합성곱 신경망 모형을 제시하였으며, 이후 다양한 형태의 모형들이 등장했다(Ronneberger et al., 2015; Zhao et al., 2017; Zhou et al., 2018). 그 중 Ronneberger et al.(2015)의 연구에서 U-Net 완전합성곱 신경망 모형을 개발하였으며, 이는 이미지 탐지 분야에 큰 발전을 가져왔다. U-Net은 생의학 분야에서 세포를 탐지하고 그 경계를 추출하려는 목적으로 개발되었지만 의학영상에서의 종양 탐지, 이미지에서의 사람 탐지, 자율주행 자동차의 차선 탐지 등 많은 분야에서 이미지 분석의 패러다임 전환을 가져 왔다(Li et al., 2018; Zhang et al., 2019; Tang et al., 2021). 또한 U-Net의 아이디어는 이후 개발된 완전합성곱 신경망 모형에도 동일하게 적용되었다.

다양한 완전합성곱 신경망 모형이 현재 개발되고 있지만 U-Net의 구조는 다른 완전합성곱 신경망에 비해 단순하다는 것이 토지피복 변화탐지 작업에 있어 이점을 가진다. 변화탐지를 위한 위성영상 자료의 경우 일반적인 완전합성곱 신경망 모형이 분석 목표로 하는 이미지에 비하여 매우 큰 용량의 자료이다. 완전 합성곱 신경망 기반의 변화탐지 모형에 필요한 컴퓨터 자원은 투입 이미지의 크기에 따라 기하급수적으로 증가한다. 이에 단순한 구조의 완전합성곱 신경망 모형을 사용하는 것이 변화탐지에 용이하며 U-Net은 이러한 특징에 부합한다.

U-Net은 학습을 통해 특징을 추출하는 수축경로(contracting path)와 탐지한 이미지를 산출하기 위한 확장경로(expanding path)가 결합된 ‘U’자형 구조를 가지고 있어 U-Net으로 명명되었다. 그림 4는 U-Net의 구조를 도식화해 보여주며, 네트워크의 좌측은 특징추출을 위한 다운샘플링(down sampling) 그리고 우측은 탐지된 이미지 산출을 위한 업샘플링을 담당한다. U-Net의 수축경로에서는 각 수축 단계마다 합성곱(convolution) 연산을 반복하고 최대풀링(max pooling) 연산을 적용한다. 수축경로의 다운샘플링 작업을 통해 이미지 행렬의 크기는 점점 줄어들며 채널(channel)의 수는 2배씩 늘어나게 된다. 이 과정은 일반적인 합성곱 신경망과 같은 구조이다. 이후 U-Net은 탐지된 이미지를 출력하기 위해 확장경로를 구성한다. 확장경로의 업샘플링 작업을 통해 이미지 행렬의 크기를 투입 이미지의 크기로 늘려준다. 이는 각 단계마다 역합성곱 연산을 수행하여 이미지 행렬의 크기를 점차 늘리고 행렬의 채널은 점차 줄여가는 과정이다. 그림 4에서 회색 화살표는 Concaternating 연산을 의미한다. 이는 확장 경로에서 추가되는 연산으로 이미지에서의 위치정보 소실을 방지하기 위하여 수축경로에서 연산했던 행렬의 값을 더해주는 것이다. 수축경로와 확장경로의 입출력 행렬 크기는 서로 대응되는 구조로 수축경로의 출력을 확장경로의 입력에 더해줌으로서 추출된 특징 값들의 위치정보를 얻을 수 있다.

그림 4.

U-Net의 구조(Ronneberger et al., 2015)

2) U-Net 기반의 변화탐지 모형 설계

이 연구는 U-Net 모형을 토지피복 변화탐지 목적에 맞추어 수정하여 설계한다³⁾. U-Net 모형은 특징추출을 위한 수축경로와 이미지의 탐지와 분할을 위한 확장경로로 구성되는데, 본 연구에서 사용하는 모형은 토지피복의 변화탐지를 위해 수축경로와 확장경로의 구조와 연산방법을 수정하여 사용한다. 시간차에 따른 변화를 탐지하기 위해 두 개의 위성영상 이미지를 모형에 투입하며, U-Net은 두 이미지 사이의 변화를 탐지하여 변화된 영역을 분할하도록 설계한다. 이 연구에서 설계한 토지피복 변화탐지 모형은 다운샘플링 단계를 조원호 등(2019)에서 구축한 토지피복 분류 모형을 기반으로 한다. 다운샘플링을 담당하는 수축경로 구조는 앞선 연구의 토지피복 분류 모형에 맞추어 수정되며, 이는 모형의 구조가 같을 뿐 아니라 ImageNet 데이터와 함께 학습된 파라미터를 불러와 사용하는 전이학습(transfer learning)⁴⁾이다. 즉 본 연구에서 구축한 토지피복 분류 모형의 학습된 파라미터가 다운샘플링 단계의 파라미터 초기화에 사용된다. 이 파라미터는 토지피복에 대한 학습이 선행되어 효과적인 변화탐지를 기대할 수 있다. 확장경로의 구조는 수축경로의 연산을 통해 산출된 행렬의 크기와 채널 수에 대응되도록 설계했다.

그림 5은 본 연구에서 설계한 변화탐지 모형의 탐지 과정을 도해한 것이며, 표 1은 모형의 수축경로와 확장경로에서의 신경망 구성을 보여준다. 설계한 모형은 시간차가 있는 두 영상 사이에서 변화를 탐지하고 변화/미변화를 이진분할 한다. 모형의 필터는 이전 연구의 토지피복 분류 모형과 동일하게 3×3 크기의 필터를 사용해 합성곱 연산을 한다. 그리고 합성곱 연산을 수행하기 전에 패딩(padding)⁵⁾을 추가해 변화탐지 결과 이미지 크기를 유지시켰다. 은닉층의 풀링 방법은 최대 풀링, 활성화함수(activation function)는 ReLU(rectified linear unit) 그리고 손실함수는 categorical cross entropy로 동일한 방법을 사용했다. 확률적 경사하강(stochastic gradient descent) 구현을 위한 옵티마이저(optimizer) 또한 RMSProp로 동일하다⁶⁾. 결과 이미지 출력을 위한 마지막 층에는 1×1 합성곱 연산이 이루어지며 여기서는 활성화함수로 sigmoid 함수를 사용했다. 모형은 변화를 연속적인 확률값으로 예측하기에 출력 층에는 보다 유연한 구조를 가지고 있는 활성화함수인 sigmoid를 사용했다. Sigmoid 함수의 수식은 다음과 같다.

Sigmoid 함수는 입력값인 x의 값이 정확히 0이 되는 지점에 0.5의 값을 가지며, 양(陽)의 무한대 값을 취하면 1을, 음(吟)의 무한대 값을 취하면 0의 값을 가진다.

그림 5.

완전합성곱 신경망 모형의 변화탐지 과정 모식도

Sigmoid 함수를 통해 활성화된 값은 확률값 비교를 통한 예측을 위해 Softmax 함수의 입력값이 된다. Softmax 함수의 수식은 다음과 같다.

Softmax 함수는 Sigmoid를 통해 활성화된 값을 통해 픽셀별로 예측된 확률값을 도출한다. Sk(X)는 k 항목에 활성화된 값이며, 이를 통해 산출된 Softmax 값은 1x1 합성곱의 k 체널 값이 된다.

3) 변화탐지 결과

변화탐지 모형의 효용성을 확증하기 위해서는 변화탐지 결과의 정확성을 파악할 필요가 있다. 하지만 변화탐지를 통해 만든 지도의 정확성을 평가하는 일반적인 방법은 없다(Warner et al., 2009). 모든 영상에 대하여 레이블링(labeling)된 정답 값을 가져올 수 없으며, 이에 특정 변화탐지 모형에 대한 결과 성능 평가는 산출된 변화탐지 결과 지도와 투입 위성영상의 비교를 통한 방법을 취할 수밖에 없다. 연구자는 어떠한 관심지역에 대하여 변화탐지 모형을 통해 탐지된 지역을 현장조사를 통해 확인할 수 있으며, 이때 변화탐지 모형은 문제 해결을 위한 모니터링 자료로 활용된다. 본 연구에서는 투입이미지와 변화/미변화를 표현한 결과물의 비교를 통해 변화탐지 결과를 평가한다.

그림 6은 세종시의 변화탐지 결과이다. 결과를 살펴보면 새로운 주거공간이 발생하는 과정에서의 토지의 변화를 관측할 수 있다. 미개발 토지가 개발된 주거지로 변화한 모습을 효과적으로 탐지하고 있으며, Jensen(1981)의 주거지 개발 10단계⁷⁾에서의 단계변화 중 벌채 요소, 택지조성 요소, 건물 요소에 따른 변화가 관측되고 있다. 세종시의 사례에서 주거지 개발 단계변화 중에 산지･초지의 벌채 그리고 건물요소 생성이 탐지되었다. 하지만 벌채, 택지조성 그리고 건축은 각각의 과정이 완료되어 탐지되는 경우도 있지만, 해당 단계의 과정 중 변화 또한 탐지가 되었다. 이러한 토지의 변화과정을 ‘변화’로 탐지한 위치에 대하여는, 탐지 영역이 연속적이지 않고 불규칙한 패턴을 보여준다. 또한 시가화･건조지역에 대하여 영상에서 토지 유형의 변화가 보이지 않음에도 불구하고 변화로 오탐지한 위치들이 확인된다. 시가화･건조지역의 경우 그 구성 물질이 시간에 따라 역동적으로 변화하기에 피복의 유형이 변하지 않았음에도 불구하고 모형이 이를 오탐지하고 있다.

그림 6.

세종시의 토지피복 변화탐지 결과

그림 7은 토지피복의 자연환경적 변화 사례인 고성･속초 산불 피해 지역 변화탐지 결과이다. 변화탐지 결과 산림소실로 인한 토지피복의 변화를 탐지하였다. 하지만 산림이 전소하지 않고 부분적으로 감소한 위치에 대하여는 정확한 탐지가 어려웠다. 이는 산불피해의 경우 화재가 확산함에 따른 피해정도가 위치에 따라 일정하지 않아 오류가 발생하는 것으로 보인다. 또한 변화탐지 결과에서 농업지역으로 구성된 토지에서 오탐지가 보였다. 특히 벼농사를 위해 조성된 농업지역에서 오탐지가 관찰되었는데, 이는 생물계절학적 주기에 따른 분광패턴의 변화를 탐지한 것으로 보인다. 생물계절학적 주기에 따른 변동성을 처리하기 위해서는 모형이 이러한 변화를 토지피복의 변화로 인식하는 것을 방지해야한다. 이를 위해 해당 항목에 대한 다중시기의 학습 데이터를 확보해 다운샘플링에 사용된 파라미터를 조정할 할 필요가 있어 보인다.

그림 7.

고성･속초 산불 피해지역의 변화탐지 결과

4. 결론

변화탐지 결과를 종합하면, 본 연구에서 설계한 변화탐지 모형은 사례 지역에 대해 전체적으로 효과적인 탐지 결과를 보여준다. 변화탐지 모형이 사례지역에 대하여 효과적인 탐지를 보여줄 수 있지만 모든 유형의 변화에 대하여 효과를 본다고 단정할 수는 없다. 그럼에도 불구하고 이 연구에서 제안한 변화탐지 모형의 이론적 강점과 실험의 결과는 기존의 방법들의 한계를 보완한다는 점에서 의미가 있다. 본 연구의 의의는 두 가지 측면에서 설명할 수 있다. 첫 번째는 U-Net 완전합성곱 신경망 모형을 통해 비선형 관계의 학습을 통한 탐지를 시도했다는 점이다. U-Net 기반의 방법은 토지피복 분류작업과 동일하게 이미지 분석을 위한 비모수 딥러닝 모형으로 모수 모형이 가지고 있는 비현실적인 통계적 가정을 상정할 필요 없이 위성영상이 가지는 높은 변동성을 처리한 탐지 결과를 보여준다. 이는 토지피복 변화탐지 모델링에서 위성영상 자료에 내재된 고유의 의존성이 반영된 결과이다. 두 번째 측면은 이미지에서 탐지작업을 하는 동시에 경계정보를 추출하여 효율적이면서도 보다 구체적인 변화탐지 결과를 보여준다는 점이다. 이동창 방법의 경우 연속적인 변화탐지 경계정보를 보여주는데 어려움이 있으며, 본 연구의 변화탐지 방법은 탐지와 경계정보 추출을 동시화 하여 이러한 시각적 표현에 대한 대안이 될 수 있다.

하지만 본 연구에서 설계한 변화탐지 모형은 국지적으로 나타나는 변화에 대하여는 취약점을 보이고 있다. 이에 본 연구에서 제안한 U-Net 기반의 변화탐지 모형은 국지적으로 나타나는 변동성을 처리할 수 있는 알고리즘을 도입한 후속 연구가 요청된다. 예컨대 비매개변수 방법으로 모수를 분포로 다루는 베이지안 신경망(bayesian neural network)의 개념을 완전합성곱 신경망에 도입하는 방법을 고려할 수 있을 것이다.