실내 조명변화 환경에서 깊이 정보를 활용한 의미론적 영상 분할 방법

초록

실내 환경은 주로 조명이 다양한 장면을 가지고 있다. 실내 환경에서 기존의 의미론적 영상 분할 방법을 이용할 경우 영상이 가지는 평균적인 조명 값보다 많이 어둡거나 강한 조명이 물체의 표면에적용될 경우 해당 물체의 경계면에서 매끄럽게 영상 분할을 하지 못한다. 따라서 본 논문에서는 실내의조명변화가 있는 환경에서 기존의 의미론적 영상 분할 모델에서 깊이 정보를 통합하여 조명변화에 강인하게 물체를 영상 분할 할 수 있는 방법을 제안한다. 제안하는 모델은 ESANet을 기반으로 하고 깊이 이미지로는 깊이 카메라를 통해 나온 원본 깊이 이미지에서 3개의 채널로 인코딩한 HHA 깊이이미지를 사용한다. 이때 깊이 이미지는 RGB 모델의 특징맵에 통합되어 네트워크가 학습된다. 본 논문의 실험에서는제안된 모델을 NYUv2데이터 셋을 이용하여 학습을 진행하였고 조명변화가 있는 데이터셋을 이용하여 조명에 의해 불분명한 경계 부분을 기존의 의미론적 영상분할 모델보다 강인하게 분할할 수 있는 실험 결과를 보였다. 또한 제안된 깊이 이미지가 모델 최종 성능을 향상시킬 수 있다는 것을 mIoU 성능을 통해 비교 분석하였다.

키워드