CNN과 Attention을 통한 깊이 화면 내 예측 방법

초록

본 논문에서는 CNN과 Attention를 통한 깊이 영상의 화면 내 예측 방법을 제안한다. 제안하는 방법을 통해 예측하고자 하는 블록 내 화소마다 참조 화소를 선택할 수 있도록 한다. CNN을 통해 예측 블록의 상단과 좌단에서 각각 수직방향과 수평 방향의 공간적 특징을 검출한다. 두 공간적 특징은 예측블록과 참조 화소들에 대한 특징을 예측하기 위해 각각 특징차원과 공간적 차원으로 병합된다. Attention를 통해 예측 블록과 참조 화소간의 연관성을 입력된 공간적 특징을 통해 예측한다. Attention를 통해 예측된 연관성은 CNN 레이어를 통해 화소 도메인으로 복원되어 블록 내 화소값이 예측된다. 제안된 방법이 VVC의 인트라 모드에 추가되었을 때 화면 예측 오차가 평균 5.8% 감소하였다.

키워드