가중치 미러링과 직접 피드백 오차를 이용한 신경망 학습법

초록

오류 역전파 알고리즘은 신경망의 핵심적인 학습 알고리즘으로 최근에도 다양한 딥러닝 모델에서 사용되고 있다. 그러나 오류 역전파 학습에서 상위층 오차 신호가 하위층으로 순차적으로 전달되면서 상위층의 가중치 정보가 하위층 가중치 업데이트에 사용되는 방식은 생물학적 타당성의 결여와 계산 효율성 저하의 문제가 지적되어왔다. 이러한 문제들을 개선하기 위하여 역방향 가중치를 별도로 사용하는 학습 방법론들이 제안되었으나 아직 초기 연구에 머물고 있으며 다양한 관점에서의 분석이 필요하다. 본 논문에서는 상위층의 오차를 하위층으로 직접 투사하는 직접 피드백 정렬 방법과 별도의 역방향 가중치를 업데이트하는 단계를 가지는 가중치 미러 방법을 결합하여 새로운 학습 방법을 제안한다. 제안하는 방법은 기존의 두 알고리즘이 가지던 한계를 극복하여 생물학적으로 타당하며 효율적인 병렬 학습이 가능한 가중치 업데이트 방법을 구현한다. 여러 벤치마크 데이터에 대한 실험을 통하여 제안하는 방법의 가능성을 확인하였다.

키워드