분할 연산 기반 순환 신경망의 추론 성능 분석

초록

최근 딥러닝 기술이 발전함에 따라 엣지 디바이스를 활용한 인공지능 애플리케이션에 대한관심이 커지고 있으며 관련 기술의 성능을 높이기 위한 연구가 활발히 진행되고 있다. 이 중분할 연산(Split Computing)은 인공지능 모델의 추론 시간을 줄이기 위한 기술 중 하나로주목 받고 있다. 본 논문에서는 순환 신경망(Recurrent Neural Networks, RNN)에 분할 연산 방식을 적용하여 통신 환경에 따른 추론 성능을 분석하였다. 기존의 연구와 달리 순환 신경망이 가진 특성에 따라 신경망 레이어(layer)와 데이터 시퀀스(sequence)관점의 두 가지분할 기법을 제안하였으며 실험 결과를 바탕으로 각각의 통신 환경에서의 최적의 분할 방법을 제시하였다. 신경망 레이어 관점에서 분할하는 경우 통신 환경이 좋을수록 엣지 디바이스 보다 서버에 더 많은 레이어가 활당되도록 순환 신경망을 분할하는 방법이 최적임을 보일 것이다. 반면 흥미롭게도 데이터 시퀀스 관점에서 분할하는 경우 통신 환경에 따라 최적분할 연산은 클라우드 컴퓨팅(Cloud Computing) 혹은 엣지 컴퓨팅(Edge Computing)이 됨을 보일 것이다.

키워드