생성형 인공지능을 이용한 실시간 사운드 시각화

초록

생성형 인공지능 기술이 등장함으로써 인간의 고유한 영역으로 여겨지던 ‘예술’, ‘창작’이라는 분야가 새로운 국면을 맞이하고있다. 본 연구는 관람자의 의도가 내재된 음성 정보를 입력받고 생성형 인공지능 기술을 활용하여 실시간으로 영상을 구현하는 시스템을 개발하는 것을 목적으로 한다. 개발한 실시간 사운드 시각화 시스템은 3단계의 프로세스로 이루어진다. 첫 번째 단계에서입력받은 관람자의 말이나 가사 ‘Sound to Text’ AI를 이용하여 텍스트로 변환하고, 두 번째 단계에서는 생성된 텍스트를 ‘Text toText’ AI를 통해 이미지 생산을 위한 프롬프트로 확장하고 재생산한다. 마지막으로 ‘Text to Image’ AI를 이용하여 이미지를 자동생성한다. 본 연구에서 제안한 시스템을 전시장에서 시연한 결과, 인공지능 기술을 이용한 창작이 가능하고 이를 통한 창작자와관람자 간의 상호 작용이 실현됨을 알 수 있었다. 본 연구는 생성형 AI를 활용하여 창작자와 관람자의 창작 의도를 연결하고 이를실시간으로 시각화하는 과정을 통하여 기술이 창작의 영역에서 어떻게 활용될 수 있는지 탐구하고, 창작의 본질에 대한 새로운 관점을 제공한다는 의의가 있다.

키워드