ChatGPT와 다국어 BERT를 이용한 코로나-19 감염병 다국어 기사 자동 색인 및 분류

초록

본 논문에서는 코로나-19 감염병의 국제적인 전파 및 해결방안의 도출을 위하여 다국어 기사들을 미리 정의한 연관 사건들로 자동 분류하는 방법을 제안한다. 기존의 자동 분류 방법들은 대량의 학습자료 수집 및 전문가에 의한 색인이 요구되며, 이는 빠르게 변이되고 확산되는 코로나-19 및 신종 감염병의 대처에 적합하지 않다. 본 연구는 색인되지 않은 다국어 기사들은 유료 서비스인 ChatGPT와 Google 번역기를 이용해 연관 사건들로 분류 및 확장하여 대규모 학습자료를 구축하는 방법을 제안한다. 구축된 다국어 학습자료를 이용하여 감염병 기사에 연관된 사건들로 자동 분류하는 다국어 버트(BERT) 기반 모델을 제안하였으며, 이를 이용하여 온라인 기사 기반 감염병 감시 체계를 구축하고, 최소한으로 유료 서비스 활용을 통해 매우 높은 정확도의 감염병 관련 사건 발생의 조기 예측을 가능하게 한다. 실험 결과 5,898건의 학습자료를 제안된 자동 색인 및 확장 없이 다국어 버트에 적용하였을 때 평균 정확도와 F1 점수가 85.85%, 67.57%로 실용화하기 부족한 성능을 보였으나, 제안된 방법을 사용하여 47,183건의 학습자료로 확장하여 구축하였을 때 평균 정확도와 F1 점수가 98.21%와 95.71%로 향상되었다.

키워드