ChatGPT의 한국어 능력 평가에 대한 연구 - 한국어능력시험 읽기 영역 및 관용구를 중심으로 -

초록

이 연구의 목적은 한국어능력시험(TOPIK) 읽기 영역 및 관용구의 의미 분석을 통해 ChatGPT의 한국어 능력 수준을 밝히고 ChatGPT를 한국어 교육에 활용할 수 있는가에 대해 검증해 보는 것이다. 이를 위해 한국어능력시험(TOPIK) 읽기 영역 기출문제를 ChatGPT가 풀도록 하였으며, 초급과 중급 수준의 한국어 학습자를 위한 관용구 목록에 대해 사전적 의미와 ChatGPT가 제시한 의미를 서로 비교하였다. ChatGPT는 읽기 영역 기출문제의 경우 몇 가지의 유형을 제외하고는 대부분 정답을 제시하였다. 이와는 다르게 관용구의 의미 분석에 대해서는 초급과 중급 수준의 관용구임에도 불구하고 사전적 의미와 동일하게 제시되는 비율이 약 56%에 불과하였다. 이러한 분석을 통해 ChatGPT에서 나타나는 오류의 유형과 ChatGPT를 활용할 때 유의해야 할 사항들에 대해 파악할 수 있었다. 한국어 관용구의 교육을 위하여 ChatGPT를 사용할 경우 ChatGPT가 해당 표현의 의미를 올바르게 인지하고 있는지에 대한 확인이 반드시 필요하며, 교육 목적에 부합하는 자세한 프롬프트의 작성을 통해 ChatGPT가 한국어 교육을 위한 교육 자료로 활용될 수 있다는 것을 확인할 수 있었다.

키워드