(Graphical abstract. Credit: Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101672)
ChatGPT의 등장으로 인해 심각한 도전을 받고 있는 곳 중에 하나가 바로 학술계입니다. 자연/응용 과학, 의학, 사회과학 등 여러 분야에서 논문을 사람이 쓰지 않고 인공지능이 쓰는 경우 어떻게 구분할 것인가라는 문제가 생긴 것입니다. 소설 등도 마찬가지이긴 하나 과학 논문은 특히 저자가 누구냐가 중요한 분야이기 때문에 문제가 될 수 있습니다.
이에 따라 사람이 쓰지 않고 인공지능 챗봇이 작성한 글을 분류하는 툴 역시 진화하고 있습니다. 캔자스 대학의 헤서 디자이어 교수 (Professor Heather Desaire)와 동료들은 인공지능이 작성한 글을 분류하는 새로운 툴을 공개했습니다.
이미 그런 목적의 툴인 ZeroGPT와 오픈 AI가 존재하기는 하지만 이들은 과학 논문처럼 전문적인 형태의 글을 짜집기한 AI의 판별 능력은 떨어지는 편입니다. 그래서 연구팀은 이에 특화된 툴을 개발했습니다.
성능을 검증하기 위해서 연구팀은 100편의 과학 저널을 ChatGPT에 학습시킨 후 논문 초록과 제목만으로 서론을 쓰게 만들었습니다. 그리고 이를 실제 사람이 쓴 화학 관련 저널과 비교해서 분류하는 작업을 진행했습니다.
그 결과 연구팀의 툴은 100%의 확률로 사람이 쓴 것과 AI가 쓴 것을 구분했습니다. 반면 ZeroGPT는 화학 관련 주제에서는 정확도가 37%로 낮아졌습니다. 오픈 AI는 이보다 더 낮아서 80% 정도 잘못 분류했습니다. 다른 주제에도 이 툴이 정확도를 담보할 수 있는지는 모르지만, 상당한 수준의 정확도를 자랑하는 셈입니다.
물론 인공지능 챗봇에 의한 논문 쓰기는 안되겠지만, 단순 번역이나 작문에 도움을 받는 경우에는 인정할 수 있을 것입니다. 영작에 들어가는 시간을 줄이기 위해 번역기를 사용하는 것은 오래전부터 사용됐고 최근에는 영문 교정에도 AI가 사용되고 있습니다. 이렇게 도움을 받는 경우가 아니라 완전히 AI가 짜집기를 통해 작성하는 것을 구분하는 것이 과제가 될 것 같습니다.
참고
https://techxplore.com/news/2023-11-tool-ai-generated-text-science-journals.html
Heather Desaire et al, Accurately detecting AI text when ChatGPT is told to write like a chemist, Cell Reports Physical Science (2023). DOI: 10.1016/j.xcrp.2023.101672
댓글
댓글 쓰기