코넬 대학교 및 캘리포니아 대학교 로스앤젤레스 캠퍼스와 협력한 과학자들의 새로운 연구는 과학 연구 논문에 인공 지능(AI)이 생성한 거의 150,000개의 가짜 인용문이 나타난 것을 발견하면서 학계에서 큰 우려를 불러일으키고 있습니다.
연구에 따르면 arXiv, bioRxiv, SSRN 및 PubMed Central을 포함한 4개의 주요 연구 데이터베이스에 저장된 250만 건 이상의 과학 논문에서 약 146,900개의 허위 참고 문헌이 발견되었습니다.
연구자들은 주요 원인이 많은 작가들이 ChatGPT나 Gemini와 같은 AI 챗봇을 사용하여 기사 작성을 지원하지만 자료 출처를 다시 확인하지 않기 때문이라고 생각합니다.
현재의 큰 언어 모델(LLM)은 매우 설득력 있는 텍스트를 생성할 수 있지만, "AI 환각"이라고 불리는 심각한 제한 사항도 존재합니다. 이는 시스템이 합리적으로 들리지만 완전히 사실이 아닌 정보를 생성하는 현상입니다.
학계 환경에서 이것은 특히 위험합니다. 왜냐하면 과학 논문은 항상 참고 자료의 정확성과 진정성을 기반으로 하기 때문입니다.
연구팀은 실제 존재하는 어떤 발표와도 대조할 수 없는 문서를 찾기 위해 과학 데이터베이스의 약 1억 1,100만 건의 인용구를 분석했습니다.
오류의 일부는 타이핑 오류나 정보 혼동에서 비롯되었지만 연구팀은 AI가 완전히 생성한 많은 인용문이 사실이 아님을 여전히 확인했습니다.
주목할 만한 점은 연구자들이 존재하지 않는 참고 문헌의 수가 AI 챗봇이 전 세계적으로 보편화된 2023년 이후 급증했다고 밝혔습니다.
이는 많은 과학자나 연구생들이 논문 작성 과정에서 AI 도구에 지나치게 의존하고 있음을 보여줍니다.
저자 그룹에 따르면 가짜 인용문은 몇 가지 개별 연구에만 나타나는 것이 아니라 매우 많은 다른 기사에 분산되어 있습니다.
이것은 문제가 학계에 확산되었음을 보여주는 신호로 간주됩니다.
위치타 주립대학교(미국)의 경영학 교수인 우샤 헤일리는 가짜 인용구의 증가는 현대 과학에 대한 심각한 경고라고 말했습니다.
헤일리 여사는 AI가 만든 참고 문헌이 학계의 신뢰 기반을 약화시키고 있으며, 이는 동등한 비판 과정과 여러 세대의 연구를 통한 지식 축적에 의존한다고 말했습니다.
헤일리 여사는 "어려운 점은 이러한 회의론이 이제 학계 내부에서 비롯된다는 것입니다."라고 말했습니다.
arXiv 또는 bioRxiv와 같은 과학 기록 보관소는 연구 업계에서 매우 중요한 역할을 합니다. 공식 저널에 게재되기 전에 많은 논문이 일반적으로 글로벌 과학 커뮤니티가 접근하고 반박할 수 있도록 이러한 플랫폼에 미리 게시됩니다.
AI가 학술 데이터를 "오염"시킬 위험에 직면하여 arXiv는 최근 허위 인용이나 엄격하게 검증되지 않은 AI 콘텐츠 징후가 포함된 연구 논문을 금지할 것이라고 발표했습니다.
arXiv의 과학 책임자인 스타인 시구르드손은 AI로 인해 생성된 저품질 또는 잘못된 연구로 인해 과학적 지식의 보고가 희석되고 있다고 경고했습니다.
스타인 시구르드손에 따르면 이러한 상황은 정확한 정보를 찾는 것을 더 어렵게 만들 뿐만 아니라 미래에 연구계를 잘못된 방향으로 이끌 위험이 있습니다.
