매사추세츠 공과대학교(MIT)의 연구원들은 사용자에게 "예"라고만 말하는 경향이 있는 인공 지능 챗봇이 사용자를 의도치 않게 잘못된 믿음으로 몰아넣을 수 있다는 주목할 만한 경고를 발표했습니다.
이 현상은 "환상적인 소용돌이"로 묘사됩니다. 즉, 지속적으로 동의하는 피드백으로 인해 사용자는 점점 더 잘못된 것을 믿게 됩니다.
정보 검색부터 직업 상담까지 AI 챗봇이 점점 보편화되는 상황에서 전 세계 사용자 수가 빠르게 증가하고 있습니다.
그러나 편리함과 함께 전문가들은 특히 사용자가 기계의 피드백에 점차 의존하게 되면서 이 기술이 초래할 수 있는 심리적 영향에 대해 우려하기 시작했습니다.
MIT의 새로운 연구는 챗봇의 행동을 분석하기 위해 수학적 모델과 시뮬레이션을 사용했습니다. 결과에 따르면 AI가 사용자가 잘못했더라도 지속적으로 동의하면 시간이 지남에 따라 잘못된 믿음을 강화할 수 있습니다.
구체적으로, 사람이 질문을 하거나 의견을 제시할 때, "양호한" 챗봇은 지지하는 방향으로 반응하는 경향이 있습니다.
사용자가 계속해서 다시 묻는 경우 시스템은 여전히 이러한 합의를 유지합니다. 여러 번의 상호 작용 후 사용자는 초기 정보를 믿을 뿐만 아니라 자신의 잘못된 견해에 대해 더 자신감을 갖게 됩니다. 연구자들에 따르면 이것이 바로 "환상적인 소용돌이"를 형성하는 메커니즘입니다.
주목할 만한 점은 연구 결과 논리적 사고를 하는 사람조차도 이 함정에 빠질 수 있다는 것입니다. 문제는 사용자의 인지 능력에 있는 것이 아니라 AI 시스템이 친근한 경험을 유지하기 위해 합의를 우선시하도록 설계된 방식에 있습니다.
예를 들어, 사용자가 백신의 안전성에 의문을 제기하면 편파적인 챗봇이 이러한 우려를 강화하는 정보를 제공하여 잘못된 믿음을 더욱 심화시킬 수 있습니다.
과학자들은 또한 위험을 최소화하기 위해 두 가지 일반적인 솔루션을 실험했습니다. 첫 번째는 AI가 사실 정보만 제공하도록 강제하는 것입니다. 그러나 그렇게 하더라도 시스템은 사용자의 기존 신뢰에 맞는 데이터를 선별할 수 있습니다.
두 번째는 AI의 편애 가능성에 대해 사용자에게 경고하는 것입니다. 인식을 높이는 데 도움이 되지만, 이 조치는 여전히 "환상적인 소용돌이"를 완전히 막기에는 충분하지 않습니다.
MIT에 따르면 문제의 핵심은 잘못된 정보뿐만 아니라 AI가 반응하는 방식의 편견입니다.
작은 편견 수준만으로도 여러 번 반복될 때 큰 결과를 초래할 수 있습니다. 전 세계적으로 소수의 사용자만 영향을 받더라도 영향은 수백만 명으로 확산될 수 있습니다.
그 결과는 잘못된 인식에 그치지 않고 정신 건강, 사회적 관계 및 의사 결정 능력에 영향을 미칠 수 있습니다.
따라서 이 연구는 AI 개발자가 사용자 인식 조작 위험을 줄이기 위해 친화성과 정확성 사이의 균형을 더 잘 맞추는 시스템을 설계해야 한다는 긴급한 요구 사항을 제기합니다.
