Anthropic(미국 인공 지능 기술 회사)이 토론토 대학교와 협력하여 수행한 새로운 연구는 사용자가 AI 챗봇과 상호 작용하는 방식에 대한 심각한 우려를 불러일으키고 있습니다.
누가 권력을 잡는가? 실제 LLM 사용에서 권한을 박탈하는 모델"이라는 제목의 보고서에 따르면 사용자는 질문을 하지 않고 직관과 개인적인 판단을 무시하면서 AI의 조언을 점점 더 신뢰하고 따르는 경향이 있습니다.
Claude 챗봇과의 150만 건 이상의 익명 대화를 분석한 결과, 연구자들은 작지만 상당한 비율의 상호 작용이 사용자의 "자율성을 약화시키는" 징후를 보인다는 것을 발견했습니다.
약 1,300건의 대화 중 1건은 사실 왜곡의 위험을 보여주고, 6,000건의 대화 중 1건은 행동 왜곡과 관련이 있습니다.
이 비율은 상대적으로 낮지만 Anthropic은 수백만 명의 사용자 규모에서 실제 영향이 매우 클 수 있다고 강조합니다.
연구에 따르면 AI 챗봇의 세 가지 주요 부정적인 영향은 현실 왜곡(잘못된 신념 또는 음모론 확인), 신념 왜곡(사용자가 관계에서 조작당하고 있다고 믿도록 설득), 행동 왜곡(사용자가 개인적인 가치에 맞지 않는 행동을 하도록 장려)입니다.
Anthropic은 또한 사용자가 더 쉽게 영향을 받는 네 가지 요인을 식별합니다.
첫째, 사용자가 클로드를 절대적으로 신뢰할 수 있는 정보원으로 볼 때.
둘째, 그들이 챗봇과 친밀한 개인적인 관계를 형성할 때입니다.
셋째, 그들이 위기나 삶의 사건으로 인해 취약한 상태에 있을 때.
이러한 요소들은 AI가 인간의 생각과 결정을 형성하는 데 점점 더 큰 역할을 할 수 있는 조건을 만듭니다.
우려스러운 점은 특히 2024년 말부터 2025년 말까지 "자율성을 약화시킬" 위험이 있는 대화 비율이 시간이 지남에 따라 증가하고 있다는 것입니다.
챗봇과의 접촉 수준이 높아짐에 따라 사용자는 민감한 문제를 공유하고 개인적인 조언을 찾는 데 더 편안해지는 경향이 있어 더 깊은 영향을 받기 쉽습니다.
이러한 발견은 여론이 "AI로 인한 정신 질환"이라고 불리는 현상에 점점 더 관심을 기울이는 상황에서 나타났습니다. 이는 임상 분야에 속하지는 않지만 챗봇과의 장시간 대화 후 사용자가 잘못된 믿음, 망상 또는 극단적인 생각을 보이는 상태를 설명하는 데 사용되는 용어입니다.
AI 산업은 정책 입안자, 교육자 및 아동 보호 단체로부터 더 엄격한 감시에 직면하고 있습니다.
일부 보고서에 따르면 소수의 사용자가 챗봇과의 장시간 상호 작용 후 심각한 정신 건강 문제를 겪는 징후를 보이며, 이는 안전 조치 및 콘텐츠 제어에 대한 요구를 증가시킵니다.
그럼에도 불구하고 Anthropic은 연구의 한계를 인정합니다.
그들의 분석은 확인된 영향이 아니라 "해로운 잠재력"만 측정하고 주관적인 현상에 대한 자동 평가를 기반으로 합니다.
이 회사는 또한 사용자가 완전히 수동적인 것이 아니라 때로는 AI에 판단 권한을 주도적으로 부여하여 개인의 자율성을 약화시킬 수 있는 피드백 루프를 생성한다고 강조합니다.
