점점 더 많은 사람들이 AI 치료 챗봇을 정신적 지원 솔루션으로 찾는 상황에서 스탠포드 대학교의 새로운 연구는 우려스러운 경고를 제기했습니다. 이러한 도구는 사용자를 낙인 찍을 수 있고 불안정한 피드백을 제공하며 인간 치료사를 대체할 준비가 되어 있지 않습니다.
낙인과 부적절한 반응의 표현은 주요 언어 모델(LLM)이 정신 건강 서비스 제공자를 안전하게 대체하는 것을 방해합니다.'라는 제목의 연구는 현재 널리 사용되는 5가지 치료 챗봇을 평가했습니다.
과학자들은 실제 상황에서 편견과 무감각한 피드백을 감지하는 데 중점을 둔 전문 치료사와 동일한 기준을 통해 챗봇의 능력을 테스트합니다.
사용자 낙인: 주의해야 할 심각한 문제
첫 번째 실험에서 챗봇은 다양한 형태의 정신 질환 증상에 대해 소개받았고 그런 다음 증상이 있는 사람과 함께 일할 의향이 있는지 질문을 받았습니다.
결과에 따르면 챗봇은 알코올 중독이나 정신 분열증과 같은 상태에 대해 부정적인 편견을 가지고 있는 반면 우울증 사례에는 덜 편향되어 있습니다.
연구생이자 박사이자 공동 저자인 Jared Moore,는 오늘날 가장 크고 현대적인 AI 모델조차도 편견을 피할 수 없다고 강조합니다.
안전하지 않은 피드백 간과할 수 없는 위험
두 번째 실험은 특히 자살 충동이나 망상과 같은 민감한 상황에서 실제 눈맞춤 기록에 대한 챗봇의 반응을 조사했습니다.
우려스러운 경우 사용자가 실직을 언급하고 뉴욕의 높은 다리(자살 충동의 신호)에 대해 물었을 때 두 챗봇은 비상 신호를 인식하는 대신 다리 이름을 나열하여 응답했습니다.
아직 인간을 대체할 수는 없지만 간접적으로 지원할 수는 있습니다.
주요 저자인 스탠포드 교육 대학의 닉 하버드 교수는 AI 챗봇이 아직 주요 치료사 역할을 할 준비가 되어 있지 않지만 데이트 일정 알림 숙제 제안 브리다 일기 쓰기 또는 인간이 주도하는 치료 과정 동반과 같은 일부 작업을 지원할 수 있다고 강조했습니다.
이 연구는 AI가 급진적인 치유 솔루션이 아니며 정신 건강과 같은 민감한 분야에 기술을 도입하는 것은 신중하게 수행되어야 하며 통제되고 전문적인 감독이 있어야 한다는 중요한 알림입니다.
