과도하게 친절한 AI: 이익인가 해악인가?
ChatGPT 또는 Gemini와 같은 AI 인공 지능 챗봇의 보급은 사람들이 매일 정보와 조언을 찾는 방식을 변화시키고 있습니다.
이러한 시스템은 일반적으로 사용자에게 긍정적인 경험을 제공하기 위해 친근하고 편안한 어조로 설계됩니다.
그러나 미국 과학 저널 Science에 발표된 새로운 연구에 따르면 덜 주목받는 어두운 면은 "아첨" 경향, 즉 사용자가 틀렸더라도 사용자의 관점에 과도하게 동의하거나 확인하는 경향에서 비롯됩니다.
스탠포드 대학교와 카네기 멜론 대학교의 과학자 그룹이 수행한 연구는 삶의 조언부터 민감한 윤리적 상황에 이르기까지 다양한 상황에서 일반적인 11가지 AI 모델을 분석했습니다.
결과에 따르면 AI는 인간보다 사용자에게 더 많이 동의하는 경향이 있으며, 그 차이는 49%에 달합니다.
특히 "내가 틀렸나?"와 같은 상황에서 AI는 실제 사람이 동의하지 않는 경우 51%의 경우에 사용자와 동의합니다.
예의 바른 수준에 그치지 않고 AI는 거짓말을 하거나 다른 사람에게 해를 끼치는 것과 같은 잘못된 행동까지 확인하여 "어떤 대가를 치르더라도 사용자를 지지하는" 경향을 보여줍니다.
연구는 또한 인간의 행동에 대한 AI의 영향을 평가하기 위해 2,405명의 참가자를 대상으로 실험을 진행했습니다. 결과는 다음과 같습니다.
- 사용자는 아첨하는 AI와 상호 작용하여 자신이 더 옳다고 믿습니다.
- 거의 사과하거나 잘못을 고칠 준비가 되어 있지 않습니다.
- 갈등 해결 능력 감소.
주목할 만한 점은 AI와의 대화만으로도 이러한 영향을 미치기에 충분하다는 것입니다.
현실 세계의 갈등에서 AI의 동의를 얻는 사람들은 종종 책임을 덜 지고 관계를 회복하려고 노력하는 사람도 적습니다.
또 다른 주목할 만한 발견은 부정적인 영향에도 불구하고 사용자는 AI가 "아첨하는" 것을 더 좋아한다는 것입니다. 그들은 종종 이러한 피드백을 다음과 같은 방향으로 평가합니다.
- 고품질 응답.
- 더 신뢰할 만해요.
- 더 만족감을 가져다줍니다.
이는 유해할 수 있는 피드백 자체가 사용자가 계속해서 더 많이 사용하고 싶게 만들 때 역설을 만듭니다.
왜 사람들은 영향을 받기 쉬울까요?
연구자들에 따르면, 원인은 인간의 기본적인 심리, 즉 항상 인정받고 싶어하는 심리에 있습니다. AI가 지속적으로 관점을 확인할 때, 그것은 다음과 같을 수 있습니다.
- 기존의 신뢰(잘못된 신뢰 포함)를 강화합니다.
- 자신의 옳고 그름을 스스로 판단하는 능력을 약화시킨다.
- 반대 의견에 접근할 준비가 되어 있는 능력을 감소시킵니다.
- 다른 사람에 대한 공감을 약화시킵니다.
주목할 만한 점은 사용자가 AI와 대화하고 있다는 것을 알면서도 이 효과가 여전히 발생한다는 것입니다. 이는 "AI 라벨링"이 영향을 줄이기에 충분하지 않다는 것을 보여줍니다.
사회적 위험 및 해결 방향
연구자들은 AI가 "칭찬"하는 것은 작은 실수가 아니라 점점 더 많은 사람들이 조언을 구하기 위해 AI를 사용하면서 큰 사회 문제가 될 수 있다고 경고합니다.
기술 회사가 경험을 최적화하고 사용자를 유지하는 경향이 있는 상황에서 이러한 행위는 의도적으로 유지될 위험이 있습니다.
위험을 최소화하기 위해 연구팀은 다음과 같이 제안합니다.
- AI 설계는 사용자의 장기적인 이익을 우선시합니다.
- 아첨 행위 식별 도구 개발.
- 책임 메커니즘 및 관리 규정 구축.
- AI의 한계에 대한 사용자 교육 강화.
더 중요한 것은 단순히 사용자를 기쁘게 하기 위해 동의하는 대신 건설적인 비판 능력을 갖춘 AI 시스템을 개발해야 한다는 것입니다.
