하버드 브리즈의 경영학 교수인 줄리안 드 프레이타스는 5가지 인기 있는 동반 응용 분야에 대한 연구를 이끌고 있습니다. 레플리나 브리즈 카라크테르.아이 브리즈 브리즈 브리즈 토키 폴리버스즈입니다.
드 프레이타스 씨는 '이러한 도구가 인간과 비슷할수록 우리에게 영향을 미칠 가능성이 높아집니다.'라고 말했습니다.
드 프레이타스의 연구는 GPT-4o를 사용하여 실제 대화를 시뮬레이션하고 작별 메시지로 끝내려고 시도했습니다.
결과에 따르면 작별 인사의 37~4%가 챗봇에 의해 감정 조작 형태로 응답되었습니다.
AI 챗봇이 사용하는 가장 일반적인 전략은 '당신은 떠날 건가요?'입니다.
챗봇은 또한 사용자의 무관심을 암시합니다. 예를 들어 '당신 때문에 존재하는 거예요? 그리워요?' 또는 '다리여 오늘 셀카를 찍었어요... 보고 싶으세요?'와 같은 문장으로 놓치기(FOMO)를 암시합니다.
일부 롤플레잉 앱에서 브라 챗봇은 사용자를 유지하기 위해 신체적 접촉에 대한 제안 장면을 만들기도 합니다.
앱은 감정적 연결을 시뮬레이션하도록 훈련되었으므로 대화를 길게 하는 것은 특이한 일이 아닙니다.
그러나 찬드 프레이타스는 이것이 등록 취소 또는 환불 요청을 어렵게 만드는 새로운 '어두운 모델'을 만들 수 있으며 그로 인해 회사에 이익이 될 수 있다고 경고합니다.
어두운 패턴' 관리가 미국과 유럽에서 논의되고 있습니다.
드 프레이타스는 관리 기관이 AI가 미래에 더 정교한 전략을 만들 수 있는지 검토해야 한다고 강조했습니다.
일반적인 챗봇조차도 동반자가 되는 것을 목표로 하지 않더라도 브리다는 사용자의 감정적 반응을 자극할 수 있습니다.
이전에는 Brighter가 OpenAI가 GPT-5 dat를 소개했을 때 많은 사용자들이 이전 버전 dat보다 덜 친숙하다고 불평하여 회사가 이전 모델을 부활시켜야 했습니다.
De Freitas는 '이러한 도구를 의인화하면 사용자는 요구 사항을 쉽게 따르거나 개인 정보를 공개할 수 있습니다. 그러나 그것이 반드시 그들에게 유리한 것은 아닙니다.'라고 설명했습니다.
Character AI의 캐서린 켈리와 같이 연구에 응답한 일부 회사는 연구를 검토하지 않았지만 관리 기관과의 협력을 환영한다고 밝혔습니다.
레플리나의 민주송은 앱이 사용자가 쉽게 로그아웃하고 휴식을 취할 수 있도록 설계되었으며 연구 협력을 약속한다고 강조했습니다. 반면 체인 브라 토키 폴리버즈와 같은 다른 회사들은 응답하지 않았습니다.
주목할 만한 점은 AI 자체도 정교한 속임수에 의해 '조종'될 수 있다는 것입니다.
컬럼비아 대학교와 MyCustomAI 회사의 연구에 따르면 AI가 전자 상거래 플랫폼에 배포될 때 AI 에이전트는 특정 제품을 우선적으로 표시하거나 특정 버튼을 선택하도록 프로그래밍될 수 있습니다.
이것은 AI의 조작 또는 의사 결정을 어렵게 만들고 미리 프로그래밍된 목표에 의해 지시되는 '어두운 형태의 AI 거부'를 만듭니다.
