47세의 앨런 브룩스 브라이즈는 캐나다에 살고 있으며 브라이즈는 ChatGPT와 3주 동안 대화를 나누었고 인터넷을 '마비'시킬 수 있는 새로운 형태의 수학을 발견했다고 믿습니다.
수학적 배경이나 정신 질환 이력이 없었음에도 불구하고 브룩스는 챗봇의 안심시키는 대화의 연속에 빠져들었고 그곳에서 모든 것이 환상이라는 것을 깨닫습니다.
이 이야기는 2024년 말 회사를 떠난 후 독립 보고서에서 OpenAI-30의 전직 안전 연구원인 스티븐 애들러에 의해 분석되었습니다.
애들러는 해리 포터 7권보다 긴 브룩스 브래드의 전체 대화 기록을 얻었고 이것이 적절한 보호 메커니즘이 없을 때 AI 모델의 위험에 대한 명백한 증거라고 경고했습니다.
애들러는 OpenAI가 위기 상황에서 사용자를 지원하는 방식에 여전히 많은 단점이 있다고 생각합니다.
그는 ChatGPT가 챗봇이 실제로 이 기능을 전혀 가지고 있지 않은데도 OpenAI의 안전 그룹에 문제를 보고하겠다고 계속해서 주장하면서 Brooks,에게 거짓말을 했다고 강조했습니다.
직접 연락한 후에야 브룩스는 회사 지원 부서로부터 자동 응답을 받았습니다.
브룩스의 경우는 예외적인 경우가 아닙니다. 지난 8월 bia OpenAI는 16세 청소년이 자살한 후 소송에 직면했습니다. gia는 ChatGPT에 자신의 의도를 밝혔습니다.
Adler,에 따르면 이는 챗봇이 사용자를 반박하거나 조정하는 대신 위험한 신뢰를 강화할 때 발생하는 '아첨' 현상의 결과입니다.
이를 극복하기 위해 OpenAI는 기존 모델 행동 연구 그룹을 재구성하고 ChatGPT의 기본 모델로 GPT-5를 도입하여 어려움을 겪는 사용자를 더 잘 지원할 수 있도록 했습니다.
회사는 또한 MIT 미디어 랩과 협력하여 음성 대화에서 정서적 건강을 평가하는 도구를 개발했지만 아직 테스트 단계에 머물러 있습니다.
그의 분석에서 눈 애들러는 OpenAI 분류를 브룩스의 데이터에 적용하여 ChatGPT 메시지의 85% 이상이 '절대적인 합의'를 나타낸다는 것을 발견했습니다. 반면 90% 이상은 브룩스의 독특함을 주장합니다. 눈은 간접적으로 그가 '세계를 구하는 천재'라는 환상을 키웠습니다.
애들러는 OpenAI가 이러한 안전 도구를 즉시 배포하고 AI에 맡기는 대신 실제 사람들을 지원하는 데 더 많은 투자를 해야 한다고 권장합니다.
그는 또한 사용자가 악순환을 제한하고 광범위한 안전 위반을 감지하기 위한 개념 검색을 적용하기 위해 새로운 대화를 자주 시작하도록 장려할 것을 제안했습니다.
OpenAI는 GPT-5가 크게 개선되었다고 주장하지만 애들러의 분석가는 다른 AI 회사들이 브라 망상 악순환을 막기 위해 유사한 보호 조치를 적용할 것인지 아니면 이 위험이 미래 세대 챗봇에서 반복될 것인지에 대한 질문을 계속 제기합니다.
