AI, 피드백에서 행동 개입으로 전환
인공 지능 회사는 극단적인 징후를 보이는 사용자를 조기에 감지하고 개입할 수 있는 도구를 개발할 때 안전을 보장하기 위한 노력을 강화하고 있습니다.
주목할 만한 새로운 방향 중 하나는 폭력 위험을 줄이기 위해 챗봇과 현실 지원 프로그램을 결합하는 것입니다.
프로젝트 참가자들에 따르면 뉴질랜드에서 개발 중인 도구는 ChatGPT를 사용할 때 극단주의 성향을 가진 사용자를 식별하여 인간이 운영하거나 챗봇이 지원하는 반극단주의 프로그램으로 안내하는 데 도움이 될 것입니다.
이는 AI 플랫폼이 위험한 콘텐츠를 통제할 수 없다는 비난에 점점 더 압력을 받는 상황에서 새로운 단계입니다.
앞서 캐나다에서 발생한 사건으로 OpenAI는 학교 총기 난사 사건과 관련된 사용자를 제때 알리지 않아 개입 위협을 받았습니다.
ThroughLine은 무엇입니까?
이 이니셔티브의 중심은 OpenAI, Anthropic 및 Google이 자해, 가정 폭력 또는 섭식 장애와 같은 위기 상황을 처리하기 위해 고용한 스타트업인 ThroughLine입니다.
뉴질랜드 출신의 기술 기업가 엘리엇 테일러가 설립한 이 회사는 현재 극단주의 반대로 범위를 확장하고 있습니다.
ThroughLine은 180개국에 약 1,600개의 지원 회선 네트워크를 보유하고 있습니다. AI 시스템이 위기 징후를 감지하면 사용자는 인간이 담당하는 가장 가까운 지원 서비스에 연결됩니다.
테일러에 따르면 AI 챗봇의 폭발적인 증가는 사용자가 온라인으로 공유하는 심리적 문제, 특히 극단주의와 관련된 표현의 급격한 증가를 가져왔습니다. 따라서 현재 솔루션은 새로운 현실에 대응하기 위해 확장되어야 합니다.
기술과 전문가 결합
시험 중인 극단주의 방지 도구는 훈련된 채팅봇이 초기 피드백을 제공한 다음 사용자를 적절한 전문가에게 전달하는 방식으로 작동합니다.
주목할 만한 점은 이 시스템이 주요 언어 모델의 일반적인 훈련 데이터를 사용하지 않고 전문 전문가의 지식을 기반으로 한다는 것입니다.
이 프로젝트는 또한 2019년 뉴질랜드 테러 공격 이후 탄생한 국제 이니셔티브인 The Christchurch Call과 논의 중이며, 온라인에서 극단적인 콘텐츠를 제거하는 것을 목표로 합니다.
전문가들은 이러한 접근 방식이 잠재력이 있다고 평가합니다. 왜냐하면 콘텐츠를 처리할 뿐만 아니라 사용자 상호 작용 동기에도 영향을 미치기 때문입니다.
그러나 실제 효과는 여전히 연결된 지원 서비스의 모니터링 능력과 품질에 달려 있습니다.
통제와 지원 사이의 균형 문제
가장 큰 과제 중 하나는 사용자가 플랫폼을 떠나거나 통제 불능 환경으로 전환하지 않고 어떻게 개입할 것인가입니다.
뉴욕 대학교의 2025년 연구에 따르면 검열 강화는 극단주의 지지자들을 텔레그램과 같은 플랫폼으로 몰아넣을 수 있습니다.
테일러에 따르면 AI가 민감한 콘텐츠를 발견했을 때 단순히 대화를 중단하면 사용자는 어떤 지원도 받지 못할 수 있습니다. 반대로 대화를 유지하고 올바르게 방향을 잡는 것은 상황 악화 위험을 줄이는 데 도움이 될 수 있습니다.
미래에는 당국 경고와 같은 기능이 여전히 고려되고 있으며, 상황을 악화시키지 않도록 보장해야 합니다.
답변에서 개입으로의 전환은 AI가 사회적 책임이 기술 설계의 핵심 요소가 되는 새로운 단계에 접어들고 있음을 보여줍니다.
