Roblox는 매달 1억 1 100만 명 이상의 사용자를 보유한 온라인 게임 플랫폼으로 대부분 어린이와 청소년입니다.
Roblox는 인디언 익스프레스에 따르면 인공 지능 시스템 AI 센티넬의 오픈 소스 버전 배포를 발표했습니다.
이 기술은 플랫폼에서의 대화에서 아동 학대 위험을 내포하는 언어 및 행동 징후를 조기에 감지하도록 설계되었습니다.
위의 움직임은 로브록스가 많은 비판에 직면하고 있는 가운데 이루어졌으며 그 소송에는 아이오와(미국)에서 13세 소녀가 악당에게 몬스터 게임을 통해 알게 된 후 납치되어 여러 주를 거쳐 거래된 사건이 포함됩니다.
원고는 Roblox의 디자인 기능이 어린이를 '소아성애자에게 쉬운 표적'으로 만들었다고 주장합니다.
Roblox에 따르면 센티넬은 하루에 약 60억 건의 메시지에 해당하는 1분 이내에 전체 대화를 빠르게 촬영하고 맥락에 따라 분석하는 방식으로 작동합니다.
이 시스템은 민감한 키워드인 'bra'를 검색할 뿐만 아니라 행동을 두 가지 지표와 비교합니다. 하나는 양성 대화 모음이고 다른 하나는 어린이를 유혹할 위험이 있는 'va'를 위반하는 상호 작용을 포함하는 모음입니다.
Roblox의 안전 책임자인 Matt Kaufman,는 '이전의 필터는 상스러운 단어를 차단하는 데 적합한 몇 줄의 단어만 고려했지만 조용하고 오래 지속되는 유혹 행위를 감지하는 데는 효과적이지 않았습니다.'라고 설명했습니다.
센티넬은 눈 채팅 내용 눈 친구 목록부터 참여한 게임까지 눈 배경 전체를 분석하여 이러한 제한 사항을 극복할 것입니다.
2025년 상반기에 찬 센티넬은 로브록스가 아동 착취를 위한 잠재적 노력에 대한 1 200건의 보고서를 미국 국립 아동 실종 및 착취 센터(NCMEC)에 보내는 것을 도왔습니다.
Roblox의 신뢰 및 안전 담당 기술 부사장인 Naren Koneru,는 '우리는 하루의 모든 행동을 기준으로 사용자에게 점수를 매기며 이를 통해 누가 더 신중하게 고려되어야 하는지 결정합니다. 위험이 발견되면 인간은 평가하고 당국과 협력할 것입니다.'라고 말했습니다.
Roblox는 부모의 동의 없이 13세 미만의 어린이가 게임 외부에서 대화하는 것을 허용하지 않으며 개인 정보 공유를 차단하고 쉽게 감시할 수 있도록 개인 메시지를 암호화하지 않습니다.
그러나 회사 측은 '완벽한 시스템은 없다'고 인정하며 악당들은 항상 법망을 피하려고 합니다.
소스 코드를 개방함으로써 센티넬 브레이크 로브록스는 다른 플랫폼도 이 기술을 적용할 수 있기를 기대합니다. 브레이크는 '당신은 몇 살입니까?'와 같이 무해해 보이는 질문이 때로는 심각한 위협을 숨기고 있는 온라인 환경에서 어린이의 안전을 개선하는 데 기여합니다.
