Meta AI의 보안 연구원인 Summer Yue의 X 소셜 네트워크 게시물이 개인 AI 비서의 의도치 않은 문제를 설명하면서 널리 퍼지고 있습니다. 그녀는 삭제하거나 저장해야 할 이메일을 제안하여 받은 편지함을 정리하는 데 도움이 되는 OpenClaw 도구를 요청했습니다.
그러나 시스템은 사용자가 모바일 장치에서 차단 명령을 보냈음에도 불구하고 멈추지 않고 일련의 이메일을 삭제하기 시작하면서 통제 불능 상태로 작동했습니다. Yue는 이 과정을 막기 위해 수동으로 개입하기 위해 컴퓨터로 달려가야 했다고 말했습니다.
OpenClaw는 디지털 비서로서 개인 장치에서 직접 작동하도록 설계된 오픈 소스 AI 에이전트입니다. 이 도구는 특히 실리콘 밸리에서 기술 업계의 관심을 끌고 있으며, 그곳에서 많은 유사한 변형이 개발되고 있습니다.
이 문제는 시스템이 실제 우편함의 많은 양의 데이터를 처리하는 데서 비롯된 것으로 추정됩니다. 정보량이 처리 능력을 초과하면 AI는 자동으로 맥락을 축소하여 사용자의 중요한 지시를 무시할 수 있습니다.
이 경우 AI 비서는 정지 명령을 기록하지 않고 이전 설정에 기반한 작업을 계속 수행했을 수 있습니다. Yue는 기본 우편함에 적용하기 전에 작은 데이터로 도구를 테스트하여 주관성을 만들었다고 인정했습니다.
소셜 네트워크의 많은 의견은 안전 메커니즘으로서 제어 명령에 완전히 의존해서는 안 된다고 주장합니다. AI 모델은 복잡한 상황에서 지침을 오해하거나 무시할 수 있습니다.
사건 전체를 확인할 수는 없지만, 이야기는 여전히 일상 업무에 AI 요인을 배치할 때의 위험을 보여줍니다. 현재 단계에서 이러한 도구는 특히 중요한 데이터를 처리할 때 면밀히 모니터링해야 합니다.
전문가들은 개인 AI 비서가 이메일 관리나 일정 잡기와 같은 작업을 지원하는 데 큰 잠재력이 있다고 평가합니다. 그러나 이 기술은 안전하게 널리 사용되기 전에 완성하는 데 시간이 더 걸립니다.
