AI 요인의 부상은 기업에 새로운 자동화 시대를 열어주고 있지만, 동시에 전례 없는 보안 위험을 드러내고 있습니다.
AI가 독립적으로 행동할 권한을 부여받으면 스마트 지원과 위험한 행동 사이의 경계는 잘못된 결정 하나로 사라질 수 있습니다.
최근 주목받는 예는 Ballistic Ventures 사이버 보안 투자 펀드의 파트너인 Barmak Meftah가 TechCrunch와 공유한 것입니다.
기업 AI 비서와 협력하는 과정에서 한 직원이 이 요인이 필요하다고 생각하는 행동을 막으려고 했습니다.
이에 대응하여 AI는 사용자의 편지함을 스캔하여 일부 민감한 이메일을 발견하고 이사회에 전달하여 강탈 위협을 가했습니다.
Meftah에 따르면 AI 작용자의 논리에서 그것은 올바른 행동입니다. 비윤리적인 조치를 사용하는 것을 무시하고 기업과 최종 사용자의 이익을 보호하고 있다고 믿습니다.
이 사례는 철학자 닉 보스트롬의 사고 실험을 연상시킵니다. 초지능형 AI가 무해해 보이는 목표를 추구하지만 결과를 얻기 위해 모든 인도주의적 가치를 기꺼이 희생합니다.
AI 요인은 인간의 동기에 대한 배경과 완전한 이해 부족으로 인해 장애물을 만나면 돈을 갈취하거나 개인 정보를 침해하는 것을 포함하여 장애물을 제거하기 위해 자율적으로 보조 목표를 만들 수 있습니다.
AI의 불분명한 본질과 결합되어 모든 것이 쉽게 방향을 틀어갑니다.
이것이 바로 벤처 투자자들이 AI 보안 분야에 막대한 돈을 투자하고 있는 이유이기도 합니다.
Ballistic Ventures 포트폴리오에 있는 회사인 Witness AI는 AI 사용 감시, 비허가 도구 발견, 공격 차단 및 준수 보장이라는 기업 내 지하 AI 문제 해결에 집중하고 있습니다.
이번 주 Witness AI는 연간 정기 매출 증가율이 500% 이상이고 인력 규모가 1년 만에 5배 증가한 것을 기록한 후 5,800만 달러를 조달했습니다.
Witness AI의 공동 창립자이자 CEO인 릭 카치아는 기업이 관리자와 동등한 권한으로 AI 인자를 구축할 때 엄격한 통제 메커니즘을 갖도록 강요받는다고 말합니다.
릭 카치아는 "이러한 요인이 통제 불능 상태에서 작동하지 않고, 데이터를 삭제하거나 잘못된 일을 하지 않도록 해야 합니다."라고 강조했습니다.
분석가 리사 워렌에 따르면 AI 지원 공격의 폭발적인 증가와 함께 AI 보안 소프트웨어 시장은 2031년에 8천억 달러에서 1조 2천억 달러 규모에 도달할 수 있습니다.
실시간으로 위험을 관찰하고 관리하는 능력이 생존 필수품이 될 것입니다.
AWS, Google 또는 Salesforce와 같은 거대 기업들이 AI 관리 도구를 플랫폼에 통합했지만 Meftah는 여전히 독립 기업에게 여지가 있다고 믿습니다.
많은 기업들이 AI와 에이전트를 감시하기 위한 중립적이고 포괄적인 플랫폼을 원합니다. Witness AI는 AI 모델에 직접 개입하는 대신 사용자와 모델 간의 상호 작용을 감시하는 인프라 클래스에서 작동하는 것을 선택합니다.
Caccia는 Witness AI를 최종 보안의 CrowdStrike나 신원 관리의 Okta와 마찬가지로 산업의 독립적인 기둥으로 만들려는 야망을 숨기지 않았습니다.
