인공 지능(AI) 응용을 촉진하는 단계를 거친 후, 많은 기술 기업들이 AI 사용 비용이 예상보다 빠르게 증가하면서 새로운 문제에 직면하고 있습니다.
스타트업 기업부터 대기업에 이르기까지 점점 더 많은 기업들이 첨단 AI 모델 사용으로 인해 발생하는 거대한 토큰 청구서(시스템에서 정보 분석 및 처리에 사용되는 가장 작은 기본 데이터 단위)에 대해 우려하고 있습니다.
TechCrunch에 따르면 비용 압박은 기술 업계에서 뜨거운 주제가 되었습니다. 일부 기업은 연초 몇 달 만에 연간 AI 예산을 모두 사용했다고 밝혔습니다.
심지어 일부 회사는 직원에 대한 사용 제한을 설정하지 않은 후 AI 서비스에 최대 5억 달러를 지출해야 하는 것으로 알려져 있습니다.
원인은 차세대 AI 모델과 에이전트의 폭발적인 증가에 있습니다. 토큰 가격이 이전보다 하락했지만, 기업이 챗봇, AI 비서 및 대규모 자동화 도구를 배포하면서 토큰 소비량이 급증했습니다.
Claude, GPT 또는 Gemini와 같은 새로운 모델은 작업을 더 잘 처리할 수 있지만 동시에 AI 사용에 대한 수요를 급증시킵니다.
OpenAI의 수석 제품 관리자인 Alexander Embiricos는 고객과의 대화가 현재 크게 바뀌었다고 말했습니다. 이전에는 기업이 AI가 무엇을 할 수 있는지에 관심이 있었지만, 이제는 비용을 모니터링하고, 사용 수준을 감사하고, 토큰 소비량을 제어하는 방법이 일반적인 질문입니다.
이러한 현실에 직면하여 Linux Foundation은 AI 토큰 비용 관리에 대한 공통 표준을 구축하기 위한 새로운 조직인 Tokenomics Foundation 설립 계획을 발표했습니다. 목표는 기업이 수년 동안 클라우드 컴퓨팅 비용을 통제하는 데 도움이 되는 방법인 FinOps와 유사한 시스템을 만드는 것입니다.
FinOps Foundation의 CEO인 JR Storment는 올해 초부터 AI 예산을 계획보다 여러 배 초과한 것에 대해 기업으로부터 지속적으로 피드백을 받고 있다고 말했습니다. 그에 따르면, 기업들은 "가능한 한 많이 사용한다"는 사고방식에서 "지출을 효율적으로 통제하는 방법"으로 전환하고 있습니다.
그러나 문제는 간단하지 않습니다. Faros AI가 20,000명의 프로그래머를 대상으로 2년간 실시한 연구에 따르면 AI는 실제로 작업 생산성을 향상시키는 데 도움이 됩니다.
그럼에도 불구하고 오류 수와 소스 코드를 다시 작성해야 하는 횟수도 증가했습니다. 반면 Jellyfish의 데이터에 따르면 AI를 가장 많이 사용하는 엔지니어는 나머지 그룹보다 생산성이 두 배이지만 토큰을 10배 더 많이 소비해야 합니다.
현재 기업을 골치 아프게 하는 것은 해당 지출이 실제로 상응하는 가치를 가져다주는지 여부를 명확하게 측정하는 방법이 없다는 것입니다.
한편, 골드만삭스 투자 은행의 예측에 따르면 전 세계 토큰 AI 사용 수준은 2030년까지 24배 증가할 수 있습니다.
