AI가 강력하게 발전하면서 데이터 센터는 방대한 처리 요구 사항을 충족하기 위해 GPU(그래픽 프로세서)의 성능을 최대한 활용해야 합니다. 이러한 배경 속에서 텐서메시 회사는 최근 데이터베이스 분야의 최고 전문가인 마이클 프랭클린이 참여하고 Laude Ventures가 주도하는 찬드 씨앗 투자금으로 380만 달러를 유치했습니다.
이 자금은 공동 창립자인 Yihua Cheng이 개발한 오픈 소스 도구인 LMCache,의 상용 버전을 개발하는 데 사용됩니다. LMCache는 운영 비용을 최대 10배까지 절감하는 데 도움이 되며 현재 Google과 Nvidia에서 사용하고 있습니다. Tensormesh는 이 기술을 다른 많은 기업이 쉽게 채택할 수 있도록 상용 제품으로 만들고 싶어합니다.
LMCache의 핵심은 기존 방식처럼 각 쿼리 후 삭제하는 대신 시스템이 처리된 데이터를 저장하고 재사용할 수 있도록 하는 잠금 캐시-가치 메모리입니다. 텐서머메시는 중요한 데이터를 보유하고 있으며 이는 AI 모델이 더 빠르게 응답하고 리소스를 절약하는 데 도움이 됩니다. 이 방법은 모델이 채팅 또는 동작 기록을 지속적으로 참조해야 하는 챗봇 또는 가상 비서 애플리케이션에 특히 효과적입니다.
Junchen Jiang, CEO에 따르면 대형 AI 회사가 자체적으로라도 유사한 시스템을 구축할 수 있지만 이 프로세스에는 많은 엔지니어가 필요하며 완료하는 데 몇 달이 걸립니다. 'Tenssormesh,를 사용하면 시간과 비용을 크게 단축할 수 있습니다.'라고 그는 말했습니다.
메모리 및 성능 최적화에 중점을 둔 눈썰매개 GPU는 컴퓨팅에 대한 수요가 전례 없이 빠르게 증가함에 따라 글로벌 AI 인프라에서 중요한 퍼즐 조각이 될 것으로 기대됩니다.
