수년 동안 인공 지능(AI)의 발전은 점점 더 큰 규모, 더 많은 데이터, 더 많은 매개변수 및 더 거대한 계산 능력과 관련이 있습니다.
따라서 대용량 언어(LLM) 모델은 일반적으로 클라우드 컴퓨팅 및 전용 GPU에 크게 의존하는 비싼 데이터 센터에서만 작동할 수 있습니다.
그러나 미국 스타트업은 대규모 AI를 휴대용 장치에 도입하여 이러한 접근 방식에 도전하고 있습니다.
Tiiny AI Inc.는 최근 Tiiny AI Pocket Lab을 소개했으며, Guinness World Records는 "국소 100LLM 소형 컴퓨터" 부문에서 세계에서 가장 작은 개인 AI 슈퍼컴퓨터로 인정했습니다.
회사에 따르면 이것은 클라우드, 서버 또는 고급 GPU 연결 없이 장치에서 최대 1200억의 직접 매개변수 LLM 모델을 완전히 실행할 수 있는 최초의 핸드백 장치입니다.
강력한 AI를 개인 사용자에게 더 가까이 가져오려는 야망
비전 성명에서 Tiiny AI는 첨단 AI를 거대한 데이터 센터에서 벗어나 개인에게 전달하는 목표를 강조했습니다.
회사는 현재 AI 생태계의 가장 큰 병목 현상은 계산 능력 부족이 아니라 클라우드 의존성으로 인해 높은 비용, 큰 지연 및 개인 정보 보호 위험이 발생한다고 주장합니다.
Tiiny AI Pocket Lab은 크기가 약 14.2 x 8 x 2.53cm, 무게가 약 300g이지만 완전한 AI 추론 시스템으로 설계되었습니다.
이 장치는 약 65W의 용량으로 작동하며, 이는 에너지 소비량이 매우 많은 기존 GPU 기반 AI 시스템보다 상당히 낮습니다.
주목할 만한 하드웨어 구성 및 성능
발표에 따르면 Pocket Lab에는 12코어 ARMv9.2 CPU가 장착되어 있으며, 특수 신경 프로세서(NPU)가 통합되어 약 190TOPS의 AI 계산 능력을 달성합니다. 이 장치에는 80GB의 LPDDR5X 메모리와 1TB의 저장 공간이 함께 제공되어 기기 내에서 큰 모델을 처리할 수 있습니다.
Tiiny AI는 Pocket Lab이 개인 AI의 "황금 영역"에서 가장 효과적으로 작동하며, 이는 1000억에서 1000억의 매개변수 모델에 해당하며, 실제 요구 사항의 80% 이상을 충족하는 것으로 알려진 범위라고 밝혔습니다.
회사는 장치의 추론 성능이 GPT-4o와 동등한 수준에 도달할 수 있으며, 다단계 분석, 심층 이해 및 복잡한 추론 작업을 수행하기에 충분하다고 발표했습니다.
장치 뒤의 핵심 기술
소형 장치에서 대형 모델을 실행하는 기능은 TurboSparse와 PowerInfer라는 두 가지 주요 기술에서 비롯됩니다.
TurboSparse는 논리적 단계에서 필요한 계산량을 크게 줄이는 데 도움이 되는 뉴런 수준의 희소 활성화 기술을 사용합니다.
반면 PowerInfer는 CPU와 NPU 간에 작업량을 유연하게 분배하고 분리형 GPU 없이 성능을 최적화할 수 있는 오픈 소스 추론 도구입니다.
이러한 조합 덕분에 이전에는 수천 달러 상당의 GPU가 필요했던 작업이 이제 휴대용 장치에서 수행될 수 있습니다.
개방형 생태계 및 CES 2026 목표
Tiiny AI Pocket Lab은 GPT-OSS, Qwen, DeepSeek, Llama, Phi, Mistral 등을 포함하여 클릭 한 번으로 오픈 소스 모델 설치를 지원합니다. 이 장치는 OpenManus, ComfyUI, Flowise 또는 SillyTavern과 같은 많은 오픈 소스 AI 에이전트와도 호환됩니다.
회사는 사용자가 OTA를 통한 하드웨어 업그레이드를 포함하여 지속적인 업데이트를 받을 것이며, 2026년 1월 CES에서 완전히 시연될 것으로 예상된다고 밝혔습니다.
