ChatGPT, Gemini 및 Claude와 같은 AI 챗봇은 디지털 생활에서 인기 있는 도구가 되고 있습니다. 그러나 눈 사용자는 종종 이상한 현상을 발견합니다. 눈과 대화한 후 일정 시간이 지나면 이러한 모델이 '기억력을 잃은' 것처럼 보이고 방금 말한 것을 잊어버리거나 눈을 반복하거나 잘못 대답하기 시작합니다.
이 문제에 대해 눈 기술 전문가에 따르면 눈은 컨텍스트 창이라고 하는 핵심 기술 개념에서 비롯됩니다.
YouTuber와 AI 연구원 Matt Pocock은 최근 비디오에서 컨텍스트 창이 중요한 한계이지만 대규모 언어 모델(LLM)이 작동하는 방식에서 가장 오해하기 쉽다고 공유했습니다. 간단히 말해서 눈은 인공 지능의 '단기 기억'입니다.
컨텍스트 창이란 무엇입니까?
사용자가 질문과 답변 패턴을 보낼 때마다 전체 텍스트는 토큰이라고 하는 작은 단위로 나니다. 각 토큰은 몇 개의 문자 또는 단어의 일부를 나타낼 수 있습니다. 대화의 모든 토큰은 모델이 한 번에 볼 수 있는 맥락을 만듭니다.
모델의 컨텍스트 창이 20만 토큰인 경우 그만큼의 정보만 기억할 수 있습니다. 이 제한을 초과하면 이전 데이터가 점차 삭제되어 AI가 대화의 첫 번째 부분을 잊게 됩니다.
예를 들어, Claude 4.5는 최대 200만 토큰의 눈을 기억할 수 있는 반면 Gemini 2.5 Pro는 최대 200만 개의 눈을 처리할 수 있습니다. 반대로 LLaMA 또는 Mistral과 같은 소형 모델의 눈은 몇 천으로 제한됩니다.
왜 AI는 무한한 기억력을 가질 수 없을까요?
컨텍스트 창 용량을 늘리는 것이 항상 가능한 것은 아닙니다. 각 추가 토큰은 컴퓨팅 리소스와 메모리를 소모하여 운영 비용을 증가시킵니다.
게다가 칸막이가 너무 클 때 모델 칸막이는 필요한 세부 사항을 찾기 어렵고 칸막이는 바닷속에서 바늘 찾기처럼 보입니다.
더 중요한 것은 각 모델이 고정된 아키텍처 한계를 가지고 설계되었기 때문에 성능을 희생하지 않고 메모리를 무한정 확장할 수는 없습니다.
중간에 길을 잃다: AI가 이야기 중간 부분을 잊을 때
포콕은 맥락적 한계의 특징적인 현상을 'midpoint forgettingQue'라고 불렀는데 이는 '중간에 끊김'으로 번역됩니다.
AI는 일반적으로 대화의 시작 부분(지침)과 끝 부분(최신 메시지)에 집중하는 반면 중간 부분은 덜 주목받습니다.
이 메커니즘은 LLM 모델이 토큰에 주의를 분배하는 방식에서 비롯됩니다. 인간과 마찬가지로 그들은 최근에 일어난 일을 우선시합니다. 결과적으로 간주 사이의 정보 조각은 중요하지만 잊혀지기 쉽습니다.
이것은 프로그래머에게 특히 어려웠습니다. 개발자가 AI에 몇 백 줄 전의 코드에서 버그를 수정해 달라고 요청하면 모델은 주의 밖으로 미끄러져서 해당 부분을 정확하게 기억하지 못할 수 있습니다.
AI 프로그래밍 도구에 미치는 영향
클로드 코드나 GitHub 코파일럿과 같은 도구도 컨텍스트 창의 범위 내에서 작동합니다. 프로젝트나 작업 세션이 너무 길면 브릿지 명령을 잊어버리거나 잘못 응답하거나 응답을 중지하는 오류가 발생하기 쉽습니다.
따라서 전문 사용자는 AI가 집중력을 유지하도록 돕기 위해 브레이크를 세분화하거나 요약하거나 작업 세션을 재설정해야 하는 경우가 많습니다.
ChatGPT나 Gemini와 같은 챗봇이 '잊혀지는' 것은 눈 시스템 오류가 아니라 현재 기술의 자연스러운 한계입니다.
기술 회사들이 컨텍스트 창을 계속 확장하고 기억 능력을 최적화함에 따라 미래의 눈은 더 오래 기억하는 AI 모델 더 깊이 이해하는 눈 실제 인공 지능에 더 가까워지는 눈을 목격할 수 있습니다.
