컴팩션이란? AI가 대화를 압축하는 이유

"대화를 압축하는 중"이 뜨는 이유

AI에게 긴 일을 맡기다 보면 "Compacting conversation", "대화를 압축하는 중" 같은 메시지가 뜰 때가 있습니다. 내가 한 말을 AI가 줄여 버린다는 뜻인데, 왜 이런 일이 필요할까요?

AI는 대화를 기억하지 않고 새 메시지마다 지금까지의 대화 전체를 다시 읽습니다. 한 번에 넣을 수 있는 양에는 상한(컨텍스트 윈도우)이 있어서, 대화와 파일이 쌓이면 언젠가 창이 가득 찹니다.

창이 가득 차면 할 수 있는 세 가지

• 잘라내기: 오래된 대화를 조용히 버립니다. 앞에서 정한 내용을 AI가 모르게 됩니다.
• 막기: 더는 못 쓰게 하고 새 대화를 열게 합니다. 지금까지의 맥락이 끊깁니다.
• 요약하기: 오래된 대화를 요약으로 바꿉니다. 이것이 컴팩션입니다.

컴팩션은 이렇게 동작한다

1. 대화가 상한에 가까워지면 AI에게 지금까지의 대화를 요약하게 합니다.
2. 오래된 원문을 빼고, 그 자리에 요약 하나를 넣습니다.
3. 최근 대화는 그대로 둡니다. 방금 읽던 파일 몇 개는 다시 읽어 오기도 합니다.

내 화면에는 대화가 다 남아 있지만, AI가 실제로 읽는 것은 이제 원문이 아니라 요약입니다. 그래서 압축 뒤에는 앞에서 말한 세부 내용(정확한 숫자, 예외 조건 같은 것)을 AI가 놓칠 수 있습니다. 중요한 조건은 압축 뒤에 한 번 더 말해 주거나 파일로 남겨 두는 편이 안전합니다.

그냥 창을 크게 하면 안 될까

창을 키우면 비용이 커지고(대화를 매번 통째로 다시 읽으므로), 느려지고(길이가 두 배면 계산은 네 배), 정확도도 떨어집니다(긴 자료의 중간을 잘 놓침). 자세한 수치는 컨텍스트 윈도우에 정리했습니다. 그래서 오래 일하는 AI 도구들은 창을 무작정 키우기보다 컴팩션으로 공간을 비웁니다.

정리

컴팩션은 컨텍스트 윈도우가 가득 차기 전에 오래된 대화를 요약으로 바꿔 공간을 만드는 방법입니다. AI 도구에 "대화를 압축하는 중"이 뜨는 순간이 바로 이 일이 일어나는 때입니다.