Открытые модели 2026 читают контекст выборочно: гарантированно только хвост
🧠 Открытые модели 2026 читают контекст выборочно: гарантированно только хвост
Все свежие открытые модели с заявленным 1 млн контекста читают его выборочно: точная память — только последние сотни токенов. GLM-5.3 отбирает top-2048 токенов на шаг, DeepSeek-V4 сжимает KV в 4 раза и берёт top-1024 сжатых блоков, а Qwen3.8 лишь в 23 из 92 слоёв имеет полное внимание — остальные гоняют историю через линейное состояние Gated DeltaNet. Эту механику свёл в таблицу Владимир Лушин на Habr: три семейства — разрежённое top-k, гибриды и скользящее окно.
Для агента это практическая проблема: правило из AGENTS.md, сказанное в начале сессии, к сотому вызову инструмента почти не работает. В MTAC-IFBench доля ходов с соблюдением всех ограничений падает с 27,6% до 2,6% к 9–10 ходу, а обновить старое ограничение труднее, чем добавить новое. Kimi K3 со сжатием на 300 тыс. токенов обгоняет саму себя с полным окном в 1 млн — 91,2 против 90,4 на BrowseComp: меньше шума, выше качество.
Обвязке важнее, куда положить текст, чем что в нём написать. Работают чистка старых выводов инструментов, поиск по запросу вместо заливки всего, состояние вне окна и повтор критичных правил в хвосте. А то, что нельзя нарушать никогда, нужно закрывать хуками и правами доступа — вниманию доверять не стоит.
Пока карточки моделей хвастаются миллионом токенов, реальная гарантированная память — последние сотни. Всё, что дальше, — лотерея top-k: инструкция либо выиграет отбор, либо её нет. Агентская обвязка будущего — это не промпт-инжиниринг, а управление вниманием: класть важное туда, где модель его точно увидит.
#longcontext #openweight #agents #GLM5 #DeepSeekV4
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.