ThinkJev: сомнение модели не показывает, где нужно размышление
🧠 ThinkJev: сомнение модели не показывает, где нужно размышление
Многие применения LLM заканчиваются типизированным решением — выбором из закрытого набора вариантов, вероятности которых читает код. Снять их с одного прямого прохода быстро, но на арифметике, подсчёте и сравнении дат такой ответ регулярно врёт; если дать модели подумать, большинство ошибок уходит, а миллисекунды превращаются в секунды на каждое решение. ThinkJev строит две системы из одной открытой hybrid-thinking модели и одного закэшированного промпта: System 1 читает вероятности букв-вариантов сразу, System 2 — те же буквы после thought-токенов, поэтому переход не переплачивает за повторный префилл, а один сэмплированный thought даёт ответ при любом бюджете размышления — буквы читаются на любом его шаге. Обучения нет: System 1 отвечает в одиночку только там, где статистический тест на размеченном dev-наборе гарантирует удержание ошибки под целевым порогом, по данным arXiv.
→ Цель 5%: Qwen3.5-27B закрывает сама 24,5% из 8359 тестовых решений при реальной ошибке 3,9%
→ Ранняя остановка мысли: 81,6% точности против 82,7% при «думать всегда», но всего 72% thought-токенов
→ JevBench: думает в 29,4% случаев, по точности неотличима от двух thinking-API (авторы помечают результат как исследовательский)
Главное в статье — не очки точности, а провал очевидной эвристики. Маршрутизация по одной уверенности System 1 экономит меньше ожидаемого, потому что решения, в которых модель менее всего уверена, часто не те, которые размышление реально исправляет: неуверенность и исправимость — разные величины, и на dev-данных это видно прямым тестом, а не на глаз.
Гарантия ошибки на размеченном dev-наборе — честный контракт, но платится он покрытием: 24,5% трафика уходит в дешёвый путь, остальное всё равно думает. И обратите внимание на 0,0% ошибки у Qwen3.5-9B — без доли принятых решений такая цифра не значит ничего, при крошечном покрытии её получают и пустые правила. Гонка за «дешёвым» инференсом упрётся не в качество модели, а в качество вашего размеченного дев-сета на тысячу примеров, которого ни у кого нет.
#ThinkJev #calibration #inference #LLM #JevBench
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.