Рассуждение помогает моделям вспоминать простые факты — дело не в логике
🧠 Рассуждение помогает моделям вспоминать простые факты — дело не в логике
Исследователи Google Research показали, что даже для простых вопросов о фактах без многоходовых логических шагов включение цепочки рассуждений (CoT) драматически поднимает качество ответов. На датасетах вроде SimpleQA Verified модели Gemini 2.5 Flash/Pro и Qwen3-32B извлекали из памяти ответы, которые без рассуждений были недостижимы. Проверка шла по метрике pass@k — искались не совпадения на первом месте, а сам факт наличия верного ответа в распределении генераций.
Механизм оказался двойным. Первый слой — «вычислительный буфер»: когда все осмысленные токены в трейсе заменили на повторяющееся «Let me think», качество всё равно выросло. Простое увеличение количества прямых проходов даёт модели скрытое вычислительное пространство для уточнения внутреннего состояния. Второй слой — «активизация фактов» (factual priming): модель генерирует связанные факты как семантические ступеньки, даже когда формальной логической цепочки не требуется.
Здесь же и главная ловушка. Как только в сгенерированной промежуточной информации появляется хотя бы одна галлюцинация, вероятность правильного финального ответа резко падает. Анализ сотен тысяч трейсов это подтвердил однозначно. Хорошая новость — этот же механизм извлечения памяти можно использовать для отбора траекторий: оставляем только те рассуждения, чьи промежуточные факты проходят проверку, и точность растёт.
Это переворачивает устоявшийся взгляд на reasoning как на инструмент сугубо для сложной декомпозиции. Мы получаем модель, где «размышления вслух» — это ещё и диагностический инструмент для извлечения параметрического знания. Если галлюцинация в промежуточных фактах так фатально каскадирует на финальный ответ, не означает ли это, что ключевая атака на LLM-агентов будущего будет строиться не на прямом взломе, а на целенаправленном отравлении их внутреннего поиска знаний?
По данным google_research
#LLM #reasoning #hallucination #Gemini #AI_safety