Рейтинг детекторов галлюцинаций переворачивается на 3B-моделях
🧠 Рейтинг детекторов галлюцинаций переворачивается на 3B-моделях
Аудит с одного Colab T4 показал: детекторы галлюцинаций, откалиброванные на 7B-70B исследовательских моделях, меняют ранжирование вплоть до инверсии на маленьких локальных LLM. Авторы прогнали четыре метода — калибровку разницы между токенами с нормализацией по длине, лексический базовый n-gram метод, семантическую энтропию и SelfCheckGPT-NLI — на Llama-3.2-3B-Instruct и Qwen2.5-3B-Instruct в 4-битном NF4 квантовании, оценивая на TriviaQA. По данным arXiv, перенос рангов между моделями оказался отрицательным: Spearman rho −0.80, Kendall tau-b −0.667. Проще говоря, какой детектор лучший на одной модели, на другой становится худшим.
Отдельный сюрприз — дешёвый n-gram статистически неотличим от дорогих методов на основе выборки на обеих моделях при bootstrap 95% доверительных интервалах. И это не провал детекторов: стандартная система разметки для TruthfulQA-Generation на основе перекрытия токенов с вариантами ответа дала близкий к случайному AUROC 0.46–0.59, а на TriviaQA те же детекторы достигли 0.69–0.89 — разница в разметке, а не в качестве детектора.
Авторы выложили harness, промпты и оценки по каждому примеру и формулируют выбор детектора как задачу распределения ошибок для практиков на устройстве. Для воспроизводимости всё умещается в одну GPU T4, что само по себе аргумент против погони за сложными методами на этом классе железа.
Научные бенчмарки детекторов галлюцинаций — это карта местности, которую нарисовали с высоты 70B параметров, а в проде вы едете по грунтовке на 3B с 4 битами. Практикам стоит не переносить рейтинги, а гонять собственный калибровочный A/B на целевой модели — и, возможно, начинать с n-gram, прежде чем платить за семантическую энтропию.
#hallucination #quantization #ondevice #LLM
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.