🧠 Аудит бенчмарков хрупок: пять невидимых сбоев, искажающих выводы По данным свежего препринта на arXiv, проверки корректности бенчмарков, построенные на пертурбациях, сами страдают от скрытых дефектов. Исследователи провели самопроверку на двух открытых инструктивно-дотюненных моделях и пяти бенчмарках безопасности, выявив пять классов отказов (F1–F5), которые не видны в публикуемых цифрах. Применив единый шестипунктовый критерий надлежащей осмотрительности, авторы обнаружили, что ни одна комбинация модель-бенчмарк не достигает подтверждающего статуса — все попадают в категорию неподтверждённых. Это не исчерпывающая таксономия, а намеренно ограниченная демонстрация: любая проверка может неявно сфабриковать вывод через детали конвейера обработки, которые читатель отчёта не в силах перепроверить. → Самопроверка: 2 модели, 5 бенчмарков безопасности → 5 классов сбоев (F1–F5), ни один кейс не прошёл критерий надлежащей осмотрительности → Все ячейки — неподтверждённые, подтверждённые — ноль Авторы не ставят крест на бенчмарках — они показывают, что проверка, лишённая прозрачности конвейера обработки, рискует превратиться в ритуал. Пока индустрия не стандартизирует раскрытие инженерных решений на каждом шаге валидации, любая «независимая проверка» безопасности модели может оказаться просто хорошо оформленным шумом. #валидность #бенчмарки #безопасностьИИ #аудит #arXiv