📊 SWE-Bench Pro показал проблемы с надёжностью оценки кода Новый анализ OpenAI вскрывает проблемы в SWE-Bench Pro — одном из главных бенчмарков для оценки способности моделей решать реальные задачи программной инженерии. Команда утверждает, что метрика настолько зашумлена, что сравнение двух сильных моделей часто неотличимо от случайного угадывания. Причина — в способе отбора и разметки задач: часть тестов либо недоопределена, либо имеет несколько равноправных решений, которые автоматическая проверка отметает как неверные. В результате модель, набравшая 31%, может объективно быть не слабее той, что получила 34%, — разница лежит в пределах шума. Практический эффект: лидерборды SWE-Bench Pro дают иллюзию точности, а при выборе модели для реальной кодовой базы эта иллюзия бьёт по продукту. Лаборатории гонятся за приростом в пару процентных пунктов, тратят ресурсы на оптимизацию под тестовый набор, но в боевых условиях это не конвертируется в меньшее количество багов или быстрее закрытые PR. Аналитики OpenAI предлагают пересмотреть структуру бенчмарка: ввести оценку на частично совпадающих патчах, перейти к ранжированию по нескольким запускам и добавить метрику «реальная полезность» — когда изменение кода проходит конвейер CI/CD, а не просто сравнивается с эталонным скриптом. SWE-Bench Pro долгое время казался золотым стандартом, но теперь видно обратное — он измеряет не столько способность к разработке, сколько умение играть в угадайку с автотестами. Шум в бенчмарках кода — не баг, а структурное ограничение, если не учитывать стохастическую природу современных LLM. Интересно, что сигнал тревоги подаёт сама OpenAI — компания, модели которой традиционно доминируют на этом же бенчмарке. Это либо жест доброй воли, либо защита от будущих сравнений на поле, где преимущество тает. OpenAI #SWEBench #OpenAI #benchmark #code