На $90 тысяч прогонов разница между техниками тестирования — шум
📊 На $90 тысяч прогонов разница между техниками тестирования — шум
Автор прогнал кодинг-агентов на GPT-6 Astra по 25 условиям в задаче pandoc: каждое условие — 25 запусков на уровне усилий Ultra, в среднем около 14 ходов до финала. По розничным ценам эксперимент обошёлся примерно в $90 тысяч. Ни одно условие не дошло до 100% пройденных скрытых тестов, поэтому сравнивали долю пройденных — и вот тут начинается интересное.
→ Лучшее условие: Differential — 45,1% скрытых тестов, $157 за прогон
→ Default (без указаний, как тестировать) — 44,1%, $156
→ Худшие: TDD — 40,5%, Mutation — 40,6%
→ Видимые тесты у Default — 67,6%, лучший результат в срезе
Разброс между первым и последним местом — меньше пяти процентных пунктов при 25 прогонах на условие. Автор прямо пишет: настоящая неопределённость по каждому условию больше, чем показывают бутстрэп-интервалы на графиках, и разницу в доли процента нельзя принимать за разницу между техниками. При этом условий, обошедших Default, так много, что одно-два из них, вероятно, обходят его по-настоящему — но какие именно, из этих данных не достать. Данных хватает только на то, чтобы сказать: техника перестала вредить.
Ломается и самое приятное объяснение. TDD отстал, но встроенное — условие, где агент тоже плодит много мелких тестов, — дал 42,5%, то есть гипотеза «много мелких тестов = хуже обобщение» не подтвердилась. Differential и правда заставил агентов разбирать граничные условия и писать тесты, которые эти границы реально проверяют, а QuickCheck и Proptest впервые дали то, чего от property-based тестирования ждут. ACL2 (средство доказательства теорем) обошёл Lean 4: 44,1% против 42,3%.
Отдельно досталось завирусившемуся тезису «запретите агентам писать тесты». Он опирался на бенчмарк DeepSWE с Sonnet 5.5 High, где отказ от тестов дал ту же корректность и экономию в среднем 9% — на задачах, которые заметно легче pandoc. Плюс проверяющая система DeepSWE ломается, если имя добавленного агентом теста совпадёт с именем секретного теста: добавление тестов наказывается устройством бенчмарка, а не качеством кода.
Настоящий сдвиг произошёл не между техниками, а между поколениями модели. На реализации Zstd по RFC 5.6 Sol на уровне medium тратил $3,50 и добивался полной корректности в 63% случаев, на xhigh — $5,50 и 77%. Astra на medium укладывается в $1 и проходит все тесты более чем в 99% прогонов. Техника тестирования — это в лучшем случае способ заставить модель дольше думать; способность думать приходит из чекпоинта.
Из этого следует неудобное: индустрия советов «пиши TDD с агентом», «добавь фаззинг», «дай ему Lean» построена на выборках, где эффект меньше шума. Если разница между техникой и её отсутствием — 4 процентных пункта при 25 прогонах, то любой такой совет — ставка на удачу конкретного репозитория, а не воспроизводимый метод. И проверить это дешевле, чем кажется: $90 тысяч тут ушли на 25 условий, а один вопрос «стало ли лучше у меня» стоит нескольких сотен долларов прогонов. Для команд, которые платят за инференс через агрегаторы, даже такая сумма — заметная строка бюджета, и это ещё один аргумент в пользу локальных весов.
Habr
#AIагенты #тестирование #бенчмарки #LLM #инференс
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.