За 11 недель агент нашёл 77 ошибок, человек — 16
📊 За 11 недель агент нашёл 77 ошибок, человек — 16
Одиннадцать недель автор статьи на Habr вёл дневник каждой сессии с Claude Code, используя открытый набор навыков paranoid-qa, который заставляет агента тестировать с доказательной дисциплиной. Итоговый счёт: агент отработал 277 часов и подтвердил 77 дефектов, человек — 213 часов и 16 дефектов плюс один совместный. Автор предупреждает: первая версия подсчёта находок оказалась завышенной почти вдвое — до подтверждения доходит примерно каждый третий кандидат, выдвинутый агентом. Считать нужно только окончательные выводы сессий, промежуточные списки врут. Час работы агента обошёлся примерно в 80 рублей при подписке Max 5x за 100 долларов в месяц, но на каждый час агента ушло 0.77 часа человеческого времени на постановку задач, разбор и проверку.
→ Экономия на тех же задачах: ~16% — N × 0.77 человеко-часов + N × 80 ₽ вместо N часов по 1200 ₽/час
→ Результативность: сверка с эталоном — 1.36 находки/час, проверки интерфейса — 0.60, проектирование тестов — 0
→ Пропуски агента: 6 за 11 недель (8% от 77), все шесть нашёл человек; два из них — при повторной проверке, когда агент не пересматривает блок целиком
→ Из ~130 кандидатов, выдвинутых агентом, до подтверждения дошла треть; остальных отсеяли повторные проверки
Главный результат этих 11 недель — не скорость, а покрытие: агент проверяет то, что человек физически не успевает, и за счёт этого растёт общее качество, а не производительность одного тестировщика. Промежуточные показатели агентов врут почти вдвое — если ваша команда отчитывается по журналам без ручной фильтрации, ваши цифры дефектов завышены.
#ClaudeCode #AIагенты #QA #тестирование #paranoidqa
Такие разборы выходят в канале каждый день — коротко и со ссылкой на первоисточник.