📊 Четыре модели на пяти задачах: цена не равна скорости и качеству Автор на Habr проверил четыре модели одного семейства — Haiku 4.5, Sonnet 5, Opus 5 и Fable 5.1 — на пяти рутинных задачах на Python, по два запуска для каждой. В 32 запусках из 32 все модели справились с четырьмя задачами: разбиение на страницы, переименование с getattr, нормализация телефона, переработка кода. Разница проявилась только в задаче с делением счёта, где требовалось учесть отрицательные суммы: младшая модель оба раза ошиблась, а старшие заметили подвох и объяснили решение. При этом самая дорогая модель Fable 5.1 оказалась самой быстрой — 341 секунда против 395 у самой дешёвой Haiku, потому что генерировала почти вдвое меньше токенов (23 010 против 39 137). Но цена за токен эту скорость не предсказывает: вторая по цене Opus 5 была самой медленной, 557 секунд. → Решено: Haiku 4.5 — 8/10, Sonnet 5 — 9/10, Opus 5 — 10/10, Fable 5.1 — 10/10 → Время (10 запусков): 395 с, 450 с, 557 с, 341 с → Цена к младшей: 1×, 3.3×, 6.9×, 8.8× → Токены размышлений: Haiku 18 754, Fable 2 674 Главный вывод не в том, что «умные модели не нужны», а в том, что на рутине с чёткими тестами вы платите за разницу, которая проявляется только в неоднозначных требованиях. Считать нужно не цену за токен и даже не токены в секунду, а стоимость полностью завершённой задачи — и у младшей модели она на порядок ниже при одинаковом результате. Но как только в ТЗ появляется «и для отрицательных», экономия оборачивается скрытым тестом, который дешёвая модель не заметит. Habr #Claude #Haiku #Sonnet #Opus #ценаинференса