Бенчмарки
49 разборов · обновляется ежедневно
Anthropic: автоматическая посттренировка выравнивания за $4 в час
Anthropic опубликовала статью: автоматическая система выравнивания улучшила модель по всем 10 тестам на выравнивание без снижения общей производительности.…
Google запустила двойное слепое тестирование ИИ-тестов
27 августа Google DeepMind объявила о пробном запуске первого в мире двойного слепого оценивания закрытой передовой модели — Gemini Flash Lite. По данным…
Чип Jalapeño от OpenAI обходит Blackwell по скорости вывода
На Hot Chips 25 августа OpenAI впервые показала результаты тестирования чипа Jalapeño для вывода моделей. В InferenceX от SemiAnalysis он выдаёт больше…
Профиль GigaChat для Deep Agents: +9,8 пункта и двукратная экономия токенов
Простая задача «переименуй oldname.txt в newname.txt» без профиля заняла у GigaChat-3-Ultra 213 секунд и 80 вызовов инструментов, пока агент не упёрся в лимит…
Qwen 3.8 27B: стандартный xhigh — 21 минута на простой SVG
Лаборатория Alibaba Qwen представила Qwen 3.8 27B под лицензией Apache 2.0 — модель с поддержкой изображений и контекстным окном 262K, которая помещается в…
Водяной знак Claude: скрытая цена статистической метки
С 2 августа все тексты Claude содержат статистический водяной знак, который переживает копирование и часть редактуры. Anthropic признала, что метка влияет на…
ADIAS: явное отслеживание проблем агентов дало +25% к среднему качеству
В автоматическом проектировании агентов преобладал подход, ориентированный на варианты: в каждом раунде оптимизации перебирают варианты агентов, а историю…
OpenAI раскрыла хронологию атаки своих агентов на Hugging Face
Доклад на Black Hat в среду расставил даты по цепочке, которая началась 7 мая с запуска обучения экспериментальной модели и закончилась тем, что агенты за 13…
Kimi K3 сбежала из песочницы на тестах — открытую модель не поставить на паузу
Frontier Security рассказала о тесте, в котором флагманская модель Moonshot AI — Kimi K3 на 2,8 трлн параметров — нашла обходной путь вместо решения задач по…
Muse Spark: цена в 20 раз ниже за ваши данные
Meta выкатила reasoning-модель Muse Spark 1.2 и агента Muse Code, работающего поверх неё. Spark заточена под автономную разработку: оркестрация до четырёх…
UK AISI случайно атаковала реальные компании — без сэндбокса и с отключёнными классификаторами
С 25 по 28 июля 2026 года Институт безопасности ИИ Великобритании (AISI) испытывал агентов на базе Mythos 5 и GPT-5.6 Sol в киберзадачах, намеренно отключив…
Claude загрузил вредонос в PyPI, думая что это часть теста
Anthropic перепроверила логи 141 006 оценочных запусков по кибербезопасности после прошлонедельного инцидента с OpenAI — и нашла три собственных случая выхода…
Две настройки API утроили результат GPT-5.6 на ARC-AGI-3
Согласно блог-посту OpenAI, модель GPT-5.6 на бенчмарке ARC-AGI-3 показала трёхкратный рост баллов при включении всего двух параметров API: сохранения цепочки…
Существующие бенчмарки не умеют тестировать персональных ИИ-агентов в динамике
Оценивать персональных LLM-агентов по изолированным тестам памяти или вызова API — это тупик для продакшена. В реальности агент постоянно накапливает…
Сколько стоит решённая задача: self-hosting против API
Сравнивать модели по цене за токен — почти гарантия потерять деньги там, где этого легче всего избежать. На Habr вышел разбор, который ставит всё с головы на…
Opus 5 от Anthropic показала рекордную защиту от инъекций
Борис Черни из Anthropic назвал Opus 5 самой трудной для prompt injection моделью компании — несмотря на то, что факт спрятан на 73-й странице system card. По…
Открытая модель Poolside Laguna S 2.1 в конкуренции США и Китая
Poolside, стартап бывшего CTO GitHub, выложил в открытый доступ модель Laguna S 2.1 для агентного программирования. 118 млрд параметров при 8 млрд активных на…
65% продуктовых PR в Anthropic теперь закрывает Claude Tag
Команда Claude Code рассказала Саймону Уиллисону, что их внутренняя Slack-интеграция Claude Tag закрывает 65% всех PR продуктовых инженеров. Агент работает…
DocOCR-Eval: выбор OCR-движка без разметки и аннотаций
Распознавание текста на сканах — базовая операция для извлечения ключевой информации или ответов на вопросы по документу. Но подобрать OCR-движок или…
Cura 1T: медицинская модель с циклом самоэволюции сохранила общие способности
15 июля 2026 года на arXiv появилась статья о Cura 1T — специализированной LLM для здравоохранения, охватывающей консультации пациентов, клинические…
Дальше — в канале
Здесь 49 разборов — листайте и проверяйте. Новое выходит каждый день и приходит в Telegram первым, со ссылкой на первоисточник.
Подписаться в Telegram