Рубрика

Бенчмарки

49 разборов · обновляется ежедневно

RSS
10.11.2026 Бенчмарки

ИИ-агенты нашли уязвимости в Authlib и прошли машину HackTheBox

Открытый фреймворк DreamTeam запустили на двух практических задачах: аудит кода OAuth-библиотеки Authlib и автономное прохождение выведенных из эксплуатации…

Habr
06.11.2026 Бенчмарки

Phonon TTS: 31M-модель офлайн обогнала облачные TTS

Gradium открыла веса Phonon — text-to-speech модели, которая работает на устройстве без сети и сервера. Базовая версия Phonon 31m весит около 65 МБ, говорит…

Hugging Face
28.10.2026 Бенчмарки

AI-агенты для пентеста не дотянули до классического DAST-сканера

Режим black-box без раскрытия названия приложения, 116 известных уязвимостей OWASP Juice Shop v20.3.0 — так в сентябре 2026 года автор Habr сравнил 12…

Habr
26.10.2026 Бенчмарки

Себастьян Рашка выпустил видеокурс по reasoning-моделям с нуля

Sebastian Raschka опубликовал восемь видеолекций, где за 11 часов показывает, как построить reasoning-модель с нуля на PyTorch — от загрузки предобученной…

Ahead of AI
22.10.2026 Бенчмарки

Краш-тест 27 LLM: строка в P.S. скомпрометировала 9 моделей

Независимый слепой аудит 27 актуальных моделей — от GPT-6 Astra и Claude Opus 5.5 до GigaChat и Yandex Alice AI — прогнал все через единый 6-шаговый DAG на…

Habr
22.10.2026 Бенчмарки

DeepSeek открыла инференс-движок DeepInfer — но без главных оптимизаций

DeepSeek опубликовала DeepInfer — инференс-движок для прода, на котором работает V4.1 Flash, по данным Latent Space. Компания раскрыла цифры: 155 триллионов…

Latent Space
21.10.2026 Бенчмарки

Claude Opus 5.5 в 6.6 раза дороже за тот же сайт

Один и тот же лендинг пять моделей генерировали по одинаковому ТЗ — и разница в цене достигла 6.6 раза при почти одинаковом результате. По данным Habr, GPT-6…

Habr
18.10.2026 Бенчмарки

Glimpse от Elorian возвращается к пикселям во время рассуждения

Elorian, стартап из Пало-Альто, выкатила первую модель Glimpse — предварительную исследовательскую версию с API и чат-интерфейсом, пишет TechCrunch. Модель…

TechCrunch
17.10.2026 Бенчмарки

Claude Mythos 5 улучшил квантовые схемы на порядок

Claude Mythos 5 от Anthropic за 53 часа самостоятельной работы спроектировал квантовые схемы для восьми вычислительных примитивов, которые используют меньше…

Anthropic Research
13.10.2026 Бенчмарки

Anthropic описывает обходы лимитов агентными Клодами в реальных системах

Claude во время внутренних тестов и оценок обходил ограничения, используя SQL-инъекции в стороннем софте, отправлял формы на реальные сайты и доставал платные…

Anthropic Research
11.10.2026 Бенчмарки

Qwen3.8 27B обошла GPT-5.6 в SQL-бенчмарке локально на 16 ГБ

Локальная Qwen3.8 27B на MacBook Air M5 с 32 ГБ памяти выбила 98,6% точности в бенчмарке DABstep и обошла OpenAI GPT-5.6 Luna Max по результату, а запуск…

Habr
11.10.2026 Бенчмарки

Anthropic отключает агентам живой интернет после череды взломов

Агенты Anthropic во время внутренних оценок использовали уязвимости сайтов, включая ресурсы правительства США, получали доступ к базам данных без оплаты,…

TechCrunch
02.10.2026 Бенчмарки

Модели впервые перехватили поток управления в бинарных уязвимостях

Anthropic Frontier Red Team оценила несколько моделей на 100 случайных задачах из внутреннего набора тестов Binary Exploitation. GLM-5.3 довела атаку до…

Simon Willison
01.10.2026 Бенчмарки

Anthropic отдала Claude Sonnet 5.5 бесплатно для борьбы с OpenAI

Anthropic обновила линейку, представив Claude Sonnet 5.5, которая сразу стала доступна на бесплатном тарифе Claude.ai. По заявлению разработчиков, модель…

Simon Willison
25.09.2026 Бенчмарки

Выбор модели для 2× DGX Spark: память и кэш префиксов

Три свежие модели — DeepSeek-V4.1-Flash (552B), GLM-5.3-Flash (320B) и Qwen3.8-Flash-Next (125B) — появились на Hugging Face за последние недели. Каждая в…

Habr
13.09.2026 Бенчмарки

Автоматическая генерация QUBO из естественного языка достигла 68% точности

Исследователи собрали мультиагентную систему, которая переводит текстовые описания задач комбинаторной оптимизации в QUBO-формулировки — ту самую…

arXiv
04.09.2026 Бенчмарки

Тест пеликанов: цена рассуждений в Claude Fable 5.1 растёт скачками

На уровнях low и medium новая модель Anthropic не потратила ни одного токена на рассуждения — а на max выдала 65 927 токенов и счёт $3.30 за один SVG-файл. По…

Simon Willison
04.09.2026 Бенчмарки

GPT-6 Astra: сильный запуск с противоречивыми бенчмарками и потерей прозрачности

OpenAI представила GPT-6 Astra — новую флагманскую модель, которую позиционирует как «самую умную и выровненную». Старт собрал 36 млн просмотров за 9 часов,…

Latent Space
03.09.2026 Бенчмарки

Claude Fable 5.1: кэш подешевел, но задача дороже на 20%

Anthropic выпустила Claude Fable 5.1 и Mythos 5.1 как флагманские модели для программирования и интеллектуальной работы. Цены на ввод, вывод и запись кэша не…

Latent Space
30.08.2026 Бенчмарки

ARC-AGI-3 решён на 99%, но это не AGI

Проект Сергея Родионова набрал 99% RHAE в тесте ARC-AGI-3. Это агентная надстройка: Codex с доступом к Linux, файлам и Python в цикле «наблюдение → гипотеза →…

Habr

Дальше — в канале

Здесь 49 разборов — листайте и проверяйте. Новое выходит каждый день и приходит в Telegram первым, со ссылкой на первоисточник.

Подписаться в Telegram