📊 OpenAI представила GeneBench-Pro — бенчмарк ИИ в реальной геномике OpenAI выпустила GeneBench-Pro — набор тестов, оценивающий модели на комплексных научных данных из биологии, геномики и смежных дисциплин. От обычных NLP-бенчмарков его отличает упор на сырые экспериментальные датасеты: секвенирование, предсказание пространственной структуры, поиск мутаций. По данным openai_news, бенчмарк создан, чтобы измерять реальную применимость ИИ в лабораторной практике, а не соревноваться в абстрактных метриках. Деталей о составе датасетов и метриках пока не раскрыли — это типичный для OpenAI подход «сначала анонс, потом статья». Но сам факт появления доменного бенчмарка говорит о попытке выйти за пределы чат-интерфейсов. В научной среде критикуют LLM за ошибки в фактах, галлюцинации и слабую работу с длинными цепочками причинности — именно такие сценарии, вероятно, заложены в GeneBench-Pro. Если тесты окажутся действительно сложными и валидированными, они могут стать стандартом для оценки «научного» мышления моделей. Но здесь же и главное ограничение: результаты бенчмарка не скажут, готова ли модель заменить исследователя. Лабораторная работа — это цикл «гипотеза → эксперимент → интерпретация → ошибка → пересмотр», а не однократный прогон по тестам. Бенчмарки такого класса поднимают планку для ИИ именно там, где цена ошибки крайне высока — в биомедицине. Но не стоит ждать, что оценка на GeneBench-Pro станет пропуском в клиническую практику: валидация, воспроизводимость и аудит безопасности модели всё равно потребуют отдельных процедур. Вопрос в том, насколько быстро разработчики начнут гоняться за баллами в ущерб реальной надёжности. #GeneBench #AI #геномика #бенчмарк #OpenAI