Масштабный эксперимент с ИИ-агентами
Компания Anthropic провела амбициозное исследование, в рамках которого развернула 950 независимых агентов на базе модели Claude. Эксперимент длился 21 час и был направлен на автоматизированный поиск новых биологических механизмов. В результате работы ИИ-система выявила наличие ранее неизвестной ферментативной системы, структурно напоминающей CRISPR, что потенциально может открыть новые горизонты в генной инженерии.
Проблема воспроизводимости: 10 провалов подряд
Несмотря на успешное первоначальное обнаружение, ключевая проблема исследования заключается в надежности выводов. При попытке воспроизвести результат с помощью того же пайплайна и модели Claude, система дала сбой в 10 из 10 повторных запусков. Это указывает на то, что ИИ, вероятно, сгенерировал ложноположительный результат (hallucination) или опирался на шум в данных, а не на устойчивую биологическую закономерность.
Почему это важно для науки и AI
Этот случай ярко иллюстрирует текущие ограничения больших языковых моделей в научных исследованиях. Хотя ИИ способен находить сложные паттерны, отсутствие воспроизводимости ставит под сомнение его роль как самостоятельного исследователя. Для научного сообщества это сигнал о необходимости строгой верификации гипотез, сгенерированных ИИ, с использованием традиционных лабораторных методов.
| Параметр | Значение |
|---|---|
| Количество агентов | 950 |
| Длительность эксперимента | 21 час |
| Обнаруженное открытие | CRISPR-подобная ферментативная система |
| Успешность воспроизведения | 0 из 10 попыток |
Выводы
Инцидент с Claude демонстрирует, что автоматизированный научный поиск требует дополнительных слоев контроля. Открытие новой биологической системы — это лишь первый шаг, за которым должна следовать строгая экспериментальная проверка, так как текущие модели ИИ все еще подвержены ошибкам генерации, которые не всегда очевидны на этапе первичного анализа.
Источник: Towards AI pub ↗