Скандал в отчёте: 25% задач — «мертвые зоны»
В «Отчёте о безопасности и безопасности Gemini 4 Argon» (стр. 67) Google DeepMind признала критический недостаток внутреннего бенчмарка GRB (Google RE-Bench). Оказалось, что около четверти (25%) проверенных задач содержали ошибки, делающие их прохождение невозможным для любой модели. Среди проблем: crashing verifiers (падение верификаторов) и неверные эталонные ответы.
Дополнительно, несколько задач оценивались по критериям, которые не были указаны в условии. Это создаёт риск ложноотрицательных результатов — модель могла быть оценена ниже её реальных возможностей.
Почему это важно для RSI (Recursive Self-Improvement)
Главный вопрос для индустрии — достигла ли модель порога ML R&D Automation (полная автоматизация исследований ИИ). Google установила консервативный порог в 90% успешных решений, чтобы учесть возможные ошибки в тестах. Однако, если 25% тестов сломаны, математика безопасности становится шаткой.
Google утверждает, что даже если засчитать все «сломанные» задачи как выполненные, Gemini 4 всё равно не достигает порога. Но детали расчётов скрыты, так как бенчмарк GRB является внутренним и недоступен для независимой проверки.
Реальные метрики производительности
Из-за инфраструктурных таймаутов Google не смогла предоставить единый показатель pass@1 для всего набора. Однако из отчёта можно извлечь следующие конкретные данные:
| Метрика / Параметр | Значение / Описание |
|---|---|
| Версия модели | Gemini 4 Argon |
| Бенчмарк | GRB (Google RE-Bench), 74 задачи |
| Доля «сломанных» задач | ~25% (содержат баги, делающие задачу непроходимой) |
| Успешность завершенных попыток | ~50% (с искажением в сторону более коротких задач) |
| Сравнение с Gemini 3.7 Flash | На завершенных задачах производительность сопоставима (3.7 Flash имела 27% pass@1 на полном наборе) |
| Порог CCL (Critical Capability Level) | 90% (не достигнут даже при идеальном сценарии) |
Вывод: Безопасность или иллюзия?
Google делает вывод, что угроза рекурсивного самосовершенствования (RSI) исключена. Однако эксперт Саймон Мендельсон (LessWrong) указывает на тревожный контекст: часть оценок проводилась на чекпоинтах всего за 10 и 6 дней до финальной версии модели. Это говорит о том, что даже при наличии лучших инженеров Google, качество тестирования страдает от спешки и внутренних ограничений инфраструктуры.
Отчёт подтверждает, что Gemini 4 Argon обладает значительными способностями в ML R&D, но пока не является «автономным исследователем». Тем не менее, наличие 25% неработающих тестов в критически важном для безопасности бенчмарке вызывает вопросы к методологии валидации будущих версий.
Источник: LessWrong ↗