Google DeepMind представил новую научную работу "Measuring Progress Toward AGI: A Cognitive Taxonomy", предлагающую системный подход к оценке прогресса в создании искусственного общего интеллекта (AGI). Авторы утверждают, что для объективного измерения «общего интеллекта» необходимо опираться на десятилетия исследований в области психологии и нейробиологии, а не только на традиционные бенчмарки.
Десять столпов когнитивного интеллекта
В основе фреймворка лежит когнитивная таксономия, выделяющая 10 ключевых способностей, необходимых для AGI. Система оценивает модели по шкале, сопоставляя их результаты с демографически репрезентативной выборкой людей. Выделены следующие категории:
- Perception (Восприятие): извлечение и обработка сенсорной информации.
- Generation (Генерация): создание текста, речи и действий.
- Attention (Внимание): фокусировка ресурсов на значимых данных.
- Learning (Обучение): приобретение знаний через опыт.
- Memory (Память): хранение и извлечение информации во времени.
- Reasoning (Рассуждение): логический вывод заключений.
- Metacognition (Метакогниция): мониторинг собственных когнитивных процессов.
- Executive functions (Исполнительные функции): планирование, гибкость и торможение.
- Problem solving (Решение проблем): поиск решений в специфических доменах.
- Social cognition (Социальное познание): интерпретация социальной информации.
Пробелы в оценке и хакатон
Наибольшая сложность при текущем состоянии технологий наблюдается в оценке таких способностей, как метакогниция и социальное познание. Чтобы закрыть этот разрыв, DeepMind совместно с Kaggle запускает хакатон "Measuring progress toward AGI: Cognitive abilities". Участникам предлагается разработать оценки для пяти самых сложных областей: обучения, метакогниции, внимания, исполнительных функций и социального познания.
Для тестирования решений будет доступна новая платформа Kaggle Community Benchmarks, позволяющая проверять оценки на передовых моделях.
Условия участия и сроки
Общий призовой фонд конкурса составляет $200,000. Распределение средств выглядит следующим образом:
| Категория награды | Сумма | Количество победителей |
|---|---|---|
| Призы за топ-2 в каждой из 5 треков | $10,000 | 10 (по 2 на каждый трек) |
| Гран-при (лучшие 4 работы) | $25,000 | 4 |
| Итого | $200,000 | 14 |
Прием заявок открыт с 17 марта по 16 апреля 2026 года. Результаты будут объявлены 1 июня. Инициатива направлена на создание эмпирических инструментов, которые помогут научному сообществу точнее понимать, насколько мы близки к созданию систем с общим интеллектом.
Источник: Google DeepMind ↗