Проблема «узкого горлышка» наблюдения
Создание персонального ИИ-агента требует глубокой модели целей, ограничений и обязательств пользователя. Однако качество этой модели ограничено тем, что система может наблюдать. Авторы статьи подчеркивают: простое расширение объема собираемых данных не улучшает помощь. Ограниченная система должна отбирать и сжимать информацию, что создает так называемое «узкое горлышко наблюдения».
Решение: Кооперативное наблюдение
Авторы предлагают концепцию Cooperative Observation (кооперативное наблюдение). Это не пассивный сбор данных, а динамическая петля обратной связи между полезностью системы, доверием пользователя и будущим доступом к информации. Механизм работает следующим образом:
- Система строит частичную модель меняющейся жизни пользователя.
- Пользователь оценивает действия ИИ.
- Согласие и контроль пользователя определяют, какие данные будут доступны системе в будущем.
Эмпирические данные: Прототип Organizm
Для проверки гипотезы исследователи использовали прототип Organizm в течение шести месяцев. Результаты одного субъекта (single-subject account) показывают, что поведение ИИ, которое является полезным и прозрачным (inspectable), дает пользователям причину расширять канал наблюдения. Напротив, ошибки приводят к коррекции, сужению доступа или полному отказу от использования.
Значение для индустрии
Эта работа сдвигает фокус с технической оптимизации моделей на социально-технические аспекты взаимодействия. Качество персонального ИИ теперь зависит не только от алгоритмов, но и от способности системы выстраивать доверие, которое напрямую конвертируется в доступ к данным, необходимым для принятия решений.
Источник: arXiv cs.AI ↗