Проблема: от статичных профилей к живым цифровым следам
Оценка безопасности и точности больших языковых моделей (LLM) в личных задачах затруднена из-за приватности и фрагментарности данных. Авторы исследования, опубликованного в arXiv (29 октября 2026 г.), предлагают решение — P-ContextBench. В отличие от традиционных подходов с явными статичными профилями, новый бенчмарк использует «цифровых людей», чьи черты, рутина и цели скрыты в фрагментарных записях из мобильных приложений, имитирующих реальную жизнь.
Масштаб и структура данных
Бенчмарк создан на основе демографических данных населения США, что обеспечивает репрезентативность. Генерация персонажей и тестовых случаев проходит через многоэтапную валидацию, проверяющую правдоподобие, сохранение улик и отсутствие утечек информации. Ключевые метрики датасета:
| Параметр | Значение |
|---|---|
| Количество персонажей (персон) | 100 |
| Скрытых фактов для извлечения | 10 088 |
| Фрагментов записей из приложений | 18 261 |
| Верифицированных тестовых случаев | 4 810 |
Пять ключевых способностей для оценки
P-ContextBench измеряет не просто знание фактов, а комплексное понимание контекста. Модель должна продемонстрировать навыки в следующих областях:
- Одноисточниковое восстановление: Нахождение факта в одном фрагменте данных.
- Многоисточниковое восстановление: Агрегация информации из разных записей.
- Отслеживание временного состояния: Понимание изменений во времени (например, «раньше жил в NY, теперь в LA»).
- Вывод паттернов: Инференс высокоуровневых привычек из рутины.
- Безопасное поведение: Отказ или предупреждение при запросах, конфликтующих с ограничениями персонажа.
Результаты: SOTA-модели не справляются
Тестирование самых эффективных на данный момент (SOTA) LLM, предназначенных для личных агентов, выявило критические пробелы. Точность моделей в задачах отслеживания времени, вывода паттернов и принятия решений с учетом ограничений составила менее 60%. При этом в трех повторных запусках менее 10% тестовых случаев были решены верно. Это указывает на нестабильность современных моделей в работе с динамическим личным контекстом, что создает риски для безопасности пользователей.
Значение для индустрии
P-ContextBench устанавливает новые измеримые цели для разработчиков. Без улучшения этих метрик внедрение ИИ-агентов, работающих с личной информацией, останется рискованным. Бенчмарк поддерживает масштабируемую генерацию, позволяя тестировать модели на различных демографических группах и объемах данных.
Источник: arXiv cs.AI ↗