Проблема устаревающих гайдлайнов
В эпоху массового внедрения LLM-агентов в рабочие процессы возникла проблема: существующие рекомендации по промпт-инжинирингу либо строятся на теоретических моделях, либо основаны на узких эмпирических наблюдениях. Поскольку возможности моделей растут экспоненциально, статические инструкции быстро теряют актуальность. Авторы работы Hunter McNichols, Kai Du и Andrew Lan предлагают перейти от теории к данным, выявляя реальные паттерны успешного сотрудничества.
Методология: Principal Trait Analysis (PTA)
Команда разработала алгоритм PTA, вдохновленный методом главных компонент (PCA). Вместо ручного кодирования, система анализирует корпусы трассировок (traces) сессий взаимодействия человека и ИИ. Алгоритм:
- Использует LLM для обработки диалогов;
- Выявляет общие черты (traits) поведения пользователей;
- Скорит стиль каждого пользователя по этим чертам;
- Позволяет внедрять экспертные знания на этапе обнаружения черт;
- Отбирает наиболее различимые черты, демонстрирующие максимальную дисперсию среди участников.
Эмпирическая проверка
PTA была протестирована на двух разнородных наборах данных, что подчеркивает универсальность подхода:
| Среда | Участники | Инструмент | Цель исследования |
|---|---|---|---|
| Образовательная | Студенты | AI-репетитор | Оценка эффективности обучения |
| Профессиональная | Разработчики | AI-агент для кода | Прогнозирование успешности задач |
Результаты и ограничения
Анализ показал, что выявленные PTA черты статистически значимо объясняют поведение коллабораторов в обеих средах и могут использоваться для прогнозирования исхода задач. Однако авторы делают важное предупреждение: пока нельзя однозначно утверждать, что эти черты являются «навыками» (skills). Результаты по обобщаемости (generalizability) и изменчивости черт пользователя во времени остаются неоднозначными. Это открывает поле для дальнейших исследований в области оценки компетенций в эпоху Human-AI collaboration.
Источник: arXiv cs.CL ↗