Проблема хаотичного промптинга
Использование больших языковых моделей (LLM) для качественного анализа (qualitative coding) часто сводится к разовым запросам без четких инструкций, что ведет к низкой надежности результатов. Исследователи из команды Cheng Tang предлагают решение — Smart Coder Framework. Это трехфазный подход, который структурирует взаимодействие человека и ИИ через этапы: Instruction (инструкция), Prompt Strategy (стратегия промпта) и Reliability Check (проверка надежности).
Методология и масштаб исследования
Для валидации фреймворка авторы использовали набор из 72 транскриптов интервью с учителями математики средней школы. Данные были разделены: 12 записей пошли на разработку и калибровку промптов, а 60 — на формальную оценку. В качестве «золотого стандарта» выступал бенчмарк, основанный на консенсусе человеческих кодировщиков.
Эксперимент строился на факторном дизайне, где сравнивались три ключевых параметра:
- Наличие или отсутствие инструкций (instructed vs. uninstructed).
- Тип промпта: few-shot (примеры) против few-shot + chain-of-thought (цепочка рассуждений).
- Количество проходов: однократное кодирование против self-consistency (самоконсистентность, где модель генерирует несколько вариантов и выбирает наиболее частотный).
Ключевые метрики и результаты
Результаты показали, что наличие четкой инструкции стабильно повышает уровень согласия между моделью и человеком. Добавление цепочки рассуждений (Chain-of-Thought) дало дополнительный прирост надежности, но только при наличии достаточной инструкции. Self-consistency продемонстрировала меньший, но значимый прирост, зависящий от темы, и особенно полезна для выявления нестабильных решений, требующих человеческого контроля.
| Компонент фреймворка | Влияние на надежность (Agreement) | Примечание |
|---|---|---|
| Instruction (Инструкция) | Стабильное улучшение | Базовый фактор успеха |
| Chain-of-Thought | Дополнительное улучшение | Эффективно только при наличии инструкции |
| Self-Consistency | Умеренный рост | Помогает выявлять спорные места для ревью |
Почему это важно
Smart Coder не заменяет исследователя, а систематизирует его работу. Фреймворк сохраняет за человеком окончательное решение, но берет на себя рутину первичного кодирования. Это позволяет масштабировать качественный анализ, работая с большими объемами неструктурированных данных (интервью, тексты), не теряя при этом в точности и интерпретируемости результатов.
Источник: arXiv cs.AI ↗