Проблема ручного создания промптов
Создание высококачественных «навыков» (skills) для больших языковых моделей традиционно требует участия экспертов и дорогостоящих аннотированных датасетов. Существующие методы автоматической оптимизации часто зависят от наличия обучающих данных, распределенных так же, как целевая задача, что ограничивает их применимость для новых или узкоспециализированных доменов.
Как работает Prompt2Skill
Новый подход, предложенный командой во главе с Бо Ни (Bo Ni), позволяет генерировать навыки исключительно на основе естественного языкового описания задачи. Процесс включает три ключевых этапа:
- Извлечение спецификации: система анализирует промпт и формирует четкое техническое задание.
- Синтез данных: фреймворк самостоятельно находит или генерирует необходимые датасеты для проверки.
- Замкнутый цикл рефлексии: алгоритм итеративно редактирует и улучшает навык, оценивая его эффективность без внешнего учителя (unsupervised).
Результаты бенчмарков
Метод был протестирован в четырех различных доменах: ответ на вопросы, понимание прочитанного, работа с электронными таблицами и математическое мышление. Prompt2Skill стабильно превосходит базовый уровень прямого промптинга (direct prompting) как на открытых, так и на передовых (frontier) моделях.
| Домен | Ключевое улучшение | Тип задачи |
|---|---|---|
| Вопрос-ответ | +10.8 (в среднем) | QA / Retrieval |
| Чтение | Превосходство над baseline | Reading Comprehension |
| Таблицы | Превосходство над baseline | Spreadsheet Manipulation |
| Математика | Превосходство над baseline | Mathematical Reasoning |
Почему это важно
Главное преимущество Prompt2Skill — отсутствие потребности в предварительных данных. Это позволяет быстро адаптировать LLM под emerging tasks (возникающие задачи), для которых еще не существуют curated training data. Метод снижает порог входа для использования специализированных AI-решений, делая оптимизацию моделей доступной через простое текстовое описание.
Источник: arXiv cs.CL ↗