JevSpawn: Агенты LLM стали быстрее за счет комбинаторных действий

Проблема медленных LLM-агентов

Традиционные LLM-агенты генерируют промежуточные рассуждения и действия токеном за токеном. Это делает их взаимодействие медленным и вычислительно дорогим, особенно в задачах, требующих автономного решения проблем. Jev-модели предлагают быстрые вероятностные предсказания, но требуют заранее заданных конечных полей, что ограничивает их применение в динамических сценариях.

Решение: JevSpawn

Новый метод JevSpawn решает эту проблему, соединяя естественные языковые спецификации задач с конечными вероятностными пространствами. Ключевые особенности:

• Параллельное порождение действий: Несколько действий генерируются одновременно.
• Адаптивный выбор: Обратная связь от среды определяет, какие ветки развития продолжить.
• Ревизия представлений: Модель корректирует свои внутренние представления на основе результатов.
• Восстановление альтернатив: Сохраненные альтернативные действия могут быть использованы позже.

Технические преимущества

JevSpawn использует общую структуру действий и префиксы модели, что снижает необходимость повторной генерации и вычислений контекста. Это достигается без дополнительного обучения модели, что делает метод эффективным и масштабируемым.

Результаты тестирования

Оценка проводилась на восьми бенчмарках против семи базовых агентов и варианта TypeSafe Jev. JevSpawn показал улучшенную производительность задач и более быстрое навигационное поведение, подтверждая свою эффективность как структурированного подхода к агентному выводу.

Значение для индустрии

JevSpawn открывает путь к созданию более быстрых и эффективных агентов ИИ, способных работать в сложных, динамически меняющихся средах. Это особенно важно для приложений, требующих быстрого принятия решений, таких как автономные системы, робототехника и интерактивные сервисы.

Источник: arXiv cs.AI ↗