Проблема масштабируемости в e-grocery
Онлайн-покупки продуктов характеризуются высокой цикличностью: пользователи регулярно покупают одни и те же товары. Традиционные системы, рекомендующие отдельные товары (item-level), сталкиваются с проблемами масштабируемости и точности из-за огромного каталога. Авторы предлагают перейти к рекомендациям на уровне категорий (category-level), что позволяет структурировать запросы и эффективнее использовать сигналы повторных покупок.
Архитектура GrocLM: LoRA и Trie
GrocLM — это дообученная языковая модель, работающая в реальной производственной среде. Ключевые технические инновации:
- Двухэтапное обучение с LoRA: Позволяет закодировать циклические паттерны покупок непосредственно в параметры модели, что эффективнее, чем просто передача истории покупок через промпт.
- Трикс-декодирование (Trie-based constrained decoding): Гарантирует, что выходные данные всегда соответствуют заранее определенной иерархии категорий, исключая «галлюцинации» модели и обеспечивая контролируемость вывода.
Результаты в продакшене
Модель протестирована на проприетарных данных крупного ритейлера и публичных бенчмарках. В отличие от многих академических работ, GrocLM демонстрирует измеримый бизнес-эффект:
| Метрика | Результат GrocLM | Значение |
|---|---|---|
| Cart-adds per impression | +7.5% (относительное улучшение) | Прямой рост конверсии в добавление товаров в корзину |
| Генерация | Joint generation | Все категории генерируются одновременно, обеспечивая высокую скорость инференса |
Почему это важно
Работа демонстрирует переход от теоретического применения LLM к их интеграции в структурированные рекомендательные системы. Использование трикс-структуры для ограничения пространства поиска решает главную проблему LLM — непредсказуемость формата вывода, делая технологию пригодной для критически важных бизнес-процессов, таких как автоматическое пополнение запасов (restocking).
Источник: arXiv cs.AI ↗