LinkedIn заменила LLM на SLM для анализа вакансий: экономия и точность

Проблема масштабирования

Понимание вакансий (Job Understanding) — критическая задача для LinkedIn, позволяющая сопоставлять таланты с возможностями. Основная сложность заключается в трансформации неструктурированного и зашумленного текста объявлений в стандартизированные атрибуты. Традиционные подходы с использованием больших языковых моделей (LLM) часто оказываются слишком ресурсоемкими и дорогими для обработки в масштабах всей платформы.

Решение: SLM и синтетические данные

Команда LinkedIn во главе с Dan Xu разработала унифицированный фреймворк семантического моделирования, основанный на малой языковой модели (SLM). Ключевым элементом обучения стала подборка тщательно курируемых синтетических задач, дополненных цепочками рассуждений (reasoning traces). Это позволило модели освоить robust zero-shot обобщение для двух типов задач:

• Классификация, руководствующаяся таксономией;
• Извлечение сущностей, не зависящее от таксономии.

Архитектура и эффективность

Для управления множеством атрибутов внедрена архитектура с мульти-адаптерами (multi-adapter architecture) с группировкой атрибутов. Это упрощает управление моделью и позволяет эффективно адаптировать её под конкретные downstream-задачи без переобучения всей сети.

Результаты тестирования демонстрируют значительный прогресс:

Значение для индустрии

Работа LinkedIn предоставляет практические инсайты для построения систем понимания текста в промышленных масштабах. Успех подхода доказывает, что для специфических задач (как анализ вакансий) малые модели, правильно обученные на синтетических данных с логикой рассуждений, могут превосходить или эффективно заменять тяжеловесные LLM, обеспечивая баланс между качеством и стоимостью вычислений.

Источник: arXiv cs.AI ↗