Архитектура System 1: Скорость вместо генерации
В сентябре 2026 года репозиторий Laya от Convai Innovations стал одним из самых популярных ML-проектов. В отличие от традиционных LLM, Laya — это неавтогенная модель System 1 с 421 миллионом параметров. Она работает как энкодер: принимает текст и набор типизированных вопросов (выбор из списка, оценка по шкале, да/нет) и возвращает распределение вероятностей для каждого варианта за один прямой проход (single forward pass).
Ключевая метрика — 0 выходных токенов. Модель не генерирует текст, а «оценивает» предложенные опции. Это делает её идеальным маршрутизатором (router) для production-систем, где критична задержка и стоимость инференса.
Реальные тесты: CLINC150 и калибровка
Разработчики протестировали Laya на датасете намерений CLINC150 (банковская сфера), сравнив zero-shot точность с обученными классификаторами. Главный инсайт: сырые вероятности модели часто требуют калибровки. В коде Laya используется параметр temperature для управления уверенностью:
- Temperature > 1: сглаживает вероятности (делает модель менее уверенной).
- Temperature < 1: «затачивает» вероятности (делает модель более уверенной).
Обнаружена важная деталь: для вопросов с 11+ вариантами ответа в чекпоинте была задана температура 0.10, что вне допустимого диапазона. Загрузчик принудительно ограничил её до 0.5, что фактически удваивает уверенность модели в ответе. Без учета этого фактора метрики калибровки (AURC) могут быть искажены.
Эффективность и стоимость запроса
Тестирование показало, что добавление новых вопросов к одному и тому же контексту (state) практически не увеличивает время отклика. Время выполнения зависит от количества строк (вопросов), а не от количества опций в них.
| Параметр | Значение / Характеристика | Примечание |
|---|---|---|
| Версия пакета | laya==0.3.27 | Стабильная сборка с зафиксированным ревизией чекпоинта |
| Количество параметров | 421M | Encoder-only архитектура |
| Выходные токены | 0 | Модель только классифицирует, не генерирует |
| Типы выходов | choice, score, noul | Выбор, оценка (0..2), да/нет (no-outright-likelihood) |
| Метрика уверенности | answer_confidence | Вероятность выбранного ответа (max(p)). Не путать с entropy-based confidence |
Практическое применение: Маршрутизация тикетов
Пример использования демонстрирует обработку одного тикета поддержки за один вызов predict(). Модель одновременно определяет:
- Отдел (choice): Биллинг, Техподдержка или Другое.
- Срочность (score): Шкала от 0 до 2.
- Риск оттока (noul): Вероятность того, что пользователь угрожает отменой подписки.
Для управления рисками ошибок в Laya предусмотрен gate abstention (ворота воздержания), который настраивается на основе бюджета ошибок. Если уверенность модели ниже порога, запрос перенаправляется человеку или другой системе, что делает Laya надежным компонентом для критически важных бизнес-процессов.
Источник: MarkTechPost ↗