Jevstiller
Локальная модель, имитирующая ответы Jev с гарантией совпадений 98% и снижением задержки до 15 мс.
Что это
Jevstiller — это локальная модель, которая обучается на ответах API Jev, чтобы воспроизводить их поведение на стороне пользователя. Система использует замороженный энкодер предложений и логистическую регрессию, обучаясь на полных распределениях вероятностей, а не только на топ-результатах.
Ключевая особенность продукта — математическая гарантия: система возвращает ответ локальной модели с долей совпадений не менее заданного порога (например, 98%). Запрос обрабатывается локально за 15 мс на CPU, а в случае неуверенности или выхода за границы распределения данные перенаправляются в Jev.
Инструмент полезен разработчикам и инженерам, которым критична скорость отклика в агентных циклах, играх или пакетной обработке, где задержка в 300 мс от облачного API недопустима. Модель весит всего несколько сотен килобайт и может переобучаться каждые 2000 новых ответов.
Решение работает как прокси-сервер, интегрируясь в существующие потоки данных. Пользователи могут запускать бенчмарки локально без использования API-ключа, а код и документация доступны для изучения и модификации.