В мире искусственного интеллекта, где новые модели появляются каждый день, выбор оптимального решения для конкретной задачи превращается в настоящую головоломку. Разработчики и компании тратят часы на тестирование, сравнивая скорость, стоимость и качество ответов от разных провайдеров. Но что, если бы выбор модели происходил не на основе статических бенчмарков, а в реальном времени, опираясь на коллективный опыт миллионов пользователей?
Именно эту идею реализует OpenRouter в своем новом обновлении Auto Router. Платформа, обрабатывающая триллионы токенов ежедневно, решила поделиться «мудростью рынка». Теперь алгоритм маршрутизации учитывает не только технические характеристики моделей, но и то, как реальные пользователи распределяют свои бюджеты. Это переход от теоретической оптимизации к практической, основанной на данных, которые накапливаются каждую секунду.
В этой статье мы подробно разберем, как работает новая система, какие преимущества она дает разработчикам и почему подход, основанный на анализе расходов сообщества, может оказаться эффективнее любых лабораторных тестов. Мы также посмотрим на конкретные цифры, сравним производительность старой и новой версий и разберем технические нюансы настройки.
01Философия «Мудрости рынка» в AI
Красота рынков заключается в способности больших, разнообразных групп независимых людей коллективно принимать более качественные решения, чем любой отдельный эксперт. OpenRouter видит триллионы токенов каждый день, и именно эти данные стали фундаментом для нового подхода к маршрутизации запросов. Платформа опирается на данные о еженедельных расходах сообщества, чтобы выявить паттерны, которые не видны при изолированном тестировании.
Старый Auto Router полагался на фиксированные бенчмарки и эвристические правила. Новый же алгоритм динамически адаптируется к изменениям на рынке. Если сообщество начинает массово переходить на новую модель из-за лучшего соотношения цены и качества, маршрутизатор узнает об этом в течение нескольких дней. Это создает самоусиливающийся эффект: чем больше людей использует OpenRouter, тем точнее становится выбор модели для каждого отдельного пользователя.
Такой подход решает главную проблему статических систем — они быстро устаревают. В сфере AI, где производительность моделей улучшается экспоненциально, «застывший» в моменте бенчмарк может ввести в заблуждение уже через неделю. Рыночный же сигнал всегда актуален, так как отражает текущие предпочтения и потребности разработчиков.
02Как работает новая система маршрутизации
В основе нового Auto Router лежит концепция «кривой Парето», построенная на основе классификации задач. Вместо того чтобы просто выбирать модель с самым высоким рейтингом, система определяет тип вашей задачи и смотрит, какие модели сообщество использует для подобных целей в заданном ценовом диапазоне.
Шаг 1: Классификация задачи
Когда ваш запрос поступает в систему, легкий и быстрый классификатор анализирует его содержимое и присваивает один из множества тонко настроенных типов задач. Это не просто «код» или «текст». Система различает отладку кода, многошаговое планирование агентов, поиск информации, математические вычисления, поддержку клиентов или создание исследовательских отчетов. Чем точнее классификация, тем точнее выбор модели.
Шаг 2: Анализ реальных расходов
Получив тип задачи, роутер обращается к агрегированным анонимизированным данным о расходах за последние 7 дней. Он смотрит, какие модели получают наибольшую долю бюджета (Share of Spend) именно для этого типа задач. Это живой сигнал: если разработчики массово мигрируют workload на новую модель, роутер начинает рекомендовать её новым пользователям почти мгновенно.
Шаг 3: Применение ценового уровня (Cost Tier)
Пользователь может задать желаемый уровень расходов через параметр cost_tier. Доступны варианты: low (самые дешевые capable-модели), medium, high, xhigh и max (самые мощные, но дорогие модели). Роутер фильтрует кандидатов по этому критерию, обеспечивая баланс между производительностью и бюджетом.
Шаг 4: Маршрутизация с учетом ограничений
На финальном этапе система выбирает основную модель и резервные варианты (fallbacks), упорядоченные по доле использования. При этом учитываются все настройки аккаунта: разрешенные модели, провайдеры, политики конфиденциальности (ZDR) и другие guardrails. Если классификация или данные недоступны, роутер безопасно падает в режим по умолчанию, гарантируя, что запрос никогда не будет потерян.
03Сравнение производительности: Новые данные
Чтобы убедиться в эффективности нового подхода, OpenRouter провел масштабное тестирование на разнообразных бенчмарках. Целью было не просто превзойти старую версию, но и сделать это с учетом экономии. Для уровня Default (по умолчанию) новая версия использует cost_tier=low, в то время как старая версия по умолчанию имела cost_quality_tradeoff=7. Для уровня Max новая версия использует cost_tier=max, а старая — cost_quality_tradeoff=0.
Результаты демонстрируют значительный прогресс в большинстве категорий, особенно в задачах, требующих сложных рассуждений и работы с агентами.
Таблица производительности (Accuracy)
- MMLU Pro (Знания): Новая версия (Default) показывает 85.2%, что близко к старой версии (86.6%), но при этом новая версия (Max) достигает 91.4%, значительно
Источник: OpenRouter ↗