Суть спора: Terra — это не просто дешевый Sol
После запуска GPT-6.1 сообщество активно обсуждает выбор между моделями Terra и Sol. Казалось бы, Sol выигрывает в большинстве бенчмарков при сопоставимой цене, что делает Terra «странным средним ребенком». Однако OpenAI позиционирует Terra как специализированную модель для задач с четким входным данными: работа с интерфейсом (computer use), визуальный анализ и техническая коммуникация. Ключевой вопрос для разработчиков: когда экономия на токенах Terra окупается, а когда она приводит к дополнительным затратам на исправление ошибок?
Бенчмарки: где Terra побеждает, а где проигрывает
Споры вокруг лидерства моделей часто возникают из-за разных метрик. Утверждение, что Sol выигрывает во всем, кроме Agents’ Last Exam, опровергается данными OpenAI. В научном тестировании Terminal-Bench-Science 0.1 Terra демонстрирует лучшие результаты при меньшей стоимости. Ниже приведено сравнение ключевых показателей:
| Метрика / Тест | GPT-6.1 Terra (Max Effort) | GPT-6.1 Sol (Max Effort) | Комментарий |
|---|---|---|---|
| Terminal-Bench-Science 0.1 | 58.3% | 57.0% | Terra лидирует в научных задачах через код |
| Стоимость (Terminal-Bench) | $4.15 | $5.47 | Terra дешевле на ~24% |
| Agents’ Last Exam (Medium) | На уровне Astra | На уровне Astra | Паритет в сложных агентных задачах |
Когда стоит выбирать Terra
Модель Terra создана для сценариев, где важен быстрый результат при наличии четких инструкций и проверяемого входа. Рекомендуется использовать Terra на уровне medium effort для следующих задач:
- Computer Use (Работа с интерфейсом): Заполнение веб-форм на основе имеющихся документов. Быстрые действия сокращают время ожидания, но критически важна точность данных (например, отсутствие дубликатов или ошибок в датах).
- Vision (Визуальный анализ): Проверка скриншотов полей, чтение технических чертежей. Terra эффективна, когда нужно найти конкретную деталь (единицу измерения, десятичную точку), а не просто описать картинку.
- Technical Communication: Преобразование исходных материалов в инструкции или объяснения. Terra лучше справляется с сохранением фактов, исключений и необходимых действий в кратком тексте.
Риски и ограничения
Несмотря на преимущества, Terra не является универсальной заменой Sol. Если модель требует значительного количества правок (corrections) и ревью, экономия на токенах нивелируется затратами времени. Sol остается предпочтительным выбором для сложного программирования и задач, где требуется высокая степень креативности или абстрактного мышления, не ограниченного строгим входным шаблоном.
Рекомендация для маршрутизации (Routing)
Не меняйте настройки по умолчанию без тестирования. Если ваш текущий пайплайн на Sol работает стабильно, протестируйте одну релевантную задачу на Terra. Выбирайте Terra только тогда, когда она обеспечивает тот же уровень качества при меньшей общей стоимости (включая время на исправление ошибок) или меньшем времени ожидания. Для сложных кодовых задач и агентов, выходящих за рамки четких инструкций, Sol пока остается более надежным выбором.
Источник: Towards AI pub ↗