Новая инфраструктура для открытого AI
Together AI объявила о запуске специализированного кластера на базе графических процессоров NVIDIA B300, работающего в облаке IBM Cloud. Это первое подобное решение такого масштаба на платформе IBM, и Together AI стала первым клиентом, запустившим на нем свои сервисы. Архитектура решения объединяет три ключевых компонента: кремний и сетевые технологии от NVIDIA, инфраструктуру от IBM и платформу инференса от Together AI.
Технические детали и масштаб
Ключевой особенностью кластера является использование сетевой технологии NVIDIA Spectrum-X Ethernet, спроектированной специально для обеспечения высокой пропускной способности при инференсе. Together AI управляет слоем инференса, обеспечивая самую быструю и эффективную работу открытых моделей в продакшене. IBM предоставляет надежную инфраструктуру для критически важных задач, а NVIDIA поставляет аппаратную часть.
Почему это важно для бизнеса
Предприятия и AI-ориентированные компании все чаще выбирают открытые модели по двум причинам: суверенитет данных (данные остаются у владельца) и высокая производительность на уровне frontier-моделей при значительно меньшей стоимости. По мере роста использования экономическая выгода открытых решений становится очевидной. Together AI обслуживает более 1 миллиона разработчиков, обрабатывая сотни триллионов токенов в месяц, и этот кластер позволит масштабировать эти мощности под параболу роста спроса.
Сравнение ролей партнеров
| Партнер | Вклад в решение | Ключевая технология/Роль |
|---|---|---|
| NVIDIA | Аппаратное обеспечение и сеть | GPU B300, Spectrum-X Ethernet |
| IBM | Облачная инфраструктура | IBM Cloud (mission-critical infrastructure) |
| Together AI | Платформа инференса | Оптимизация открытых моделей, управление нагрузкой |
Стратегия открытого AI
Инициатива подчеркивает стремление Together AI сделать открытый AI таким же быстрым и надежным, как и закрытые аналоги. За последние годы компания провела масштабную работу по обеспечению стабильности открытых моделей в условиях самых требовательных нагрузок. Этот коллаборационный кластер является значимым шагом к тому, чтобы открытые модели могли работать в масштабах предприятия с той же надежностью и безопасностью, которые корпорации привыкли видеть в проприетарных решениях.
Источник: Together AI ↗