Суть эксперимента: один сервер, одна модель, реальный бизнес-задача
В рамках серии тестов локальных AI-агентов был проведен самый масштабный запуск на единственном устройстве NVIDIA DGX Spark. В качестве модели использовалась Qwen3.8 27B (вероятно, имеется в виду Qwen2.5-27B или аналогичная архитектура, так как Qwen3 еще не анонсирован, но в источнике указано именно так). Задача была прикладной: глубокий анализ 93 частных инвестиционных фондов (Private Equity), выявление их портфельных компаний, скоринг по заданному профилю и формирование шорт-листа из 122 сильных кандидатов.
Сессия длилась 21 час 36 минут (wall clock time). За это время система выполнила 2,874 шага модели и выдала 3.77 миллиона токенов (около 2.8 млн слов, что эквивалентно 35 романам). При этом пользователь вмешивался всего три раза: постановка задачи, одно уточнение и команда «продолжить» через 6 часов.
Техническая конфигурация и нагрузка
Серверная часть работала на базе vLLM с оптимизациями от Unsloth. Ключевые параметры, обеспечившие работу с таким объемом контекста:
- Чекпоинт: Unsloth NVFP4 (квантование).
- KV Cache: FP8.
- Бюджет памяти: 0.80.
- Длина контекста: 262,144 токенов.
- Параллелизм: 4 одновременные последовательности.
- Speculative Decoding: MTP с 3 draft-токенами.
Агент состоял из родителя и 91 дочернего агента (subagent). Они совершили 3,847 вызовов инструментов, включая 1,944 команды оболочки (curl, grep), 1,186 веб-поисков и 105 записей в файлы. Это создало колоссальную нагрузку на сеть и процессор, что и привело к проблемам с таймаутами.
Результаты: 1,330 таймаутов, но работа выполнена
Самый шокирующий факт — клиент отменил 1,330 запросов после 5 минут молчания. Это произошло из-за того, что при сложной оркестрации и обработке инструментов модель «думала» дольше, чем позволял таймаут клиента. Однако, несмотря на это, агент успешно справился с задачей.
| Метрика | Значение | Примечание |
|---|---|---|
| Время работы (Wall Clock) | 21 ч 36 мин | Реальное время выполнения |
| Выходные токены | 3.77M | ~2.8 млн слов текста |
| Шаги модели | 2,874 | Один шаг = один ответ модели |
| Таймауты (Client Abort) | 1,330 | Запросы, прерванные после 300 сек |
| Скорость генерации | 48.5 токенов/сек | Включая время на инструменты и ожидания |
| Вызовы инструментов | 3,847 | Web search, shell commands, file writes |
| Результат | 122 компании | 17 уже были в CRM, 2 фирмы потеряны при агрегации |
Почему это важно для индустрии
Этот кейс демонстрирует два критических факта для внедрения локальных AI-агентов:
- Надежность vs. Скорость: Даже при наличии 1,330 сбоев соединения, архитектура агента (с повторными попытками и сохранением состояния) позволила завершить сложную многошаговую задачу. Это доказывает, что для бизнес-задач важна не максимальная скорость декодирования, а устойчивость системы к сбоям.
- Энергоэффективность: При гипотетическом потреблении 240 Вт, система затратила около 5.2 кВт·ч электроэнергии. Это делает DGX Spark конкурентоспособным решением для длительных фоновых задач, где не требуется мгновенный отклик, но важна автономность и низкая стоимость владения.
Тест показывает, что локальные модели уровня 27B параметров способны обрабатывать объем работы, сопоставимый с работой junior-аналитика, при условии правильной настройки стека (vLLM + Unsloth) и готовности к неидеальным сетевым условиям.
Источник: Towards AI pub ↗