Автономный агент для анализа данных
Команда RUC-DataLab разработала DeepAnalyze-8B — специализированную языковую модель, предназначенную для решения задач data science. В отличие от обычных чат-ботов, этот агент работает в цикле: он генерирует Python-код, выполняет его в изолированной среде, анализирует результаты ошибок или выводов и корректирует свои действия. Финальным результатом работы агента является структурированный аналитический отчет.
Оптимизация для GPU T4 и 4-битная квантование
Ключевая особенность реализации — возможность запуска на ресурсах уровня NVIDIA T4 (стандартный GPU в Google Colab Free). Для этого модель загружается с использованием 4-битного квантования (NF4) через библиотеку bitsandbytes. Это позволяет уместить модель объемом ~16 ГБ в память видеокарты, не жертвуя критически важной функциональностью.
| Параметр | Значение / Настройка |
|---|---|
| Модель | RUC-DataLab/DeepAnalyze-8B |
| Режим квантования | 4-bit (NF4) с двойным квантованием |
| Тип вычислений | float16 (FP16) |
| Макс. токенов генерации | 3072 |
| Температура / Top-p | 0.5 / 0.95 |
| Ограничение времени кода | 120 секунд (с таймаутом) |
Архитектура «Песочницы» и итеративный анализ
Безопасность и стабильность обеспечиваются классом CodeSandbox. Агент не просто выдает код, а запускает его в изолированном пространстве с ограничением по объему вывода (6000 символов) и времени выполнения. Если код падает с ошибкой, агент получает traceback, понимает причину и пытается исправить скрипт в следующем раунде (максимум 12 раундов).
- Поддержка форматов: Агент умеет работать с CSV, Excel, JSON, XML, SQLite и другими форматами данных.
- Визуализация: Поддерживается генерация графиков через Matplotlib (с бэкендом Agg для серверной отрисовки).
- Контекст: Модель сохраняет полную историю диалога, что позволяет ей «помнить» предыдущие шаги анализа.
Практическое применение: E-commerce кейс
В демонстрации агенту была предоставлена рабочая директория с реальными данными электронной коммерции. Задача заключалась в очистке данных, объединении таблиц, анализе и создании итогового отчета. Система самостоятельно справилась с задачами парсинга файлов, обработки пропущенных значений и агрегации метрик, выдав готовый результат без участия человека.
Решение демонстрирует тренд на переход от простых генераторов текста к автономным агентам, способным выполнять сложные вычислительные задачи на ограниченном железе.
Источник: MarkTechPost ↗