Почему банки выбирают on-premises
В условиях ужесточения регуляторики и требований к безопасности данных, крупные финансовые институты все чаще отказываются от облачных API провайдеров в пользу локальных развертываний. Ключевые драйверы этого тренда:
- Суверенитет данных: полная изоляция конфиденциальной информации клиентов от третьих лиц.
- Контроль затрат: при высоких нагрузках собственная инфраструктура становится экономически выгоднее оплаты за токены.
- Низкая задержка: критично для систем скоринга и обработки транзакций в реальном времени.
Выбор моделей: Llama 3.1 и Mistral
В качестве базовых моделей для пилотных проектов были выбраны Llama 3.1 (8B и 70B) и Mistral Large. Выбор пал на открытые модели из-за возможности их тонкой настройки (fine-tuning) на специфических финансовых датасетах без ограничений лицензий проприетарных аналогов.
Технический стек и оптимизация
Для эффективного запуска LLM на существующем железе команда использовала следующие инструменты:
- Quantization: применение 4-bit и 8-bit квантования через GGUF формат для снижения требований к VRAM.
- Инференс-движки: использование vLLM и TGI (Text Generation Inference) для максимального throughput.
- Hardware: кластеры на базе NVIDIA A100/H100 с NVLink для межкарточного взаимодействия.
Ключевые метрики производительности
Результаты тестирования в продакшен-среде показали следующие характеристики:
| Модель | Конфигурация | Throughput (tok/s) | Задержка (ms) |
|---|---|---|---|
| Llama 3.1 8B | 4-bit, 1 GPU | ~150 | ~20 |
| Llama 3.1 70B | 4-bit, 4 GPU (tensor parallel) | ~45 | ~120 |
| Mistral Large | 8-bit, 2 GPU | ~30 | ~200 |
Выводы для индустрии
Опыт банка демонстрирует, что запуск открытых LLM on-premises технически осуществим и экономически обоснован при правильной настройке квантования и распределения вычислений. Главным вызовом остается поддержка и мониторинг моделей, требующих специфических DevOps-навыков в области MLOps.
Источник: Towards AI pub ↗