Масштаб проблемы: от мегабайт к терабайтам
В отличие от классических ML-моделей, работающих с небольшими объемами данных, геопространственный инференс требует обработки терабайтов информации. Платформа OlmoEarth, разработанная Allen Institute for AI (Ai2), предназначена для работы с мультимодальными спутниковыми данными. Модели семейства OlmoEarth предварительно обучены на ~10 ТБ данных и применяются правительствами и НКО для мониторинга вырубки лесов, продовольственной безопасности и оценки рисков лесных пожаров.
Архитектура: разделение труда CPU и GPU
Ключевая инженерная проблема — неэффективное использование дорогих GPU для задач загрузки и предобработки данных. Платформа разделяет процесс на три этапа, назначая каждый на оптимальное оборудование:
- Загрузка и предобработка (CPU): Высокий ввод-вывод (I/O), репроекция, выравнивание и нормализация изображений.
- Инференс (GPU): Прямой проход модели (forward pass) с записью минимально обработанных результатов.
- Постобработка (CPU): Сшивка результатов, применение масок и экспорт в форматы Zarr, GeoTIFF или GeoJSON.
Результаты производительности
Платформа демонстрирует выдающиеся метрики при обработке континентальных масштабов. На примере карты рисков лесных пожаров по всей Северной Америке были достигнуты следующие показатели:
| Параметр | Значение |
|---|---|
| Область обработки | Вся Северная Америка |
| Время выполнения (wall-clock) | ~30.5 часов |
| Экономия вычислительного времени | Сокращение с 4,737 до 30.5 часов (ускорение в 155 раз) |
| Использование ресурсов (пиковое) | 19,600 CPU и 994 GPU |
| Пропускная способность сети | >168 ГБ/с |
| Стоимость обработки | Долли цента за квадратный километр |
Решение проблемы доступа к данным
Значительная часть времени уходит не на вычисления, а на загрузку данных. Платформа решает проблему перегрузки внешних STAC-каталогов (ESA, Microsoft Planetary Computer) за счет собственного индекса метаданных. Индекс обновляется через SNS-уведомления AWS Open Data или периодический опрос, что позволяет избегать пиковых нагрузок на внешние сервисы. Доступ к пикселям осуществляется через оконное чтение (windowed reads) из оптимизированных форматов (COG, Zarr), что исключает необходимость скачивания целых сцен.
Почему это важно
OlmoEarth закрывает разрыв между открытыми моделями и реальной инфраструктурой. Большинство экологических организаций не имеют инженерных команд для поддержки полного цикла: от разметки данных до масштабного инференса. Платформа предоставляет готовый инструмент для превращения сырых спутниковых данных в actionable insights с гарантированной точностью геопространственного выравнивания.
Источник: Hugging Face blog ↗