Что такое OlmoEarth Embeddings и зачем они нужны
Платформа OlmoEarth Studio от Allen Institute for AI (AllenAI) теперь позволяет вычислять и экспортировать векторные представления (embeddings) данных дистанционного зондирования Земли. Это компактные числовые векторы, которые кодируют пространственные и спектральные характеристики поверхности. Главная ценность подхода — возможность использовать эти векторы для широкого спектра задач (поиск схожести, сегментация, кластеризация) без необходимости обучать большие модели с нуля, что экономит вычислительные ресурсы и время.
Технические характеристики моделей
Пользователи могут выбирать между тремя вариантами энкодеров, балансируя между размером модели, детализацией и стоимостью вычислений. Все эмбеддинги экспортируются в формате Cloud-Optimized GeoTIFF (COG) с хранением значений в формате signed 8-bit integers (int8) (диапазон -127 до +127), что делает файлы легкими и удобными для передачи.
| Вариант энкодера | Размерность вектора | Количество параметров | Описание |
|---|---|---|---|
| Nano | 128 | 1.4M | Минимальный размер, базовая точность |
| Tiny | 192 | 6.2M | Оптимальный баланс скорости и качества (используется в примерах) |
| Base | 768 | 89M | Максимальная детализация, требует больше ресурсов |
Ключевые возможности на практике
AllenAI демонстрирует эффективность эмбеддингов на реальных кейсах, используя модель OlmoEarth-v1-Tiny (192-мерные векторы, разрешение 40 м, данные Sentinel-2 L2A):
- Поиск схожести (Similarity Search): Модель различает городскую застройку и сельхозугодья без обучения. При запросе по пикселю в Калифорнии алгоритм точно выделил городские коридоры, оставив сельскохозяйственные участки «темными» на карте схожести.
- Сегментация с малым количеством меток (Few-shot): В регионе Ка Мау (Вьетнам) классификатор логистической регрессии, обученный всего на 60 пикселях (по 20 на класс: мангровые леса, вода, прочее), достиг взвешенного F1 = 0.84. Точность почти не росла при увеличении выборки до 300 пикселей, что доказывает богатство информации в самих эмбеддингах.
- Обнаружение изменений (Change Detection): Сравнение эмбеддингов за сентябрь 2023 и 2024 годов позволило автоматически выявить следы пожара Park Fire в округе Батт (Калифорния) без каких-либо обучающих данных.
- Неконтролируемая кластеризация: Применение PCA к эмбеддингам над фермой Флеволанд (Нидерланды) автоматически выделило границы сельскохозяйственных участков и типы культур, просто сопоставив похожие векторы с похожими цветами.
Как это работает и где взять
Эмбеддинги вычисляются «on-demand» (по запросу), а не загружаются из глобального архива, что позволяет анализировать любые временные интервалы (от 1 до 12 месяцев) и области интереса. Исходный код, веса моделей и технический отчет опубликованы в открытом доступе. Для получения доступа к Studio или самостоятельного вычисления эмбеддингов можно использовать документацию и API платформы.
Источник: Hugging Face blog ↗