OlmoEarth Embeddings: Глубокое погружение в анализ спутниковых данных

В мире геопространственного анализа и дистанционного зондирования Земли (ДЗЗ) данные накапливаются с невероятной скоростью. Однако сырые пиксели спутниковых снимков сами по себе редко дают готовые ответы. Нужны инструменты, которые могут «понять» структуру ландшафта, выделить паттерны и сделать эти знания доступными для стандартных алгоритмов машинного обучения. Именно эту задачу решает новая функция платформы OlmoEarth Studio от Allen Institute for AI (Ai2) — экспорт эмбеддингов (векторных представлений) для последующего анализа.

Ранее OlmoEarth был известен как платформа для создания моделей наблюдения за Землей. Теперь же, с выходом версии OlmoEarth-v1, разработчики предоставляют сообществу возможность выгружать компактные числовые векторы, сгенерированные их фундаментальными моделями. Это не просто еще один датасет, а мощный инструмент, который позволяет превратить сложные многоканальные спутниковые данные в формат, понятный для классификаторов, систем поиска и алгоритмов кластеризации. В этой статье мы подробно разберем, как работают эти эмбеддинги, какие задачи они решают и почему это меняет подход к работе с геоданными.

01Что такое эмбеддинги OlmoEarth и почему они важны?

Эмбеддинги — это сжатые числовые представления данных. В контексте OlmoEarth это векторы, которые кодируют информацию о поверхности Земли: тип растительности, влажность почвы, наличие воды, урбанизацию и многое другое. Ключевая идея заключается в том, что места с похожими характеристиками будут иметь близкие векторы в многомерном пространстве, а различающиеся — далекие друг от друга.

Платформа OlmoEarth Studio теперь позволяет вычислять и экспортировать эти векторы в формате Cloud-Optimized GeoTIFF (COG). Это стандартный формат для работы с растровыми данными в GIS-системах. Вы можете выбрать область интереса, временной диапазон, вариант энкодера (Nano, Tiny или Base), пространственное разрешение и источники изображений (Sentinel-2 L2A, Sentinel-1 RTC или их комбинацию). Результатом становится файл, который можно использовать в любом геопространственном инструменте: QGIS, GDAL, rasterio или собственных скриптах на Python.

Важно отметить, что эмбеддинги вычисляются «на лету», а не берутся из заранее подготовленного глобального архива. Это означает, что вы получаете данные, точно соответствующие вашим условиям: например, сезонную динамику, а не просто годовой снимок. Такой подход обеспечивает гибкость и актуальность результатов для конкретных исследовательских или коммерческих задач.

02Архитектура моделей: от Nano до Base

OlmoEarth предлагает три варианта энкодеров, каждый из которых оптимизирован под разные задачи по балансу скорости, размера и точности:

• Nano (128 измерений, 1.4 млн параметров): Самый легкий вариант. Идеален для прототипирования и задач, где критична скорость обработки и минимальный объем хранимых данных.
• Tiny (192 измерения, 6.2 млн параметров): Золотая середина. Обеспечивает высокую производительность при относительно небольших вычислительных затратах. Именно этот вариант чаще всего используется в примерах ниже.
• Base (768 измерений, 89 млн параметров): Самая мощная модель. Содержит наиболее богатые представления, что особенно важно для сложных задач классификации и обнаружения тонких изменений. Требует больше ресурсов для хранения и обработки.

Выбор модели зависит от ваших ресурсов и требований к точности. Для большинства задач «быстрого старта» рекомендуется начинать с Tiny, так как он демонстрирует отличные результаты даже при использовании простых линейных классификаторов.

03Практическое применение: Поиск похожих ландшафтов

Одна из самых интуитивно понятных задач — поиск мест, похожих на заданный образец. Это работает по принципу «more like this». Вы выбираете пиксель (или группу пикселей) в качестве запроса, извлекаете его эмбеддинг и вычисляем косинусное сходство с каждым пикселем в исследуемом регионе.

В примере с городом Мерсед в Калифорнии запрос был сделан на урбанизированную зону. Результатом стала тепловая карта, где ярко подсвечены городская застройка и дорожные коридоры, в то время как сельскохозяйственные угодья остались темными. Модель успешно различила искусственные поверхности и пахотные земли без какого-либо предварительного обучения или разметки данных. Это демонстрирует способность модели улавливать структурные особенности ландшафта.

Если же выбрать сельскохозяйственный участок, то наиболее похожие области (с коэффициентом сходства >0.89) окажутся ирригируемыми полями. Наименее похожие (близко к нулю) — аэропорты с голой землей, водохранилища с высохшими берегами или засушливые пастбища. Все это достигается простым скалярным произведением векторов в пространстве эмбеддингов.

04Сегментация с малым количеством меток (Few-Shot)

Поиск похожих мест дает тепловую карту, но часто нужны дискретные классы: «лес», «вода», «город». Здесь вступает в игру концепция few-shot segmentation. Благодаря тому, что эмбеддинги OlmoEarth уже содержат богатую семантическую информацию, для создания карты земного покрова достаточно всего нескольких размеченных пикселей.

В эксперименте с регионом Ка Мау во Вьетнаме (зона мангровых лесов) было размечено всего 60 пикселей (по 20 на каждый из трех классов: мангры, вода, прочее). На основе этих данных была обучена простая логистическая регрессия с стандартизацией признаков. Результат оказался впечатляющим: взвешенный F1-скор составил 0.84. Карта показала четкие границы мангровых зарослей, приливных каналов и открытой воды.

Интересно, что точность быстро насыщается: увеличение количества меток с 30 до 300 почти не меняет результат. Это говорит о том, что основная работа по извлечению признаков уже выполнена моделью OlmoEarth во время предобучения. Линейный зонд (linear probe) лишь «распаковывает» эту информацию.

import rasterio
import numpy as np
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

# Загрузка 192-канального эмбеддинга COG
with rasterio.open("embeddings.tif") as ds:
    emb = ds.read().astype(np.float32)

# (192, H, W)
C, H, W = emb.shape
X = emb.reshape(C, -).T  # (H*W, 192)

# Обучение на размеченных пикселях
clf = make_pipeline(StandardScaler(), LogisticRegression(max_iter=2000))
clf.fit(X[train_idx], labels[train_idx])

# Предсказание для всего региона
prediction = clf.predict(X).reshape(H, W)

Этот подход позволяет использовать существующие грубые карты, результаты полевых исследований или даже случайные выборки пикселей для создания детальных карт земного покрова для любой области интереса.

05Обнаружение изменений (Change Detection)

Поскольку OlmoEarth Studio позволяет генерировать эмбеддинги с любым временным разрешением (от месячного до годового), можно напрямую сравнивать два периода времени, чтобы выявить изменения на поверхности.

В примере с округом Бьютт в Калифорнии были вычислены месячные эмбеддинги Sentinel-2 за сентябрь 2023 и сентябрь 2024 годов. Затем для каждого пикселя была измерена косинусная дистанция между векторами. Результатом стало четкое выделение зоны выгорания от пожара Park Fire (июль-сентябрь 2024). Никаких меток или обучения не потребовалось — только два файла COG и несколько строк кода для вычисления разницы.

Это открывает возможности для мониторинга деградации лесов, последствий наводнений, урбанизации и других динамических процессов в режиме, близком к реальному времени.

06Неконтролируемое исследование: Что видит модель?

Иногда у вас нет ни запроса, ни меток. Вы просто хотите понять, какую структуру модель «увидела» в данных. Для этого отлично подходит метод главных компонент (PCA). Сводя 192-мерное пространство к трем измерениям и отображая их как цвета R/G/B, мы получаем псевдоцветное изображение, где похожие эмбеддинги получают похожие цвета.

На примере региона Флеволанд в Нидерландах ( reclaimed polder landscape) PCA-визуализация с высокой точностью воспроизвела регулярную сетку сельскохозяйственных участков. Разные типы культур, водные объекты и городские зоны получили различные оттенки. Модель «интернализовала» структуру ландшафта, никогда не видя определений «участок» или «культура».

Такой подход является быстрым способом диагностики качества эмбеддингов и понимания того, какие паттерны модель выделяет в вашем регионе.

07Что это значит на практике

Внедрение эмбеддингов OlmoEarth в рабочий процесс геоаналитики означает переход от обработки «сырых» пикселей к работе с семантически насыщенными векторами. Это снижает порог входа для сложных задач:

1. Скорость: Операции поиска, сегментации и обнаружения изменений выполняются за секунды на стандартных растровых данных.
2. Гибкость: Экспортированные GeoTIFF совместимы с любым GIS-инструментом. Не нужно строить сложные пайплайны глубокого обучения для каждой новой задачи.
3. Экономичность: Использование легких моделей (Nano, Tiny) и линейных классификаторов позволяет работать на ресурсоограниченных машинах.

Однако важно помнить о ограничениях. Качество эмбеддингов зависит от качества входных изображений: постоянная облачность, атмосферные артефакты или пропуски в данных могут исказить векторы. Всегда рекомендуется проверять качество результатов для вашего конкретного кейса, используя описанные выше методы визуализации и валидации.

Для тех, кому требуется еще более высокая точность, OlmoEarth Studio также поддерживает Supervised Fine-Tuning (SFT) — дообучение модели на ваших собственных метках. Но для большинства задач эмбеддинги служат отличным и быстрым стартом.

Экспорт эмбеддингов уже доступен. Создайте проект в OlmoEarth Studio, настройте модель и начните исследовать структуру Земли с помощью мощи фундаментальных моделей ИИ. Полные примеры кода и туториалы доступны в документации платформы.

Источник: Hugging Face ↗