Проблема фиксированной геометрии
Традиционные методы контрастивного обучения (CLIP, SimCLR) опираются на косинусное сходство для измерения близости векторов. Это создает единую, фиксированную геометрию пространства представлений. Однако семантическое сходство контекстно-зависимо: два изображения могут быть похожи, потому что они изображают один объект, имеют общий визуальный стиль или относятся к одному клиническому диагнозу. Фиксированная метрика не способна гибко адаптироваться под эти различные аспекты.
Решение: Anchor Divergence
Авторы (Akash Kannan, Kiho Park, Victor Veitch) предлагают метод, основанный на пересечении контрастивного обучения, экспоненциальных семейств распределений и информационной геометрии. Ключевая идея заключается в установлении соответствия между вероятностными распределениями по «якорям» (anchors) и Bregman-геометрией в пространстве представлений. Моделируя распределение якорей, модель фактически моделирует саму геометрию пространства, позволяя задавать контекстно-специфичные семантические расстояния на фиксированных векторах.
Экспериментальные результаты
Метод был протестирован на задачах информационного поиска (retrieval). Anchor Divergence демонстрирует эффективность в специализации семантического сходства под конкретные задачи, оставаясь вычислительно эффективным. Ниже приведено сравнение подхода с базовыми методами:
| Метрика / Подход | Тип геометрии | Адаптивность к контексту | Вычислительная сложность |
|---|---|---|---|
| Косинусное сходство (Baseline) | Фиксированная (евклидова/сферическая) | Отсутствует | Низкая |
| Anchor Divergence (Proposed) | Динамическая (Bregman divergence) | Высокая (через распределение якорей) | Умеренная |
Значение для индустрии
Предложенный подход открывает путь к созданию более гибких систем поиска и рекомендаций. Вместо того чтобы переобучать модель для каждой новой задачи, разработчики смогут использовать один набор векторных представлений, применяя различные «линзы» (геометрии) в зависимости от того, что именно считается важным в текущем контексте: визуальное сходство, тематическая релевантность или другие семантические связи.
- Авторы: Akash Kannan, Kiho Park, Victor Veitch.
- Дата публикации: 2 октября 2026 года.
- Код: Доступен на GitHub (ссылка в оригинальной статье).
Источник: arXiv cs.AI ↗