Проблема «катастрофического» удаления
Когда автор требует удаления своего контента из обучающей выборки ИИ, разработчики моделей сталкиваются с серьезной технической проблемой. Существующие системы отслеживания происхождения данных (provenance) работают только на уровне файлов или целых датасетов. Это вынуждает тренеров удалять не только запрошенные записи, но и весь связанный с ними контекст, что приводит к катастрофическому избыточному удалению (over-deletion) полезной информации.
Решение: OriginBlame (ob)
Новая система OriginBlame (обозначается как ob) решает эту задачу, обеспечивая отслеживание происхождения данных на уровне записей (record-level) и токенов (token-level). Идентичность автора распространяется через все этапы обработки данных, что позволяет преобразовывать запросы на отзыв (revocation) в точные наборы для «забывания» (forget sets) с помощью детерминированных запросов.
Ключевые метрики эффективности
Оценка проводилась на выборке из 219 555 страниц Wikipedia. Результаты демонстрируют радикальное улучшение точности удаления:
| Метрика | До внедрения (File/Dataset level) | С OriginBlame | Эффект |
|---|---|---|---|
| Избыточное удаление (Over-deletion) | 101x | 1.3x | Снижение в ~78 раз |
| Накладные расходы (Throughput overhead) | — | 1.3–4.0% | Интеграция с HuggingFace |
| Накладные расходы (Throughput overhead) | — | 2.1–19.0% | Интеграция с Datatrove |
| Улучшение unlearning | Random baseline | +42% | На модели 1.7B параметров |
Почему это важно
Точечное удаление данных критически важно для соблюдения прав авторов и регуляторных требований (например, GDPR). Использование случайных базовых линий для unlearning часто приводит к тому, что модель «забывает» нужные паттерны, но сохраняет нежелательные. OriginBlame улучшает процесс unlearning на 42% по сравнению с рандомными методами на модели объемом 1.7B параметров, сохраняя при этом приемлемые накладные расходы на вычислительную мощность.
Источник: arXiv cs.AI ↗