SetPrint: Новый метод черной коробки для отпечатков LLM

Исследователи представили SetPrint — метод без обучения, который выявляет связь между моделями LLM через анализ изменений ответов на возмущения запросов.

AIРедакция AIKraftавто-обзор источников

1 мин чтения·источник: arXiv cs.AI

Проблема черной коробки

Определение того, была ли целевая модель LLM получена из исходной, когда доступны только выходные ответы на входные запросы, является сложной задачей. Существующие методы не полностью используют оба источника информации: отношения между изменениями ответов в каждом наборе и соответствие изменений между двумя моделями.

Решение SetPrint

SetPrint — это метод без обучения, который совместно захватывает как внутринаборные отношения, так и межмножественное соответствие. Он выражает каждое изменение ответа относительно среднего изменения своего собственного набора, а затем сравнивает изменения от двух моделей, вызванные одним и тем же возмущением.

Результаты на LeaFBench

На benchmark LeaFBench SetPrint последовательно превосходит существующие методы черной коробки без обучения. Дальнейший анализ приписывает эти улучшения как внутринаборным отношениям, так и межмножественному соответствию.

Метод	Тип	Использование внутринаборных отношений	Использование межмножественного соответствия
SetPrint	Без обучения	Да	Да
Существующие методы	Без обучения	Частично	Частично

Значение для индустрии

Разработка таких методов важна для защиты интеллектуальной собственности в области искусственного интеллекта и обеспечения прозрачности использования моделей LLM. SetPrint предлагает новый подход к решению этой проблемы, который может быть применен в различных сценариях использования.

Источник: arXiv cs.AI ↗