Прозрачность черных ящиков: новый метод интерпретации LLM

Проблема непрозрачности проприетарных моделей

Массовое внедрение проприетарных больших языковых моделей (LLM), доступных исключительно через закрытые API, создало критический барьер для ответственного развертывания ИИ. Главная проблема — фундаментальное отсутствие интерпретируемости: разработчики и аудиторы не могут понять, какие именно части входных данных сформировали конкретный ответ. Это препятствует выявлению смещений (bias) и обеспечению безопасности систем.

Решение: Энергетические ландшафты на уровне предложений

Команда исследователей во главе с Мэриам Резае (Maryam Rezaee) предложила модель-агностичный подход пост-хок атрибуции. Метод использует Энергетическую Модель (EBM) в качестве суррогата для захвата внутренней концептуальной согласованности между промптом и ответом целевой LLM. Обученный на разнообразных входах, этот «энергетический ландшафт» направляет обучение легкой сети-интерпретатора.

Ключевое преимущество: Отсутствие необходимости в API-запросах

Уникальность подхода заключается в том, что интерпретатор работает как автономный инструмент. После этапа глобального обучения он способен количественно оценить влияние каждого предложения промпта на целевой вывод без необходимости отправлять дополнительные запросы к исходной LLM. Это решает проблему стоимости и задержек, а также позволяет анализировать логику работы модели, к которой нет прямого доступа к весам.

Результаты экспериментов

Эксперименты показали, что предложенная EBM точно симулирует целевую LLM. Это позволяет интерпретатору эффективно идентифицировать предложения, которые наиболее сильно повлияли на генерацию конкретного ответа. Глобальное обучение на разнообразных данных помогает выявить общие паттерны генерации и смягчить смещения, характерные для отдельных инстансов.

Источник: arXiv cs.AI ↗