Perturber: 68 аугментаций для честного теста LLM

Оценка больших языковых моделей (LLM) на «чистых» бенчмарках часто дает ложное чувство безопасности. В реальных условиях пользователи отправляют запросы с опечатками, сленгом или сложной синтаксической структурой, что может кардинально изменить ответ модели. Проблема существующих инструментов — их привязка к конкретным стекам тестирования. Исследователь Khoi-Nguyen Tran предлагает решение: Perturber, независимый сервис и Python-библиотека, которые изолируют процесс аугментации текста.

Архитектура: один вызов — одна трансформация

Ключевая особенность Perturber — принцип «stateless» (без сохранения состояния) и атомарность операций. Сервис применяет ровно одну семантически сохраняющую пертурбацию за вызов. Это гарантирует, что результат будет идентичным независимо от того, где запущен код. Сложные трансформации достигаются за счет цепочки вызовов (chaining), которую контролирует пользователь, а не сам сервис. Такой подход исключает случайные вариации и делает эксперименты полностью воспроизводимыми.

Каталог из 68 пертурбаций

Встроенная библиотека включает 68 различных методов искажения текста, сгруппированных в 11 семейств. Инструмент позволяет не только применять изменения, но и оценивать их влияние на смысл текста, измеряя сохранение семантики (meaning-preservation) для каждого конкретного случая, а не полагаясь на абстрактные допущения.

Практическая польза для разработчиков

Perturber поставляется с интерактивным playground и каталогом, который помогает исследователям выбирать подходящие бенчмарки. Инструмент позволяет запустить воспроизводимую оценку модели одной командой. Это критически важно для компаний, внедряющих LLM в продакшн, так как позволяет заранее выявить уязвимости модели к естественным шумам в пользовательских запросах, экономя время на отладке.

Источник: arXiv cs.CL ↗