Решение проблемы утечек PII в LLM
Лаборатория Cloud.ru Tech представила инструмент guardrails-llm-filter — прозрачный обратный прокси-сервер, предназначенный для защиты персональных данных при взаимодействии с большими языковыми моделями. Проект написан преимущественно на Go (79,1%) с использованием TypeScript и Python для вспомогательных задач. Инструмент решает критическую проблему: отправляя запросы в публичные или корпоративные LLM, компании рискуют передать в модель номера кредитных карт, адреса или CVV-коды.
Принцип работы: маскировка и восстановление
Архитектура решения построена на принципе «прозрачного» прокси. Когда клиент отправляет запрос к LLM-провайдеру, фильтр перехватывает его, находит чувствительные данные (PII), заменяет их на токены-заполнители и только затем передает запрос модели. При получении ответа от LLM система выполняет обратную операцию: извлекает сгенерированный ответ, находит токены и подставляет туда исходные конфиденциальные данные. Это позволяет использовать мощные модели, не нарушая политик безопасности и регуляторных требований (таких как 152-ФЗ).
Ключевые возможности и бенчмарки
В релизе v0.1.0 реализована поддержка различных типов данных, включая российские адреса (с маркерами «алл.» и «ш.»), номера кредитных карт (с проверкой по алгоритму Луна и ключевыми словами) и CVV-коды. Разработчики провели тестирование на наборе данных pii-bench, улучшив показатели полноты (recall) для ML/LLM моделей. Ниже приведена структура языков и компонентов проекта:
| Компонент | Язык/Технология | Доля в коде |
|---|---|---|
| Основной бэкенд | Go | 79,1% |
| Веб-консоль / Утилиты | TypeScript | 11,3% |
| Скрипты и тесты | Python | 5,2% |
| Стили интерфейса | SCSS | 3,6% |
Деплой и наблюдаемость
Инструмент поставляется в виде Docker-образа, что упрощает его интеграцию в существующие CI/CD пайплайны и облачные инфраструктуры. В комплекте идет веб-консоль (версия 0.1.2) для управления правилами маскирования и мониторинга активности. Проект лицензирован открыто, код доступен на GitHub (зеркало: github.com/cloud-ru-tech/guardrails-llm-filter), что позволяет компаниям самостоятельно аудировать безопасность решения и донастраивать его под свои нужды.
Источник: Gitverse ↗