AugLy: Аугментация и защита ML-моделей для изображений, текста и аудио

В эпоху, когда качество данных определяет успех модели, AugLy становится критически важным инструментом. Это библиотека от Meta, позволяющая не только увеличивать датасеты (data augmentation), но и оценивать устойчивость моделей к шуму, искажениям и адверсариальным атакам. В этой статье мы разберем практическое применение AugLy для изображений, текста и аудио, интегрируя его в пайплайны PyTorch.

011. Установка и совместимость

AugLy требует специфических зависимостей, таких как python-magic для определения типов файлов и regex для обработки текста. В современных средах (например, Google Colab или локальных Linux-окружениях) важно установить системные библиотеки и совместимые версии пакетов.

Для обеспечения воспроизводимости и устранения конфликтов версий рекомендуется использовать следующую команду установки:

apt-get -qq install -y libmagic1 > /dev/null 2>&1
pip install -q --no-deps augly
pip install -q "iopath>=0.1.8" "python-magic>=0.4.22" "regex>=2021.4.4" "nlpaug==1.1.3"

022. Аугментация изображений: метаданные и интенсивность

Одна из сильных сторон AugLy — это встроенный механизм отслеживания интенсивности трансформаций. Каждая операция возвращает метаданные, включая коэффициент изменения (intensity), что позволяет точно контролировать степень искажения данных.

Рассмотрим пример применения различных трансформаций к изображению. Мы можем создать "зоопарк" эффектов, от размытия до наложения текста (мем-формат), и собрать статистику:

import augly.image as imaugs
import numpy as np

# Пример функционального вызова
img_augmented = imaugs.pixelization(img, ratio=0.25)

# Пример с метаданными
transform = imaugs.Pixelization(ratio=0.25)
img_class_result, metadata = transform(img)

# Проверка идентичности результатов
assert np.array_equal(np.array(img_augmented), np.array(img_class_result))

Ниже приведена таблица популярных трансформаций и их параметров, которые можно использовать для генерации синтетических данных:

033. Текстовая аугментация и устойчивость к атакам

Для NLP-задач AugLy предлагает инструменты для генерации синтетических текстов и тестирования их на устойчивость. Это особенно актуально для защиты моделей от адверсариальных атак, таких как замена символов на визуально похожие (Unicode obfuscation) или добавление шума.

Пример создания датасета для классификации тональности с использованием шаблонов:

import augly.text as textaugs
import random

# Генерация позитивных и негативных примеров
pos_adj = ["excellent", "delightful", "superb"]
neg_adj = ["terrible", "awful", "dreadful"]

# Применение аугментации к тексту
text = "The service was excellent and I would recommend it"
augmented_text = textaugs.random_word_dropout(text, dropout_ratio=0.2)

# Проверка на устойчивость к Unicode-заменам
obfuscated_text = textaugs.unicode_obfuscation(text)

AugLy позволяет оценивать, как классификаторы реагируют на:

• Random Word Dropout: Случайное удаление слов.
• Unicode Obfuscation: Замена букв на похожие символы из других алфавитов.
• Sanitization: Очистка текста от спецсимволов.

044. Аудио-аугментация и интеграция с PyTorch

AugLy поддерживает работу с аудиофайлами, позволяя добавлять шум, изменять темп и частоту. Это полезно для создания robust-моделей распознавания речи или звуковых событий.

Для интеграции в пайплайн обучения на PyTorch, трансформации AugLy можно обернуть в кастомный Dataset. Это позволяет использовать стандартные DataLoader для загрузки и аугментации данных в реальном времени.

import torch
from torch.utils.data import Dataset, DataLoader
import augly.audio as audioaugs

class AugLyAudioDataset(Dataset):
    def __init__(self, audio_paths, sr=16000):
        self.paths = audio_paths
        self.sr = sr
        
    def __len__(self):
        return len(self.paths)
    
    def __getitem__(self, idx):
        # Загрузка аудио (псевдокод)
        audio, sr = load_audio(self.paths[idx])
        
        # Применение аугментации AugLy
        # Например, добавление
Источник: MarkTechPost ↗