Обычные большие языковые модели (LLM) часто справляются с современным стандартным арабским (MSA), но полностью теряются в региональных диалектах. Эмиратский диалект (Emirati Arabic) — это не просто набор слов, а сложная система с уникальной культурной подоплекой, идиомами и поэзией (набати). Для решения этой проблемы команда TII (Technology Innovation Institute) выпустила Falcon-Emirati-7B.
Это модель, построенная на базе Falcon-H1-Arabic. Она не просто переводит слова, а понимает контекст, тон и культурные нюансы, необходимые для естественного общения. Ниже — технические детали, архитектура и инструкция по запуску.
01Архитектура Falcon-H1: Mamba + Transformer
Falcon-Emirati-7B наследует гибридную архитектуру Falcon-H1. В отличие от классических трансформеров, здесь параллельно работают два механизма:
- State Space Models (Mamba): обеспечивают линейную сложность вычислений, что критично для длинных контекстов.
- Transformer Attention: сохраняет точность при работе с дальними зависимостями в тексте.
Выходы этих блоков объединяются перед проекцией. Это дает модели эффективность обработки длинных последовательностей и высокую точность, что важно для морфологически сложного арабского языка.
02Данные и обучение: От краулинга до синтетики
Главная проблема диалектных моделей — нехватка качественных текстов. Эмиратский диалект преимущественно устный, поэтому данных в интернете мало. Команда TII использовала три источника:
- Аутентичные веб-данные: краулинг форумов и сайтов ОАЭ, где люди пишут на диалекте, а не переводят MSA.
- MSA о культуре: статьи об истории, обычаях и нормах ОАЭ. Это учит модель о чем говорить, а не как говорить.
- Синтетические данные: генерация текстов с жесткими глоссариями и правилами стиля, чтобы избежать «искусственного» звучания.
Обучение включало continued pre-training, SFT (Supervised Fine-Tuning) и preference optimization. Оценка проводилась через бенчмарк Alyah и ручную проверку носителями.
03Результаты и сравнение
На бенчмарке Alyah Falcon-Emirati-7B показывает заметное превосходство. Это лучший показатель среди всех протестированных моделей, включая более крупные мультимодальные аналоги. Важно отметить, что размер модели не гарантирует знание диалекта: многие большие модели показывают худшие результаты из-за отсутствия специализированной дообучки.
| Модель | Параметры | Результат Alyah | Примечание |
|---|---|---|---|
| Falcon-Emirati-7B | 7B | Лучший результат | Специализированная, лучший результат |
| Другие LLM (примеры) | >10B | Ниже | Общие мультимодальные модели |
04Требования к железу и запуск
Модель Falcon-Emirati-7B оптимизирована для локального запуска. Благодаря гибридной архитектуре она эффективна, но требует корректной настройки.
Для запуска через llama.cpp (поддержка GGUF) или vLLM используйте следующие команды. Убедитесь, что у вас установлен актуальный transformers и huggingface_hub.
Загрузка модели через Python:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "tiiuae/falcon-emirati-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)Запуск через CLI (если используете утилиты типа huggingface-cli или конвертацию в GGUF для llama.cpp):
# Пример загрузки и конвертации (требует установки llama-cpp-python)
# Сначала скачайте веса
huggingface-cli download tiiuae/falcon-emirati-7b --local-dir ./falcon-emirati
# Запуск через vLLM (рекомендуется для высокой пропускной способности)
vllm serve tiiuae/falcon-emirati-7b --dtype auto --tensor-parallel-size 1При генерации текста важно учитывать, что модель обучалась на специфическом диалекте. Для получения наиболее естественных ответов в промпте можно явно указать контекст:
# Пример промпта для llama.cpp
# ./main -m ./falcon-emirati-7b-q4_k_m.gguf -p "Translate to Emirati dialect: How are you?"05Кому подойдёт / что запустится
- Разработчики чат-ботов для ОАЭ: если ваш продукт ориентирован на локальный рынок, Falcon-Emirati-7B обеспечит аутентичность общения, которую не дадут общие модели.
- Исследователи NLP: отличный кейс для изучения адаптации диалектов и гибридных архитектур (Mamba+Transformer).
- Локальные энтузиасты: модель легко квантуется. На GPU с умеренным объемом VRAM она будет работать в 4-bit квантовании с приемлемой скоростью
Источник: Hugging Face ↗
