bengali-nlp
Обработка бенгальского текста: нормализация Unicode, обнаружение скрипта, токенизация и работа с конъюнктами. Применяется для бенгальскоязычных AI-приложений.
AIaffaan-m
official
Разработка
★ 281.6k
Что делает навык
Набор паттернов для корректной обработки бенгальского текста: нормализация Unicode, токенизация, работа с конъюнктами и сортировка. Применяется для обеспечения корректного отображения, поиска и хранения данных в бенгальскоязычных AI-приложениях.
Когда применять
- Обработка и хранение бенгальского текста в базах данных (MySQL, PostgreSQL)
- Реализация поиска, автодополнения или ввода текста на бенгальском языке
- Обработка смешанного бенгальско-английского текста (Banglish)
- Подготовка датасетов для обучения или дообучения LLM на бенгальских данных
- Создание бенгальских чат-ботов и систем диалогового ИИ
Как работает
- Нормализовать весь бенгальский текст к формату NFC перед сравнением, хранением или поиском
- Использовать границы графемных кластеров (например, через библиотеку regex или Intl.Segmenter) для подсчета длины и обрезки строк, чтобы не разрывать конъюнкты
- Применять специализированные токенизаторы (bnlp, stanza, spaCy) или регулярные выражения для разделения слов с учетом постпозиций
- Выявлять скрипт с помощью регулярных выражений по диапазону Unicode U+0980–U+09FF и определять долю бенгальских символов
- Использовать locale-aware сортировку (PyICU или Intl.Collator) для корректного алфавитного порядка
- Отделять системные инструкции от пользовательского контента с помощью явных разделителей для безопасности LLM
Примеры запросов агенту
Нормализуй этот бенгальский текст к формату NFC и посчитай количество графемных кластеров, а не символов.
Разбей этот бенгальский текст на токены, учитывая постпозиции и пунктуацию.
Проверь, содержит ли этот текст бенгальский скрипт, и определи долю бенгальских символов в нем.
Что понадобится
- Библиотека regex (для работы с графемными кластерами)
- Библиотека PyICU (для корректной сортировки, опционально)
- Пакет bnlp_toolkit (для продвинутой токенизации, опционально)
Описание составлено по SKILL.md навыка, сверено 18.10.2026.
Как подключить
1Скачать навык
# возьмите папку навыка «bengali-nlp» из репозитория:
# https://github.com/affaan-m/ecc
2Положить папку с
SKILL.md к навыкам ассистента# положите папку навыка туда, где ассистент ищет skills:
cp -r bengali-nlp/ ~/.claude/skills/bengali-nlp/
Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.