AIKraft/Skills/bengali-nlp

bengali-nlp

Обработка бенгальского текста: нормализация Unicode, обнаружение скрипта, токенизация и работа с конъюнктами. Применяется для бенгальскоязычных AI-приложений.

affaan-m official Разработка ★ 281.6k

Что делает навык

Набор паттернов для корректной обработки бенгальского текста: нормализация Unicode, токенизация, работа с конъюнктами и сортировка. Применяется для обеспечения корректного отображения, поиска и хранения данных в бенгальскоязычных AI-приложениях.

Когда применять

  • Обработка и хранение бенгальского текста в базах данных (MySQL, PostgreSQL)
  • Реализация поиска, автодополнения или ввода текста на бенгальском языке
  • Обработка смешанного бенгальско-английского текста (Banglish)
  • Подготовка датасетов для обучения или дообучения LLM на бенгальских данных
  • Создание бенгальских чат-ботов и систем диалогового ИИ

Как работает

  1. Нормализовать весь бенгальский текст к формату NFC перед сравнением, хранением или поиском
  2. Использовать границы графемных кластеров (например, через библиотеку regex или Intl.Segmenter) для подсчета длины и обрезки строк, чтобы не разрывать конъюнкты
  3. Применять специализированные токенизаторы (bnlp, stanza, spaCy) или регулярные выражения для разделения слов с учетом постпозиций
  4. Выявлять скрипт с помощью регулярных выражений по диапазону Unicode U+0980–U+09FF и определять долю бенгальских символов
  5. Использовать locale-aware сортировку (PyICU или Intl.Collator) для корректного алфавитного порядка
  6. Отделять системные инструкции от пользовательского контента с помощью явных разделителей для безопасности LLM

Примеры запросов агенту

Нормализуй этот бенгальский текст к формату NFC и посчитай количество графемных кластеров, а не символов.
Разбей этот бенгальский текст на токены, учитывая постпозиции и пунктуацию.
Проверь, содержит ли этот текст бенгальский скрипт, и определи долю бенгальских символов в нем.

Что понадобится

  • Библиотека regex (для работы с графемными кластерами)
  • Библиотека PyICU (для корректной сортировки, опционально)
  • Пакет bnlp_toolkit (для продвинутой токенизации, опционально)

Описание составлено по SKILL.md навыка, сверено 18.10.2026.

Как подключить

1Скачать навык
# возьмите папку навыка «bengali-nlp» из репозитория: # https://github.com/affaan-m/ecc
2Положить папку с SKILL.md к навыкам ассистента
# положите папку навыка туда, где ассистент ищет skills: cp -r bengali-nlp/ ~/.claude/skills/bengali-nlp/

Навык — папка с файлом SKILL.md (описание + инструкции) и опциональными скриптами. Ассистент (Claude, Claude Code и совместимые) подхватывает его по описанию и следует шагам.