Суть проблемы: «налог» на токенизацию
Объединение Coalition for Language Equity in AI Research (CLEAR) опубликовало первое исследование, посвященное языковому неравенству в ИИ. Ключевой вывод: провайдеры моделей (LLM) взимают плату за токен независимо от языка, но сами токенизаторы обучены преимущественно на английском и десятке высокоресурсных языков. В результате текст на остальных языках распадается на значительно более мелкие фрагменты, что искусственно завышает стоимость запроса.
Цифры и бенчмарки: FLORES-200
Замеры проводились на стандартизированном наборе фраз FLORES-200. Аналитики рассмотрели 203 пары языков и письменностей. Главная метрика — отношение числа токенов у самого дорогого языка к самому дешевому. Наглядная разница в эффективности токенизации для одной и той же фразы:
| Язык | Количество токенов (на одну фразу) | Примечание |
|---|---|---|
| Английский | 13 | Базовый язык, высокая эффективность |
| Малаялам | 26 | В 2 раза дороже английского |
| Амхарский | 78 | В 6 раз дороже английского |
Особенно критичная ситуация наблюдается с амхарским языком. Из-за особенностей эфиопского письма (геэз), где каждый знак разбивается на два токена по одному байту, ввод текста на этом языке выходит в 6 раз дороже английского при том же содержательном объеме и почти идентичном числе символов.
Экономический аспект: коэффициент Джини
Помимо прямого сравнения, исследователи применили из экономики меру неравномерности распределения — коэффициент Джини. Это позволяет оценить, насколько сильно стоимость обработки текста варьируется в зависимости от выбранного языка. Высокий коэффициент указывает на то, что разработчики ИИ-приложений, ориентированных на глобальную аудиторию, неосознанно дискриминируют пользователей, чьи языки плохо представлены в обучающих выборках токенизаторов.
Почему это важно
Проблема выходит за рамки простой экономии средств. «Языковой налог» создает барьер для внедрения ИИ в регионах, где доминируют нересурсные языки. Если стоимость API-запросов для пользователей из Эфиопии или Индии (малаялам) объективно выше при равной полезности результата, это замедляет цифровую инклюзивность. CLEAR призывает индустрию пересмотреть архитектуру токенизаторов и ценообразование, чтобы избежать технологической дискриминации по лингвистическому признаку.
Источник: Clear-languages ↗