Узбекский язык для ИИ стоит в 1,55–2,17 раза дороже английского
Узбекская технологическая компания Gorgona AI проверила 1337 текстов в моделяхOpenAI, Anthropic, Google, Qwen и DeepSeek

Авторы проверили модели OpenAI, Anthropic, Google, Qwen и DeepSeek на параллельных текстах через 15 токенизаторов. Токены — это фрагменты текста, с которыми работают языковые модели. В обучающих данных обычно больше английского, поэтому его слова чаще помещаются в один токен, а узбекские слова с аффиксами разбиваются на несколько частей.
Провайдеры берут плату за токены независимо от языка. Из-за этого узбекский текст обходится дороже, занимает больше места в контекстном окне, а генерация ответа может занимать больше времени. Размер надбавки зависит от модели и исходного текста: тексты, написанные по-узбекски, обычно ближе к нижней границе, а переводы с английского — к верхней.
Исследование связывает разницу не только с морфологией. На стоимость влияют объём узбекских текстов в обучающей выборке и место языка в словаре токенизатора. Поэтому одинаковый по содержанию текст может заметно отличаться по цене у разных моделей. Качество ответов при этом авторы не измеряли.
На расходы влияют также алфавит и набор символов. У большинства провайдеров узбекская кириллица дороже латиницы, а разные варианты апострофа в буквах oʻ и gʻ дают небольшую разницу в числе токенов. Переход на новый алфавит, по оценке авторов, немного сократит объём текста, но не потребует пересмотра бюджетов на ИИ.
Авторы считают открытые узбекские корпуса цифровой инфраструктурой. Они предлагают развивать параллельные тексты в двух алфавитах, конвертеры, морфологические словари и токенизаторы совместно компаниям, университетам и государству.




