Реклама
Реклама в Telegram для вашего бизнеса · TCA Media
RUUZEN
Реклама
Реклама в Telegram для бизнеса · TCA Media
Курс ЦБUSD 12 023,61EUR 13 236,79RUB 145,54Вторник, 17 ноября 2026
Технологии

Узбекский язык для ИИ стоит в 1,55–2,17 раза дороже английского

Узбекская технологическая компания Gorgona AI проверила 1337 текстов в моделяхOpenAI, Anthropic, Google, Qwen и DeepSeek

12 ноября, 16:18
Republish · Shutterstock

Авторы проверили модели OpenAI, Anthropic, Google, Qwen и DeepSeek на параллельных текстах через 15 токенизаторов. Токены — это фрагменты текста, с которыми работают языковые модели. В обучающих данных обычно больше английского, поэтому его слова чаще помещаются в один токен, а узбекские слова с аффиксами разбиваются на несколько частей.

Провайдеры берут плату за токены независимо от языка. Из-за этого узбекский текст обходится дороже, занимает больше места в контекстном окне, а генерация ответа может занимать больше времени. Размер надбавки зависит от модели и исходного текста: тексты, написанные по-узбекски, обычно ближе к нижней границе, а переводы с английского — к верхней.

Исследование связывает разницу не только с морфологией. На стоимость влияют объём узбекских текстов в обучающей выборке и место языка в словаре токенизатора. Поэтому одинаковый по содержанию текст может заметно отличаться по цене у разных моделей. Качество ответов при этом авторы не измеряли.

Реклама
Реклама в Telegram для бизнеса · TCA Media

На расходы влияют также алфавит и набор символов. У большинства провайдеров узбекская кириллица дороже латиницы, а разные варианты апострофа в буквах oʻ и gʻ дают небольшую разницу в числе токенов. Переход на новый алфавит, по оценке авторов, немного сократит объём текста, но не потребует пересмотра бюджетов на ИИ.

Авторы считают открытые узбекские корпуса цифровой инфраструктурой. Они предлагают развивать параллельные тексты в двух алфавитах, конвертеры, морфологические словари и токенизаторы совместно компаниям, университетам и государству.