Oʻzbek tili sunʼiy intellekt uchun ingliz tilidan 1,55–2,17 baravar qimmatroq
Oʻzbek texnologik kompaniyasi Gorgona AI OpenAI, Anthropic, Google, Qwen va DeepSeek modellarida 1337 ta matnni tekshirdi

Mualliflar OpenAI, Anthropic, Google, Qwen va DeepSeek modellarini 15 ta tokenizator orqali parallel matnlar asosida tekshirdi. Tokenlar — til modellari ishlaydigan matn boʻlaklaridir. Oʻquv maʼlumotlarida odatda ingliz tili koʻproq boʻladi. Shu sababli inglizcha soʻzlar koʻpincha bitta token ichiga joylashadi, affiksli oʻzbekcha soʻzlar esa bir necha qismga boʻlinadi.
Provayderlar tildan qatʼi nazar tokenlar uchun haq oladi. Shu sababli oʻzbekcha matn qimmatroqqa tushadi, kontekst oynasida koʻproq joy egallaydi, javobni generatsiya qilish esa koʻproq vaqt olishi mumkin. Ustama miqdori model va boshlangʻich matnga bogʻliq: oʻzbek tilida yozilgan matnlar odatda quyi chegaraga, ingliz tilidan tarjima qilingan matnlar esa yuqori chegaraga yaqin boʻladi.
Tadqiqot bu farqni faqat morfologiya bilan bogʻlamaydi. Xarajatlarga oʻquv maʼlumotlari toʻplamidagi oʻzbekcha matnlar hajmi va tilning tokenizator lugʻatidagi oʻrni ham taʼsir qiladi. Shu bois mazmuni bir xil boʻlgan matn turli modellarda sezilarli darajada farq qiladigan narxga ega boʻlishi mumkin. Biroq mualliflar javoblar sifatini oʻlchamagan.
Xarajatlarga alifbo va belgilar toʻplami ham taʼsir qiladi. Aksariyat provayderlarda oʻzbek kirill yozuvi lotin yozuvidan qimmatroq, oʻ va gʻ harflaridagi apostrofning turli koʻrinishlari esa tokenlar sonida kichik farq keltirib chiqaradi. Mualliflar bahosiga koʻra, yangi alifboga oʻtish matn hajmini biroz qisqartiradi, ammo sunʼiy intellekt uchun ajratilgan budjetlarni qayta koʻrib chiqishni talab qilmaydi.
Mualliflar ochiq oʻzbekcha korpuslarni raqamli infratuzilma deb hisoblaydi. Ular ikki alifbodagi parallel matnlar, konverterlar, morfologik lugʻatlar va tokenizatorlarni kompaniyalar, universitetlar hamda davlat hamkorligida rivojlantirishni taklif qilmoqda.




