Türkçe metin, aynı içerik için yaklaşık 2,29 kat daha fazla token harcıyor
Türkçe iş yüklerinde sık gözden kaçan bir kalem. Aşağıdaki sayılar gerçek bir BPE tokenizer ile ölçüldü; ancak örneklem küçük (20 cümle çifti) ve tek tokenizer kullanıldı. Bu yüzden sonuç medyan bir tahmindir, kesin bir oran değil.
Ölçüm
Her satır aynı anlamı taşıyan bir Türkçe ve İngilizce cümle çiftidir.
Token sayıları tiktoken kütüphanesiyle, cl100k_base kodlamasıyla alındı.
| Türkçe | TR token | İngilizce | EN token | Oran |
|---|---|---|---|---|
| Türkiye'de yapay zeka modellerinin maliyeti hızla değişiyor. | 24 | The cost of artificial intelligence models is changing rapidly. | 10 | 2.4× |
| Bu rapor, sağlayıcıların resmî fiyat sayfalarından toplanan verilere dayanır. | 27 | This report is based on data collected from providers' official pricing pages. | 14 | 1.93× |
| Önbellek kullanımı, uzun bağlamlı uygulamalarda maliyeti önemli ölçüde düşürür. | 38 | Caching significantly reduces costs in applications with long contexts. | 11 | 3.45× |
| Müşteri destek botları için günlük token hacmi belirleyici faktördür. | 25 | Daily token volume is the determining factor for customer support bots. | 12 | 2.08× |
| Fiyatlar resmî kaynaklardan toplanır ve yayın öncesi doğrulanır. | 26 | Prices are collected from official sources and verified before publication. | 11 | 2.36× |
| Model seçimi, aylık faturayı birkaç katına çıkarabilir. | 22 | Model choice can multiply your monthly bill several times over. | 11 | 2.0× |
| Türkçe metinler, aynı içerik için daha fazla token harcar. | 23 | Turkish texts consume more tokens for the same content. | 11 | 2.09× |
| Hesaplama, girdi ve çıktı tokenlarının ayrı fiyatlandırılmasına dayanır. | 30 | The calculation relies on separate pricing for input and output tokens. | 12 | 2.5× |
| Yapay zeka API fiyatları sağlayıcıdan sağlayıcıya büyük farklılık gösteriyor. | 27 | AI API prices vary widely from provider to provider. | 10 | 2.7× |
| Bir şirketin aylık bütçesini planlamak için token maliyetini bilmesi gerekir. | 30 | A company needs to know its token costs to plan its monthly budget. | 14 | 2.14× |
| Küçük bir ekip bile doğru modeli seçerek maliyetini yarıya indirebilir. | 27 | Even a small team can halve its costs by choosing the right model. | 15 | 1.8× |
| Sunucu tarafında çalışan uygulamalar, gecikme ve maliyet arasında denge kurmalıdır. | 32 | Server-side applications must balance latency against cost. | 9 | 3.56× |
| Bu ölçüm, gerçek bir tokenizer kullanılarak yapılmıştır. | 21 | This measurement was made using a real tokenizer. | 9 | 2.33× |
| Türkçe karakterler çoğu tokenizer'da birden fazla parçaya bölünür. | 26 | Turkish characters are split into multiple pieces in most tokenizers. | 13 | 2.0× |
| Fiyat geçmişi, bir modelin zam yapıp yapmadığını gösterir. | 21 | Price history shows whether a model has raised its prices. | 11 | 1.91× |
| Kaynak bağlantısı olmayan bir fiyat, güvenilir değildir. | 22 | A price without a source link is not trustworthy. | 10 | 2.2× |
| Grafik işlemci kiralamak, API kullanmaktan her zaman ucuz değildir. | 23 | Renting a GPU is not always cheaper than using an API. | 13 | 1.77× |
| Doğru veri, doğru kararın ön koşuludur. | 18 | Correct data is a prerequisite for a correct decision. | 10 | 1.8× |
| Önbelleğe alınmış istemler, faturayı sessizce küçültür. | 25 | Cached prompts quietly shrink the bill. | 7 | 3.57× |
| Toplu işlem indirimi, gecikmeye duyarlı olmayan işler için uygundur. | 27 | Batch processing discounts suit latency-tolerant workloads. | 11 | 2.45× |
Bu ne kadar para demek?
Aynı uygulamayı Türkçe ve İngilizce sunsanız, aylık fatura şöyle değişir. Hesaplama seçtiğiniz modelin güncel fiyatıyla yapılır.
Not: oran dile göre değişir. Teknik terim ve özel isim yoğun metinlerde fark daralır, günlük konuşma dilinde açılır. Ölçüm bu sayfadaki 20 cümleye dayanır.
Neden oluyor?
- Tokenizer'lar ağırlıklı olarak İngilizce metinle eğitilir; sık İngilizce kelimeler tek token olur.
- Türkçe eklemeli bir dil: "hesapla", "hesaplıyor", "hesapladığımızda" ayrı ayrı parçalanır.
- Türkçe karakterler (ç, ğ, ı, ö, ş, ü) çoğu tokenizer'da birden fazla byte'a bölünür.
- Sonuç: aynı bilgi, daha fazla token, daha yüksek fatura.
Bu yüzden Türkçe bir ürün geliştiriyorsanız, yabancı bir blogda gördüğünüz "1 token ≈ 4 karakter" kuralı sizi yanıltır. Türkçe için gerçek oran 2.54 karakter/token civarındadır.
Kendi metninizi ölçün
Token sayacı metninizi tarayıcınızda sayar; sunucuya gönderilmez.