GPT token

Bir GPT token'ı (daha genel haliyle token), büyük bir dil modelinin işlediği birimdir. Modeller karakterleri veya kelimeleri doğrudan görmez — metin önce, genellikle 50.000-200.000 token içeren sabit bir sözlükten tamsayı kimlikler dizisine tokenleştirilir.

OpenAI'ın GPT-3, GPT-4 ve GPT-5'i BPE (Bayt Çifti Kodlama) tokenleştiricileri kullanır. Yaygın İngilizce kelimeler genellikle tek bir tokendir ("the" → 1, "and" → 1); daha uzun veya nadir kelimeler birden fazla tokene bölünür ("tokenization" → belki 3); kod çok daha ağır biçimde bölünür (tanımlayıcılar, parantezler, girintiler her biri kendi tokenine dönüşür).

Pratik oranlar:

• İngilizce düzyazı: token başına ~4 karakter, token başına ~0,75 kelime
• Kod: token başına ~2-3 karakter (daha ağır bölünme)
• Latin dışı yazı sistemleri (Çince, Japonca, Arapça): karakter başına 1 token veya daha kötüsü olabilir

Hem girdi hem de çıktı tokenleri faturalandırılır. Çıktı tokenleri genellikle girdinin 3-5 katı ücretlendirilir. GPT, Claude, Gemini ve Llama modelleri arasında canlı tahmin için token sayacımızı kullanın.

Latin dışı yazı sistemi vergisi: İngilizce ile aynı anlamsal içeriğe sahip Türkçe, Yunanca veya Rusça bir paragraf genellikle 2-3 kat daha fazla token kullanır; zira tokenleştirici ağırlıklı olarak İngilizce metin üzerinde eğitilmiştir ve daha nadir yazı sistemlerinde karakter düzeyinde bölünmeye geri döner. Bir Çince paragraf 4-6 kat daha fazla token kullanabilir. Bu durum doğrudan maliyete yansır — aynı sohbet botunu Japonca ile İngilizce'de çalıştırmak konuşma başına maliyeti kolaylıkla ikiye katlayabilir. 2024 nesli tokenleştiriciler (OpenAI o200k_base, Claude'un yeni tokenleştiricisi) çok daha fazla Latin dışı token ekledi ve farkı kapattı, ancak İngilizce bir LLM işletmek için en ucuz dil olmaya devam ediyor.

İstem önbelleğe alma matematiği değiştirir: OpenAI, Anthropic ve Google, 2024-25 itibarıyla istem önbelleğe almayı sunmaktadır — tekrarlanan girdi ön ekleri, ilk kullanımdan sonra normal girdi ücretinin %25-90'ı oranında ücretlendirilir. Kararlı sistem istemleri ve uzun bağlamlarla çalışan sohbet botu iş yükleri için bu, etkin girdi maliyetini önemli ölçüde azaltır. Önbellek, ön ek başınadır (baştaki tokenlerin hash'i), bu nedenle yeniden sıralamak onu bozar; istemleri kararlı içerikle önde, dinamik içerikle sonda yapılandırın. Referans: OpenAI tiktoken — referans BPE tokenleştirici.

Çalışılmış örnek: gerçek bir istemdeki tokenleri saymak

İstem: "Aşağıdaki toplantı transkripsiyonunu üç madde halinde özetleyin." ardından 2.000 kelimelik İngilizce transkripsiyon ve 200 kelimelik özet talebi. cl100k_base tokenleştiricisini (GPT-4, GPT-4o ailesi) kullanarak: talimat 11 tokendir; 2.000 İngilizce kelime yaklaşık 2.700 tokene dönüşür; model 200 kelime ≈ 270 çıktı tokeni döndürür. Temsili 2026 GPT-4o fiyatlandırmasıyla (girdi için 2,50 $/M, çıktı için 10 $/M): girdi maliyeti 2.711 / 1.000.000 × 2,50 ≈ 0,0068 $; çıktı maliyeti 270 / 1.000.000 × 10 ≈ 0,0027 $. Toplam ≈ 0,95 cent/çağrı. Aynı transkripsiyonu Japoncaya çevirin (~6.500 token, aynı tokenleştiriciyle) ve çağrı başına maliyet yaklaşık üç katına çıkar — modelin herhangi bir ek akıl yürütme yapması gerekmeksizin.

Token sayılarının operasyonel önemi

Fiyatlandırmanın ötesinde tokenler, bağlam penceresi sığmasını belirler. 128.000 tokenlik bir model, eski içerik çıkarılmadan önce yaklaşık 96.000 İngilizce kelime, 64.000 satır Python veya 24.000 Japonca karakter barındırabilir. RAG (geri alma ile desteklenmiş üretim) ardışık düzenleri, yerleştirme kalitesi için kaynak belgeleri 200-1.000 tokenlik pencerelere bölmelidir; çok büyük parçalar yerleştirmeyi bulanıklaştırır, çok küçük parçalar ise anlam olarak ilişkili içeriği parçalar. Araçlar: tiktoken (OpenAI), @anthropic-ai/tokenizer (Anthropic), Hugging Face'in AutoTokenizer'ı (açık modeller). İlgili: bağlam penceresi, LLM. Arka plan: Hugging Face — Tokenleştirici özeti.