AI çıkarım maliyeti: token bütçesi, cache, eval altyapısı

ÖzetÜretim LLM projelerinin çoğu kalite düşmeden token faturasında düşer. Üç disiplin bunu çözer: (1) hibrit model routing — kolay iş için ucuz model, zor iş için pahalı model; (2) her tolerans veren katmanda cache; (3) kaliteyi dolar başına ölçen eval altyapısı. Moditra günlük 40,000+ çeviriyi ~$120/ay ile servis ediyor.

Başka bir ekibin devrettiği her AI projesi aynı problemle karşımıza çıktı: fatura tahmin edilemezdi. İlk ay $80. İkinci ay $340. Üçüncü ay $1,900 — kimsenin zamanında yakalamadığı bir bug ile.

Bu yazı, üretim LLM sistemlerini ekonomik olarak kontrol altına alma disiplinimizin özeti.

Üç disiplin

1. Hibrit model routing — her isteği doğru modele gönder
2. Agresif cache — aynı prompt'u iki kere çağırma
3. Eval altyapısı — kaliteyi dolar başına ölçer, sadece kalite değil

Üçünü de yaparsan üretim sistemi öngörülebilir kalır. Herhangi birini atlarsan kumar oynuyorsun.

Hibrit model routing

Hata: "kalite önemli" diye her şeye GPT-4o veya Claude Sonnet 4 kullan. Her sınıflandırma, her tek satırlık üretim, her çeviri $2.50/M input token fiyatından çalışsın.

Çözüm: önce isteğin zorluğunu sınıflandır, sonra modele git.

• Ucuz kademe (GPT-4o-mini, Claude Haiku 4.5): basit sınıflandırma, kısa üretim, çeviri, cache'li context Q&A. ~$0.15/M input token fiyatında — 15× daha ucuz.
• Pahalı kademe (GPT-4o, Claude Sonnet 4): kompleks çıkarım, agent orkestrasyon, uzun context sentezi.

Giriş noktasında bir router her isteği zorluk sınıfıyla etiketliyor, uygun kademeye gönderiyor, ucuz kademe eval'den geçemezse pahalı kademeye fallback yapıyor. Üretimde tipik olarak trafiğin %70-85'i ucuz kademeye gidiyor.

Her katmanda cache

Response cache (en yüksek ROI): aynı prompt aynı context ile daha önce çağrıldıysa önceki cevabı dön. Anahtar hash(model + prompt + context). TTL 24saat–7gün, freshness ihtiyacına göre. Redis veya Cloudflare KV'de sakla.

Üretimde gördüğümüz cache hit rate'leri:

• FAQ botları: %40–60 (aynı sorular tekrarlıyor)
• Çeviri sistemleri: %60–85 (ifade tekrarı yoğun)
• Kompleks agent'lar: %5–15 (her session farklı)

Prompt cache (Claude + OpenAI native): iki sağlayıcı da artık system prompt + few-shot örneklerini sunucu tarafında cache'liyor. 20,000 token'lık system prompt sadece ilk çağrıda tam ücret ödüyor. Cache'lenen token'larda ~%90 indirim. Aktive etmek bedava — sadece prompt'ta cache breakpoint marker'larını set et.

Embedding cache: RAG sistemleri aynı metin için embedding'i tekrar kullanır. hash(text) anahtarıyla embedding vektörünü cache'le. Her 1000 embedding için ~$0.02 kazanır — birim başına küçük, yüksek hacimde ciddi birikiyor.

Eval altyapısı kaliteyi dolar başına ölçer

Hata modu: eval sadece kaliteyi ölçüyor. %95 geçiyor, ekip kutluyor. Bu arada model zamanla daha bol yazıyor, fatura sessizce üçe katlanıyor.

Çözüm: eval çıktısı iki sayı üretir — geçme oranı ve cevap başına ortalama token.

Her prompt değişikliği deploy öncesi eval suite'e karşı çalışıyor. Geçme oranı %2 artarsa ama token maliyeti %50 artıyorsa, değişiklik reddediliyor. Kalite kazancının değmediği fazla ödedin.

Basit bir regresyon: Δ(cost) / Δ(pass_rate) > eşik ise değişikliği yapan geliştiriciye alarm at. Eşik unit ekonomiye göre değişir — yüksek hacimli sistemlerde agresif ($0.10/yüzde-puan).

Fatura patlamasını yakalayan alarm

Her üretim LLM sistemine günlük maliyet alarmı. Haftalık değil — haftalık demek Cuma gecesi Pazartesi deploy'un faturayı üçe katladığını öğrenmek demek.

Kurulum:

1. Router'da per-request maliyet + model kademesini log'la.
2. Saatlik metric'e aggregate et.
3. hourly_cost > 3× rolling_7day_avg ve daily_cost > 2× rolling_30day_median üzerinde alarm.

Rolling median önemli — average tek outlier gün ile şiştiği için yavaş ramp'leri gizler.

Moditra rakamları

Moditra yüzlerce aktif kullanıcı için çok dilli chat çevirisi (TR/EN/AR) çalıştırıyor. Mesaj hacmi: günlük ~40,000 çeviri.

• Model routing: GPT-4o-mini isteklerin %92'sini karşılıyor. GPT-4o sadece nüans önemli olan uyuşmazlık çözüm metinleri için.
• Cache hit rate: çeviri cevaplarında %78 (endüstriyel chat'te ifade tekrarı çok yoğun).
• Toplam inference maliyeti: ~$120/ay.
• Bu disiplinler olmadan tahmin edilen maliyet: ~$1,800/ay (cache'siz düz GPT-4o fiyatından).

Yani 15× çarpan. Eval suite'e göre aynı kalite. Disiplin ilk hafta kendini ödedi.

Vazgeçmeyeceklerimiz

Kesmemiz gerekseydi son vereceğimiz şey eval altyapısı. Onsuz her prompt değişikliği yazı tura. Onunla maliyet regresyonları deploy öncesi yakalanıyor — kalite regresyonları da beraberinde.

İkinci vazgeçmeyeceğimiz günlük maliyet alarmı. "Üretimde bir sistemimiz var" ile "üretimde bir yükümlülüğümüz var" arasındaki fark.

Praxvon'da yaklaşımımız

Her AI sistemi üç disipliniyle beraber kuruyoruz, ilk sürpriz fatura sonrası değil. Eval suite kodla birlikte teslim ediliyor. Cache katmanları ilk prompt yazılmadan mimari diyagramında var. Alarm HTTP monitoring için kullandığımız aynı Uptime Kuma instance'ına bağlı.

Bunun hiçbiri ML platformu gerektirmiyor. Cache için Redis, eval için JSON dosyası, alarm için cron. Aylık toplam operasyonel yük: birkaç saat.

İlgili VakaModitra — B2B Modelist Atölye SaaS PlatformuModitra · SaaS Platformu / UI / UX · 2026Vaka çalışmasını oku →

Üretim LLM sisteminiz var ve maliyet eğrisi tahmin edilemiyorsa, iletişime geçin — bu üç disiplinin audit'i genelde kaliteye dokunmadan %30–70 maliyet kesiyor.