LLM Uygulamalarını İzlemek: Neden Eski Alışkanlıklarınız Size Yardım Etmiyor?

Şöyle bir düşünün: LLM destekli bir uygulamayı, sıradan bir API endpoint'ini izlediğiniz gibi izliyorsanız, aslında körü körüne uçuyorsunuz demektir.

Bu manzarayla çok sık karşılaşıyorum. Ekipler AI servisini kuruyor, mevcut izleme altyapısına bağlıyor, yeşil ışıkların yandığını görüyor ve sonra pat diye iki şeyle karşılaşıyor: ya kullanıcılar cevap kalitesinden şikayet ediyor, ya da fatura beklenenden üç kat fazla geliyor. Tüm araçlar "her şey yolunda" diyor. Ama değil.

Sorun sadece farklı metrikler seçmekten ibaret değil. AI sistemleri, izleme altyapımızın üzerine inşa edildiği temel varsayımları baştan aşağı bozuyor.

Web Servisleri Zihin Modeli Burada Çalışmıyor

Geleneksel web izleme yaklaşımı basit bir döngü varsayar: bir istek gelir, işlem yapılır, bir cevap çıkar. Başarı veya başarısızlık ikili (binary) bir durumdur. Gecikme, gecikmedir. p99 değeriniz size anlamlı bir şey söyler.

LLM'ler bu varsayımların hepsini paramparça eder.

Bir cevap anında teslim edilmez—token token üretilir. Yani "gecikme" dediğiniz şey, üretim sürecinin neresinde olduğunuza bağlı olarak en az üç farklı sayıya karşılık gelir. HTTP 200 yanıtı, çıktının kalitesi hakkında hiçbir şey ifade etmez. Maliyet istek sayısına değil, token sayısına göre artar. Ve en yıkıcı hatalar tamamen sessizce gerçekleşir: model mükemmel bir HTTP durum koduyla kendinden emin bir saçmalık üretir.

İlk Token Süresi: Kullanıcıların Gerçekten Hissettiği An

Birisi AI özelliğinize bir prompt gönderdiğinde yaşadığı ilk şey beklemektir. Özellikle de ekranda ilk token'ın belirmesini beklemek. İşte bu, LLM dünyasında "algılanan gecikme" kavramına en yakın şey: Time to First Token (TTFT).

TTFT'yi zorlaştıran şey şu: prompt uzunluğu arttıkça TTFT de artar. Devasa context window'ları her isteğe doldurarak doğruluğu artırmaya çalıştığınız bir RAG sistemi kuruyorsanız, aynı anda kullanıcıların algıladığı performansı çökerletiyorsunuz demektir. Bu, geleneksel izleme araçlarının sizin için ortaya çıkarmayacağı temel bir tradeoff'dur.

Tokenlar Arası Gecikme: Akışın Ritmi

Streaming başladıktan sonra kullanıcılar okuma hızı konusunda beklenti geliştirir. Inter-Token Latency (ITL)—ardışık token'lar arasındaki boşluk—çıktının pürüzsüz mü yoksa takılarak mı hissettireceğini belirler.

Kullanıcılar beklenmedik derecede hoşgörülüdür yavaş ama tutarlı bir stream'e karşı. Ama daha hızlı olup da arada donan, takılan bir stream'u nefret ederler. İzleme sisteminiz, ham throughput kabul edilebilir görünse bile bu iki deneyimi ayırt edebilmeli.

Uçtan Uca Gecikme: Bağlam Her Şeyi Değiştirir

REST API'niz için mükemmel çalışan p99 metriği, AI istekleri için sizi tamamen yanıltacaktır. Neden? Çünkü 50 token'lık bir sınıflandırma görevi ile 2.000 token'lık bir rapor üretimi birbirinden dramatik şekilde farklı gecikme profillerine sahiptir ve bunları bir araya getirip ortalama almak, hiçbir şeyi temsil etmeyen bir sayı üretir.

Gecikmeyi her kullanım senaryosuna göre ayrı ayrı takip edin. Her metrik, tutarlı özelliklere sahip tek bir iş yüküne karşılık gelmeli. Aksi halde var olmayan bir soyutlama için optimizasyon yapıyorsunuz demektir.

Sessiz Hata Sorunu

İşte en korkutucu kısım: AI sistemlerindeki en kötü production sorunları çoğu zaman sıfır uyarı üretir.

Modeliniz kendinden emin bir şekilde saçmalık üretmeye başlar. Prompt drift hafif bir yanlılık oluşturur. Alınan bağlam görmezden gelinir ve model eğitim verilerindeki bilgilere güvenir. Tüm bunlar HTTP 200 döner, kabul edilebilir sürede tamamlanır ve dashboard'da kusursuz görünür.

Uptime kontrolleriyle bunları yakalayamazsınız. Çıktı kalitesi izlemesine ihtiyacınız var. Enstrümente etmesi daha zor ama kesinlikle vazgeçilmez.

Asıl Önemli Olan

AI metriklerinizi, cevapladıkları sorular etrafında gruplandırın:

• Hızlı mı? TTFT, ITL, kullanım senaryosuna göre gecikme yüzdeleri
• Ölçeklenebilir mi? Token throughput, kuyruk derinlikleri, context kullanım oranları
• Doğru mu? Görev tamamlama oranları, çıktılardaki hata kalıpları
• Sürdürülebilir mi? Görev başına maliyet, token verimliliği, model tutarlılığı
• Nasıl davranıyor? (Agent'lar için) Görev tamamlama, adım sayısı, döngü tespiti

Bu sayıların bir kısmını altyapınızdan ücretsiz alırsınız. Çoğunu almazsınız. AI iş yükleri için özel enstrümantasyon oluşturmak opsiyonel değil—gerçekten ne olup bittiğini görmenin tek yolu bu.

İşin doğrusunu başaran ekipler daha iyi dashboard'lar kullanmıyor. Daha iyi sorular soruyorlar.