Bir yapay zeka iş akışı yanlış bir yanıt ürettiğinde iki tür ekip vardır. Birincisi bir trace açar; hangi adımın başarısız olduğunu, hangi veriyi kullandığını ve modelin ne döndürdüğünü tam olarak görür ve dakikalar içinde düzeltir. İkincisi iş akışını birkaç kez yeniden çalıştırır, sorunu yeniden üretemez ve tahmin yürütmeye başlar. Aralarındaki fark yetenek değil. Ne olduğunu görüp göremedikleridir.
Bir trace, tek bir uçtan uca çalışmanın kaydıdır: sırayla her adım, girdileri, çıktıları, zamanlaması ve maliyetiyle. Modern bir ajanda bu adım listesi uzundur: veriyi getir, PII'yi maskele, bir araç çağır, modeli çalıştır, bir guardrail kontrol et, onaya yönlendir, teslim et. Bir trace olmadan, tüm bunlar bir kara kutunun içinde olur ve olasılıksal bir sistemi yalnızca nihai çıktısından akıl yürütmek zorunda kalırsınız. Birçok disiplin bu sorunu zaten çözdü ve hepsi aynı yönü gösteriyor.
Gözlemlenebilirlik ekolü: print değil, span
Site güvenilirlik mühendisliği dağıtık sistemlere bunun için bir söz dağarcığı verdi: bir trace, span'lerden oluşur; her span, başlangıcı, sonu ve öznitelikleri olan bir iş birimidir ve neyin neyi çağırdığını göstermek için iç içe geçer. OpenTelemetry, artık üretken yapay zeka için anlamsal kurallarıyla, bunu özel bir log biçimi olmaktan çıkarıp bir standart yaptı. Bir span'in amacı, bir yığın yapısız metin yerine yapılandırılmış olguları (model, token sayısı, gecikme, maliyet, araç adı) yakalamasıdır. Her adım bir span olduğunda "40 saniye nereye gitti?" ve "hangi çağrı en pahalıydı?" soruları bir kazı değil, bir sorgu olur.
Bilimsel ekol: trace bir laboratuvar defteridir
Bilimin bir kuralı var: kaydetmediğiniz bir deney yeniden üretilemez ve yeniden üretemediğiniz bir sonuç, sonuç değildir. Bir yapay zeka çalışması, olasılıksal bir aletle yapılan bir deneydir. Trace, laboratuvar defteridir: hangi girdiler, hangi bağlam, hangi model versiyonu, hangi prompt versiyonu, hangi çıktı. Yeniden üretilebilirlik uygulamalı yapay zekanın en derin krizidir, çünkü aynı girdi farklı çıktılar verebilir. Her çalışmanın tam bağlamını yakalamak, bir hatayı siz izlerken tekrar olmasını ummak yerine yeniden yaratmanızı sağlayan şeydir.
Adli ekol: kara kutu kaydedici
Havacılık, kazaların nadir olduğunu varsayarak ilerlemez. İlerler, çünkü her uçak bir kaydedici taşır ve her olay hafızadan değil veriden yeniden kurulur. Bir trace, yapay zeka için o kaydedicidir. Bir müşterinin önünde bir şey ters gittiğinde, muhtemelen ne olduğuna dair bir tartışma istemezsiniz. Kara kutuyu istersiniz: tam sıra, tam veri, tam model çıktısı, zaman damgalı ve değiştirilemez.
Muhasebe ekolü: her maliyeti ilişkilendirin
Finans her zaman maliyetlerin bir kaleme ilişkilendirilebilmesinde ısrar etti. İlişkilendirme olmadan yapay zeka harcaması, aylık bir faturadaki tek ve opak bir sayıdır. Her span kendi token sayısını ve maliyetini kaydettiğinde, o sayı ayrışır: bu iş akışı, bu adım, bu model, bu müşteri. İlişkilendiremediğiniz bir maliyeti yönetemezsiniz ve trace'ler yapay zeka maliyetini ilişkilendirilebilir kılan şeydir.
Bir trace gerçekte neyi yakalar
Yararlı bir trace yapılandırılmıştır. Tek bir çalışma şöyle görünebilir:
{
"trace_id": "b7f3",
"workflow": "teklif-hazirlayici",
"prompt_version": 14,
"spans": [
{ "step": "crm_getir", "ms": 210, "status": "ok" },
{ "step": "pii_maskele", "ms": 8, "redactions": 3 },
{ "step": "llm_cagri", "model": "claude-sonnet-4.6", "tokens": 1840, "cost_usd": 0.031, "ms": 4200 },
{ "step": "guardrail_cikti", "check": "grounding", "status": "pass" },
{ "step": "onay", "user": "yonetici@acme", "status": "approved" }
],
"total_ms": 4630,
"total_cost_usd": 0.033
}Neyi mümkün kıldığına dikkat edin: trace, prompt versiyonuna bağlanır; böylece kötü bir çıktı, onu üreten yapılandırmayı doğrudan işaret eder. Trace'ler, prompt'lar ve guardrail'ler arasındaki o bağ, gözlemlenebilirliği bir gösterge panosundan bir hata ayıklama aracına çeviren şeydir.
Kör uçtuğunuzda ne bozulur
İzlemeyi atlamak, ona ihtiyaç duyana kadar görünmezdir; sonra tek önemli şey odur.
- Sessiz yanlış yanıt. Bir finans iş akışı, büyük bir farkla yanlış bir nakit pozisyonu raporlar. Trace olmadan, üç adım geride bir konektörün bayat veri döndürdüğünü göremezsiniz; yeniden çalıştırıp iki gün tahmin yürütürsünüz. Bir trace bayat getirmeyi anında gösterirdi.
- Maliyet patlaması. Aylık model faturası normalin beş katı. Trace'lerde çalışma başına maliyet olmadan, kırk iş akışından hangisinin sorumlu olduğunu söyleyemezsiniz; her şeyi kısar ve avlanırken tüm işi yavaşlatırsınız.
- Yeniden üretilemeyen hata. Bir müşteri saldırgan bir yanıt bildirir ama bu yalnızca bazen olur. Yakalanmış girdi ve bağlam olmadan onu yeniden yaratamazsınız; dolayısıyla bir düzeltmeyi doğrulayamazsınız. Sorun haftalarca açık kalır.
- Yanıtlayamadığınız uyum sorusu. Bir denetçi sorar: "yapay zeka bu kararı vermek için hangi veriyi kullandı ve kim onayladı?" Trace olmadan yanıtınız yoktur ve "sanırız iyiydi" bir yanıt değildir.
- Görünmez kayma (drift). Bir veri kaynağı yukarı akışta değiştikçe çıktı kalitesi yavaşça bozulur. Trace'lerden çıkarılan bir metrik olmadan, müşteriler şikayet edene kadar kimse fark etmez; o noktada hasar haftalarca derindir.
İş gerekçesi
İzleme, yöneticilerin önemsediği dört sayıyı oynatır. Ortalama çözüm süresini kısaltır, çünkü mühendisler tahminle değil kanıtla hata ayıklar. Maliyeti kontrol eder, çünkü harcama ilişkilendirilebilir ve dolayısıyla optimize edilebilir olur. Kaliteyi iyileştirir, çünkü trace'ler daha iyi prompt ve değerlendirmeleri besleyen gerçek hata vakalarının madenidir. Ve denetimi karşılar, çünkü her kararın yeniden kurulabilir bir kaydı vardır. Bunların hiçbiri daha büyük bir model gerektirmez. Görebilmeyi gerektirir.
Sonuç
Göremediğinizi işletemezsiniz. İzleme olmadan bir model, inançla çalıştırdığınız bir sistemdir ve inanç ilk üretim olayından sağ çıkmaz. Her çalışmayı kaydedilmeye değer bir deney sayın, onu yapılandırılmış span'ler olarak yakalayın ve onu şekillendiren prompt ve guardrail'lere bağlayın. Sonra bir şey ters gittiğinde, ki gidecek, bir tartışma açmak yerine kaydediciyi açarsınız.
Konektörler, guardrail'ler, modeller ve onaylar boyunca uçtan uca izleme ister misiniz? 30 dakikalık bir görüşme ayarlayın, iş akışlarınız için gözlemlenebilirliği kuralım.