Bir evi asla sınırsız akım çekecek şekilde döşemezsiniz. Her devrenin bir amperajı vardır, her katın bir sigortası vardır ve ana panoda, yük ani yükselirse her şeyi kesecek bir kesici bulunur. Elektrik için bunu apaçık kabul ediyoruz — denetimsiz aktığında gerçek hasar verebilen, ölçülü bir kaynak. Sonra yapay zeka ajanlarını alıyoruz — ölçülü bir kaynağı, token'ı tüketen ve denetimsiz çalıştığında gerçek finansal hasar verebilen ajanları — ve hiç sigorta olmadan doğrudan prize takıyoruz.
Kontrolden çıkan maliyet hikâyelerinin gelen kutumuza düşmeye devam etmesinin nedeni bu. Bir ajan döngüye girer ve bir gecede beş haneli harcama yapar. Bir retry fırtınası, aynı başarısız çağrıya karşı pahalı bir modeli binlerce kez döver. Yavaşça büyüyen bir context her isteği şişirir, ta ki her biri olması gerekenin on katına mal olana kadar. Neredeyse her vakada kök neden pahalı bir model değildir. Eksik güvenlik mimarisidir.
Ajan harcaması neden kontrolden çıkar
Geleneksel yazılımın istek başına marjinal maliyeti aşağı yukarı sabittir. Agentic sistemlerin değildir. Üç dinamik, normal bir yükü kontrolden çıkmış bir yüke çevirir:
- Döngüler. Araç çağırıp bir sonraki adımına kendi karar verebilen bir ajan, devam etmeye de karar verebilir. Sert bir durdurma olmadan, yakınsamayan bir muhakeme döngüsü, dışarıdan bir şey onu durdurana kadar seve seve harcar.
- Retry fırtınaları. Aşağı akıştaki bir hata bir yeniden denemeyi tetikler, yeniden deneme aynı şekilde başarısız olur ve saf retry mantığı tek bir bozuk çağrıyı binlerceye çevirir — her biri ücretli bir model çağrısı.
- Context şişmesi. Her tur context'e eklenir. Sınırlanmazsa, N'inci istek 1'den N-1'e kadar isteklerin yükünü taşır ve çağrı başına maliyet, loglar değil fatura size söyleyene kadar sessizce tırmanır.
Sigorta kutusu, ajanlara eşlenmiş hâliyle
Elektrik mesleği bunu bir asır önce katmanlı bir güvenlik mimarisiyle çözdü. Aynı katmanlar ajan harcamasına temiz biçimde oturur.
Sigorta: istek başına token limiti. En ucuz, en yerel koruma. Tek bir çağrı sert bir token tavanını aşamaz; böylece hiçbir tek çağrı — içeride nasıl döngüye girerse girsin — bütçeyi patlatamaz. Sigorta gibi, devrenin en küçük birimini korur.
Devre kesici: workflow başına bütçe. Bir üst seviyede her workflow günlük ve aylık bir harcama tavanı taşır. Onu aşınca workflow atar: yeni iş sessizce sunulmaz, duraklatılır. Bu, Michael Nygard'ın Release It! kitabındaki devre kesici desenidir, paraya uygulanmış hâli — aşağı akıştaki bir maliyet yanlış davrandığında açılan, böylece yerel bir arızanın sistemik bir arızaya dönüşmesini engelleyen bir kesici.
Kaçak akım rölesi: anomali algılama. Sigortanın kaçırdığı arızayı yakalayan hassas koruma. Yalnızca toplamı değil, harcamanın şeklini izleyin: dakika başına çağrılarda ani sıçrama, bir eşiği aşan retry oranı, tavana doğru yönelen context uzunluğu. Bunlar, para gitmeden önce atmanızı sağlayan kaçak sinyalleridir.
Ana pano: her şeyi görebileceğiniz tek yer. Her evde, her kesicinin görülüp erişilebildiği tek bir pano vardır. Her yapay zeka dağıtımının da aynısına ihtiyacı var — tüm workflow'lar genelinde harcamanın tek bir görünümü ve gücü kesme yeteneği. Bu da bizi en çok önem taşıyan anahtara getiriyor.
Kill switch
Kill switch, ne yaptığını sandığından bağımsız olarak bir ajanı ya da tüm bir workflow'u anında durduran tek, bilinçli bir kontroldür. Bir başarısızlık itirafı değildir; ana kesicidir. Tasarım soruları, ona ihtiyaç duymadan önce tartışmaya değer olanlardır:
- Tetik. Bütçe ihlali ya da anomalide otomatik, bir şeyin yanlış olduğunu gören bir insan için manuel, ya da her ikisi.
- Etki alanı. Tek bir workflow'u mu, tek bir ajanı mı, yoksa her şeyi mi durdurur? Genellikle üç kapsamın da elinizin altında olmasını istersiniz.
- Durdukça durum. Uçuştaki iş güvenli biçimde mi başarısız olur, geri mi alınır, yoksa insan incelemesi için mi bekletilir? Hataya dayanıklı bir sistem, tanımsız değil bilinen bir güvenli duruma iner.
Maliyet kontrolü bir gösterge paneli değil, bir iş sözüdür
Yapay zeka maliyeti üzerine yazıların çoğu optimizasyon hakkındadır: daha ucuz modeller, prompt sıkıştırma, önbellekleme. Bu gerçek bir disiplindir — yükselen yapay zeka FinOps pratiği — ve yapmaya değer. Ama optimizasyon ortalama faturanızı düşürür. Felaket kuyruğu hakkında hiçbir şey yapmaz: bir ajanın bir yılda harcaması gerekeni bir gecede harcadığı o tek gece. Optimizasyon, termostatı kısmaktır. Güvenlik mimarisi ise sigorta kutusudur. İkisini de istersiniz, ama yalnızca biri bir CFO'ya kötü bir gecenin kötü bir çeyreğe dönüşemeyeceği sözünü vermenizi sağlar.
Bu söz, ROI konuşmasının diğer yarısıdır. ROI, CFO'ya workflow'un hangi değeri ürettiğini söyler. Maliyet mimarisi ise CFO'ya en kötü durumun neyle sınırlandığını söyler. Anlaşmalar birinciden çok ikinci soruda tıkanır ve "sert bir tavanımız ve bir kill switch'imiz var" onu tek cümlede kapatır.
Sonuç
Kontrolden çıkan yapay zeka maliyeti ne şanssızlıktır ne de pahalı bir model. Korumasız döşenmiş, ölçülü, otonom bir sistemdir. Ona bir sigorta (istek başına limit), bir kesici (workflow başına bütçe), bir kaçak dedektörü (anomali sinyalleri), bir pano (birleşik harcama görünürlüğü) ve bir ana anahtar (test edilmiş bir kill switch) verin; felaket senaryosu mümkün olmaktan çıkar. Evinizin bir sigorta kutusu var. Ajanlarınızın da olmalı.
Kaynaklar
- Nygard, M. (2018). Release It! Design and Deploy Production-Ready Software (2. baskı). Pragmatic Bookshelf.
- FinOps Foundation (2024). FinOps for AI: Managing the Cost of Machine Learning and LLM Workloads.
İlk günden itibaren her ajanda bütçe, anomali uyarısı ve bir kill switch mi istiyorsunuz? 30 dakikalık bir görüşme ayarlayın, nasıl çalıştığını gösterelim.