Uygulamalı bilim tek bir şeyi öğretir: bir iddia, ancak ölçülebilir, tekrarlanabilir ve yanlışlanabilir hâle geldiğinde bilgi olur. "Demo çok iyiydi" bir izlenimdir, bir bulgu değil. Kurumlar yapay zekayı yayına alamıyorsa, bunun bir nedeni de dağıtımı bir mühendislik gösterisi gibi yönetip bir deney gibi yönetmemeleridir. Meseleyi laboratuvara taşıyalım.
Hipotezle başla, izlenimle değil
Karl Popper'ın bilim ölçütü açıktır: bir önerme, ancak yanlışlanabiliyorsa (falsifiable) bilimseldir. "Yapay zeka verimliliği artırır" yanlışlanamaz — dolayısıyla işe yaramaz. Yerine test edilebilir bir hipotez koyun:
"Teklif hazırlama iş akışını otomatikleştirmek, ortalama teklif hazırlama süresini 3 saatten 20 dakikanın altına indirir ve marj hatası oranını değiştirmez."Bu cümle bir hipotezdir: nicel, sınırlı ve yanlışlanabilir. Deney bunu doğrularsa büyütürsünüz; çürütürse başka iş akışına geçersiniz. "İki haftalık test" tam olarak budur — pahalı bir dönüşüm inancı değil, ucuz bir hipotez sınaması.
Kontrollü deney: R. A. Fisher'dan A/B'ye
Ronald Fisher'ın 1935'teki The Design of Experiments eseri, nedenselliği izole etmenin yolunu verdi: kontrol grubu, rastgele atama (randomization) ve tekrar. Bir yapay zeka iş akışını değerlendirirken de aynı disiplin gerekir. İnsanın elle yaptığı sürecin oluşturduğu temel çizgi (baseline) kontrol grubudur; yapay zeka destekli süreç deney grubudur. Rastgele atama ve yeterli örneklem olmadan gözlemlediğiniz iyileşme, mevsimsellik ya da seçim yanlılığı olabilir.
Kohavi ve arkadaşlarının Trustworthy Online Controlled Experiments (2020) çalışması, bu yaklaşımın çevrimiçi karşılığını sistemleştirir ve kritik bir uyarı yapar: yanlış tanımlanmış bir metrik, yanlış bir kararı istatistiksel bir kesinlik kılığında sunar. Bu yüzden metrik seçimi deneyin en önemli adımıdır.
Neyi ölçtüğünü tanımla — ve gürültüyü hesapla
Ölçülmeyen iyileşme, iyileşme değildir. Ancak ham ortalama da yanıltır; her ölçümde değişkenlik (variance) vardır. Bir iş akışının kazandırdığı süreyi raporlarken tek bir sayı değil, bir güven aralığı verin: "ortalama 41 dakika kazanç (±7 dk, %95 güven)". İki koşulu karşılaştırırken farkın gürültüden mi yoksa gerçek etkiden mi geldiğini bir hipotez testiyle ayırın. Box, Hunter ve Hunter'ın klasik Statistics for Experimenters kitabı bu disiplini pratikleştirir: etki büyüklüğü, örneklem hacmi ve gürültü birlikte düşünülmeden hiçbir "iyileşme" güvenilir değildir.
İstatistiksel süreç kontrolü: Shewhart ve Deming
Üretime aldıktan sonra iş biter mi? Hayır — asıl izleme burada başlar. Walter Shewhart'ın 1920'lerde geliştirdiği ve W. Edwards Deming'in yaygınlaştırdığı kontrol grafiği (control chart), bir sürecin "kontrol altında" mı yoksa "sapmış" mı olduğunu ayırt eder. Yapay zeka iş akışının çıktı kalitesini (ör. onaycının düzeltme oranını) zaman içinde bir kontrol grafiğinde izleyin: nokta kontrol sınırlarını aştığında, model kaymış (drift) demektir ve müdahale gerekir. Bu, "kur ve unut" değil, sürekli ölçülen bir süreçtir.
İzlenebilirlik = laboratuvar defteri
Hiçbir deney, kayıt tutulmadan tekrarlanamaz. İzlenebilirlik (tracing) bir yapay zeka iş akışının laboratuvar defteridir: hangi veri kullanıldı, hangi model, hangi parametre, hangi çıktı, hangi düzeltme. Tekrarlanabilirlik (reproducibility) modern bilimin en büyük krizi; bunu iş akışlarında baştan çözmek, her sonucun izini sürebilmek demektir. Bir çıktı beklenmedik çıktığında, "neden" sorusunun cevabı defterde durur.
Sonuç
Yapay zekayı yayına almak bir inanç sıçraması değil, bir araştırma programıdır: yanlışlanabilir bir hipotez kurun, kontrollü ölçün, gürültüyü hesaba katın, kontrol grafiğiyle izleyin, her şeyin izini tutun. "Pilot etkileyiciydi" cümlesini "temel çizgiye göre teklif süresini %78 azalttık, düzeltme oranı değişmedi (n=240, %95 güven)" cümlesine çevirdiğinizde, elinizde bir izlenim değil bir bulgu olur — ve bulgularla ölçek büyütülür.
Kaynaklar
- Ronald A. Fisher, The Design of Experiments, Oliver & Boyd, 1935.
- Karl Popper, The Logic of Scientific Discovery, Hutchinson & Co., 1959.
- George E. P. Box, J. Stuart Hunter ve William G. Hunter, Statistics for Experimenters: Design, Innovation, and Discovery (2. baskı), Wiley, 2005.
- Walter A. Shewhart, Economic Control of Quality of Manufactured Product, Van Nostrand, 1931.
- Ron Kohavi, Diane Tang ve Ya Xu, Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing, Cambridge University Press, 2020.
İlk iş akışınızı bir deney gibi kurgulayıp iki haftada ölçelim. 30 dakikalık bir görüşme ayarlayın.