Kara Kutudan Karar Kutusuna

Çocukluğumuzda bir karar vermeden önce hep birine danışırdık. Hangi doktora gidileceğini, hangi arsanın alınacağını mahallenin Ayşe Teyze'sine sorardık. Onun fikrini dinlerken neyi sevdiğini, kime kırgın olduğunu, hangi hikayeyi neden anlattığını da bilirdik. Söylediğini o bağlamın içinde tartardık. Kimin söylediğini ve neden söylediğini bilmek, tavsiyenin kendisi kadar önemliydi.

Bugün karar masamıza yeni bir danışman oturuyor. Saniyeler içinde cevap veriyor, yüzlerce seçeneği tarıyor, hiç yorulmuyor. Ama çoğu zaman o cevabın arkasında ne olduğunu göremiyoruz.

Bir örnekle başlayalım. Sistem diyor ki: "Bu üründen 340 adet sipariş verin."

Neden 340? Hangi veriye baktı? Neyi gözetti? Hangi sınırlara takıldı? Başka hangi seçenekleri değerlendirdi ve neden onları eledi?

Bu soruların cevabı yoksa elinizdeki şey bir karar değil, sadece bir çıktı.

Bu yazıda o 340 sayısının peşine düşeceğiz. Önce kara kutunun kurumsal kararlar için neden bir sorun olduğuna bakacağız. Ardından sayıyı yedi katmanda açacak, her katmanda bir kararın neye dayandığını ve nasıl sorgulanabileceğini göreceğiz. Son olarak da bu yaklaşımın neden yapay zeka etiğimizin merkezinde durduğunu anlatacağız.

340 sayısını, anlatımı kolaylaştırmak için basitleştirilmiş bir örnek olarak kullanıyoruz.

Kara kutu neden bir sorun

Bugünün en gelişmiş yapay zeka sistemleri satır satır yazılmıyor, eğitilerek büyütülüyor. Onları geliştirenler bile bir cevabın neden verildiğini her zaman açıklayamıyor. Bir sohbet ya da bir metin taslağı için bu kabul edilebilir bir belirsizlik olabilir. Bir fabrikanın üretim planı, bir ülkenin dağıtım ağı ya da bir şirketin bütçesi için olamaz.

Kara kutunun iki tehlikesi var. Birincisi, bir sistem kendisine verilen hedefi bizim kastettiğimizden farklı bir yoldan kovalayabilir ve bunu kimse fark etmeyebilir. İkincisi, açıklanamayan bir karar sahiplenilemez. Sonuç iyi olduğunda kimse sormaz. Sonuç kötü olduğunda ise "neden böyle karar verdik?" sorusunun cevabı yoktur.

Kurumsal bir ortamda asıl soru şu: açıklayamadığınız bir karara kim imza atar?

Karar kutusu

Karar kutusu kara kutunun tersidir. Cevaba giden her adım açıktır. Kararın neye dayandığını, neyi gözettiğini, hangi alternatiflerin değerlendirildiğini ve kimin onayladığını görürsünüz.

Atalarımız buna yüzyıllar önce bir isim vermiş. Yedi kere ölç, bir kere biç. Karar kutusu da yedi katmandan oluşuyor. Şimdi o 340 sayısını katman katman açalım.

01 · Veri

İlk katman en temel soru. Sistem hangi veriye baktı?

"340 adet sipariş verin" önerisinin arkasında dört ayrı veri kaynağı var. Son 12 ayın talep geçmişi, şu anki stok seviyesi, tedarikçinin teslim süresi ve üretim hattının kapasitesi.

Kara kutuda bu girdiler görünmez. Karar kutusunda ise her girdi etiketlidir. Hangi veriye, hangi tarihte, hangi kaynaktan bakıldığı açıktır. Veri eksikse ya da eskiyse, bunu kararı vermeden önce görürsünüz.

Çünkü yanlış veriyle yapılan doğru bir hesap, yine yanlış bir karardır.

02 · Amaç

İkinci katman, çoğu sistemin hiç göstermediği katman. Sistem neyi optimize etti?

Aynı veriyle farklı amaçlar tamamen farklı kararlar üretir. Amaç maliyeti en aza indirmekse cevap 340 olabilir. Amaç teslim süresini kısaltmaksa cevap 500 olur. Amaç stok riskini azaltmaksa cevap 260 olur.

Üçü de doğru cevap, ama üçü de farklı bir soruya cevap veriyor. Kara kutu size yalnızca bir sayı verir ve hangi amacı gözettiğini söylemez. Yani sizin adınıza, size sormadan bir öncelik seçmiş olur.

Karar kutusunda amaç açıkça seçilir ve görünür kalır. Maliyet mi, hız mı, risk mi? Bu teknik değil, bir değer tercihidir ve insana aittir. Neyi optimize ettiğini söyleyemeyen bir karar, neyi feda ettiğini de söyleyemez.

03 · Kısıtlar

Üçüncü katman, kararı gerçek dünyaya bağlayan katman. Hangi kuralları çiğneyemezdik?

O 340 adetlik sipariş dört sınırın içinde kalmak zorundaydı. Üretim hattının haftalık kapasitesi, onaylı satın alma bütçesi, tedarikçinin minimum sipariş miktarı ve deponun fiziksel alanı.

Kara kutu kısıtları gizler. Bir sayı görürsünüz ama o sayının hangi duvara yaslandığını bilemezsiniz. Karar kutusunda ise her kısıt görünür ve kararı bağlayan kısıt işaretlidir. "340'ı öneriyoruz çünkü kapasiteniz zaten sınırda" demek, "340 verin" demekten çok farklıdır.

04 · Alternatifler

Dördüncü katman. Başka ne yapabilirdik?

Bir karar, elenen alternatifler olmadan anlamsızdır. Tek bir seçenek varsa, o bir karar değil bir mecburiyettir.

Sistem yalnızca 340'ı hesaplamadı. 300'ü, 320'yi, 360'ı ve 400'ü de değerlendirdi. 300 önerilmedi, çünkü stoksuz kalma riski yükseliyordu. 400 önerilmedi, çünkü elde kalan stokun maliyeti faydasını aşıyordu. 340, bu iki uç arasındaki en dengeli noktaydı.

Kara kutu size yalnızca kazananı gösterir. Karar kutusunda ise değerlendirilen her seçenek ve neden geride kaldığı görünür. Bu, aslında bir simülasyondur. Yanılmanın bedelini gerçekte değil, modelde ödemek. Böylece kararı yalnızca kabul etmezsiniz, anlarsınız. Bir toplantıda "neden 400 değil?" sorusu geldiğinde cevabınız hazırdır.

05 · Karar

Beşinci katman, bütün katmanların bir araya geldiği yer.

Önünüze yalnızca bir sayı gelmez, sayıyla birlikte gerekçesi gelir. 340, son 12 ayın talebine dayanıyor, maliyeti en aza indirmek için seçildi, kapasite ve bütçe sınırları içinde kaldı ve değerlendirilen seçenekler arasında en dengelisiydi. Karar ile gerekçe birbirinden ayrılmaz, çünkü gerekçesi olmayan bir karar sorgulanamaz.

06 · İnsan onayı

Altıncı katman ve en çok yanlış anlaşılan katman. Kararı kim onayladı?

Yapay zeka konuşulurken çoğu zaman sistemin karar verdiği ve insanın devre dışı kaldığı varsayılır. Karar kutusunda tam tersi doğrudur. Sistem tüm veriyi tarar, amacı gözetir, kısıtlara uyar, alternatifleri eler ve en iyi seçeneği önünüze koyar. Ama son sözü her zaman bir insan söyler.

O 340'ı onaylayabilirsiniz. 360'a çıkarabilirsiniz, çünkü sistemin bilmediği bir bilgi sizde vardır. Ya da tümden reddedebilirsiniz. Bu seçim de kayıt altına alınır.

Her karar aynı ağırlığı taşımadığı için her karar aynı kontrolü gerektirmez. Sonucu ağır olan kararlarda onay olmadan hiçbir şey uygulanmaz. Rutin işlerde ise sistem belirlenen sınırlar içinde çalışır, insan gözetir ve gerektiğinde müdahale eder. Kontrolün seviyesi, kararın taşıdığı riske göre belirlenir.

Bu otonomi değil, hesap verebilirliktir.

07 · Aksiyon

Yedinci ve son katman. Karar uygulanır ve her adımı kayıt altına alınır. Kim, ne zaman, hangi kararı onayladı, değiştirdi ya da reddetti, ve bu karar hangi gerekçeyle verildi.

İki kutu yan yana

Baştaki soruya dönelim. Bu üründen neden 340 adet?

Artık cevabımız var. 340, son 12 ayın talep verisine dayanıyor. Maliyeti en aza indirmek için seçildi. Kapasite ve bütçe sınırları içinde kaldı. 300 ile 400 arasındaki seçenekler arasından en dengeli olanıydı. Ve bir insan tarafından onaylandı.

Kara kutu bir sonuç verir ve ona güvenmek zorunda kalırsınız. Karar kutusu bir karar verir, onu anlar ve sahiplenirsiniz.

Karar kutusu kararı yavaşlatmaz

Yedi katman ilk bakışta bir yük gibi görünebilir. Oysa bu adımların çoğu zaten her kararda yaşanıyor, sadece görünmüyor. Karar kutusu yeni bir bürokrasi eklemiyor, var olan muhakemeyi görünür kılıyor. Platform bu katmanları saniyeler içinde yürütürken insan yalnızca gerçekten insana ait olan yerde devreye giriyor, amacı belirlerken ve son sözü söylerken.

Bu görünürlüğün bir de geleceğe dönük değeri var. Kararlar gerekçeleriyle kaydedildiğinde, sonuç geldiğinde yalnızca "başardık" ya da "başaramadık" demekle kalmazsınız. Kötü bir kararla kötü bir sonucu birbirinden ayırabilir, o gün neyi bilerek karar verdiğinizi görebilirsiniz. Kurumlar böylece yalnızca karar vermeyi değil, kararlarından öğrenmeyi de öğrenir.

Neden bu kadar önemsiyoruz

Arya-AI'da her karar bu yedi katmandan geçiyor, çünkü üç ilkeye inanıyoruz. Önce tartarız, çünkü bir kararın sonucu uygulanmadan önce görülebilmelidir. Son söz insanındır, çünkü yapay zeka önerir ama sorumluluğu insan taşır. Her kararın bir gerekçesi vardır, çünkü açıklanamayan bir karar sahiplenilemez.

Yapay zeka kurumların içine her geçen gün daha fazla giriyor. Artık yalnızca analiz etmiyor, öneriyor ve uyguluyor. Bu güç açıklanabilir ve insan gözetiminde olduğunda kurumlara olağanüstü bir kapasite kazandırıyor. Ama bir kurum ancak anladığı, sorgulayabildiği ve sahiplenebildiği bir sisteme kritik kararlarını emanet edebilir.

Kurumsal yapay zekanın geleceği, güvenebileceğimiz, denetleyebileceğimiz ve sorumluluğunu alabileceğimiz karar sistemlerindedir.

Çünkü kritik kararlar, kara kutu olamaz.