Derin öğrenme çağının en tuhaf manzarası şudur: Bir sistem milyonlarca görüntüye, metne, sese bakar; sonra bir karar verir. Kanserli hücreyi işaret eder, kredi başvurusunu reddeder, yüzünüzün kime benzediğini söyler, arabanın frene basmasına karar verir. Çoğu zaman da doğru çıkar. Fakat kapıyı açıp içeri baktığınızda, karşınızda düzenli bir mantık sarayı değil, milyarlarca sayısal ağırlıktan oluşan titreşimli bir orman bulursunuz. Model konuşur, ama gerekçe vermez. Sanki çok zeki ama içine kapanık bir kahinle çalışıyoruz.
Bu yüzden derin öğrenmenin kara kutu problemi sadece teknik bir mesele değildir; güven, sorumluluk ve iktidar meselesidir. Klasik yazılımda geliştirici genellikle şunu diyebilir: Eğer kullanıcı yaşı 18’den küçükse, erişim reddedilir. Mantık izlenebilir, hata ayıklanabilir, mahkemede anlatılabilir. Derin öğrenmede ise karar, tek tek yazılmış kurallardan değil, veriden öğrenilmiş karmaşık örüntülerden doğar. Modelin içinde insanın satır satır okuyacağı bir yasa kitabı yoktur; daha çok, deneyimle biçimlenmiş bir sezgi haritası vardır.
Kural Değil, Örüntü
Bir sinir ağı, veriler arasındaki ilişkileri katman katman dönüştürür. İlk katmanlar basit özellikleri yakalayabilir: kenarlar, renk geçişleri, ses frekansları, kelime parçaları. Daha derin katmanlarda bunlar birleşir, soyutlanır, yeni temsillere dönüşür. Sonuçta model, insanın doğrudan adlandıramadığı ara kavramlarla çalışabilir. Bir kediyi tanırken bıyık, kulak ve pati de görür; ama belki bizim fark etmediğimiz piksel ritimlerini de kullanır. İşte sorun burada başlar: Modelin doğru cevaba hangi patikadan gittiğini bilmek, cevabın kendisini bilmekten çok daha zordur.
Bu durum bazen komik, bazen tehlikelidir. Bir model hastalığı teşhis ediyor sanılırken aslında görüntü cihazının köşesindeki hastane işaretini öğrenmiş olabilir. Bir işe alım algoritması başarıyı ölçüyor sanılırken geçmişteki ayrımcı tercihleri cilalayıp yeniden üretiyor olabilir. Bir güvenlik sistemi suç riskini hesaplıyor sanılırken yoksulluğu cezalandırıyor olabilir. Kara kutu yalnızca karanlık olduğu için değil, karanlıkta neyi büyüttüğünü bilmediğimiz için ürkütücüdür.
Elbette bilim insanları bu kutuya el fenerleriyle girmeye çalışıyor. Açıklanabilir yapay zeka yöntemleri, modelin hangi özelliklere dikkat ettiğini göstermeye çalışır. Isı haritaları, bir görüntü sınıflandırılırken hangi bölgelerin etkili olduğunu renklendirir. SHAP ve LIME gibi teknikler, tekil kararların arkasındaki değişken etkilerini yaklaşık olarak hesaplar. Model damıtma, karmaşık bir ağı daha basit ve anlaşılır bir modele taklit ettirmeye çalışır. Bunlar önemlidir; fakat dürüst olmak gerekir: El feneri mağaranın tamamı değildir.
Doğruluk Yetmez
Bir sistemin yüksek doğruluk oranına sahip olması, onun adil, güvenilir veya açıklanabilir olduğu anlamına gelmez. Uçak iyi uçuyor diye kokpit göstergelerini sökmezsiniz. Tıp, hukuk, finans, eğitim ve güvenlik gibi alanlarda sadece sonuç değil, gerekçe de değerlidir. Çünkü insanlar istatistiksel nesneler değildir; itiraz eder, anlam arar, hesap sorar. Bir algoritma hayatınızı etkiliyorsa, size yalnızca sonuç değil, anlaşılabilir bir neden de borçludur.
Burada pratik yaklaşım şudur: Her problemi en büyük ve en opak modelle çözmeye çalışmamak gerekir. Bazen basit bir karar ağacı, lojistik regresyon ya da kural tabanlı sistem yeterince iyi ve çok daha şeffaftır. Derin öğrenme kullanılacaksa veri denetimi, önyargı testleri, açıklama araçları, insan gözetimi ve sürekli izleme birlikte tasarlanmalıdır. Modelin performansı kadar, nerede başarısız olduğu da ölçülmelidir. Çünkü gerçek mühendislik, yalnızca çalışan şeyi yapmak değil, çalışmadığında nasıl davranacağını da bilmektir.
Kara kutu meselesi bize garip bir ayna tutuyor. İnsan zihni de çoğu zaman kendi kararlarını sonradan açıklayan bir kara kutu değil midir? Önce sever, sonra gerekçe buluruz. Önce korkar, sonra mantık üretiriz. Fakat makinelerle farkımız şurada: Onlara sorumluluk devrederken, kendi bilinç bulanıklığımızı da kodun içine saklama lüksümüz yoktur. Derin öğrenme güçlüdür; ama güç, açıklama olmadan büyüdüğünde tekinsizleşir. Geleceğin en akıllı sistemleri sadece doğru tahmin yapanlar değil, hatasını gösterebilen, sınırını bilen ve insanın anlayabileceği bir dille hesap verebilen sistemler olacaktır.