Adalet Tanrıçası’nın gözleri bağlıdır; çünkü kim olduğumuza değil, ne olduğuna bakması beklenir. Algoritmalar da modern çağın bu gözleri bağlı yargıçları gibi pazarlanır: yorulmazlar, sinirlenmezler, rüşvet almazlar, kayınbiraderlerini işe sokmazlar. Ne güzel. Fakat küçük bir sorun var: Bu dijital yargıçlar dünyaya kendi başlarına gelmez. Onları insanlar yazar, insanlar veriyle besler, insanlar hedef belirler. Yani gözleri bağlı sanılan kod, çoğu zaman kodlayıcısının gözlüğünü takar.
Algoritmik önyargı, makinenin kötü niyetli olması değildir. Makinenin niyeti yoktur; bu yüzden tehlikelidir. Kötü niyetle tartışabilirsiniz, ama ölçüt diye sunulan bir formülle tartışmak zordur. Bir kredi başvurunuz reddedildiğinde karşınızda kaşlarını çatmış bir memur değil, skorunuzun yetersiz olduğunu söyleyen soğuk bir ekran vardır. Ekran nötr görünür. Oysa belki de yaşadığınız mahalle, geçmişte sistematik olarak dışlanmış bir grubun mekânıdır; belki eğitim geçmişiniz, eşitsizliğin sayısal gölgesidir; belki algoritma suçu değil, yoksulluğu tahmin etmektedir.
Kod tarafsız değildir; sadece sessizdir
Bir programlama dili, kendi başına ideoloji taşımaz; fakat problem tanımı taşır. Hangi verinin önemli sayılacağı, hangi sonucun başarı kabul edileceği, hangi hatanın tolere edileceği teknik olduğu kadar politik bir seçimdir. Bir işe alım algoritmasına geçmişte şirkette başarılı olmuş çalışanların verisini verirseniz, algoritma başarıyı geçmişin aynasında arar. Eğer geçmişte yönetici koltuklarında çoğunlukla belirli bir cinsiyet, sınıf veya kültürel çevre oturduysa, model geleceğe geçmişin kıyafetini giydirir. Böylece yenilik diye sunduğumuz sistem, eski kapıcının daha hızlı çalışan robot versiyonuna dönüşür.
Buradaki trajikomik nokta şudur: İnsan önyargısını azaltmak için kurulan sistem, insan önyargısını ölçeklendirir. Bir memur günde yüz dosyada ayrımcı davranabilir; bir algoritma saniyede yüz bin dosyada. Üstelik bunu tutarlı biçimde yapar. Tutarlılık, adaletle karıştırıldığında büyük bir büyü oluşur. Bir kural herkese aynı uygulanıyor diye adil olmaz; çünkü herkes yarışa aynı çizgiden başlamaz. Boyu kısa olanlara aynı yükseklikteki rafa uzanmalarını söylemek eşitliktir, ama adalet değildir.
Algoritmik adaletin en çetin sorusu şudur: Neyi optimize ediyoruz? Hızı mı, kârı mı, güvenliği mi, fırsat eşitliğini mi? Çünkü her optimizasyon bir fedakârlık listesiyle gelir. Yüz tanıma sistemi suçluyu daha hızlı bulsun isteriz; ama koyu tenli insanları daha sık yanlış eşleştiriyorsa, hız bir adaletsizlik motoruna dönüşür. Hastane triyaj sistemi kaynakları verimli dağıtsın isteriz; ama sağlık hizmetine geçmişte daha az erişebilmiş grupları düşük riskli sanıyorsa, verimlilik ölümcül bir maske takar. Modelin doğruluk oranı yüzde doksan olabilir; fakat geri kalan yüzde on hep aynı insanların hayatına düşüyorsa, istatistik başarılı, toplum yaralıdır.
Çözüm, algoritmaları yakıp mağaraya dönmek değildir. Çözüm, kodu kutsal kitaptan indirip kamu tartışmasının masasına koymaktır. Veri setleri denetlenmeli, modeller açıklanabilir olmalı, karar süreçlerinde itiraz hakkı bulunmalı, ekipler kültürel olarak çeşitlenmelidir. En önemlisi, adalet metrikleri yalnızca mühendislik panosunda değil, sosyolojik hafızada da test edilmelidir. Çünkü bazı hatalar matematiksel sapma değil, tarihsel yankıdır. Bir değişken masum görünebilir; ama başka bir yasaklı değişkenin kılık değiştirmiş hali olabilir. Posta kodu bazen ırkın, okul adı sınıfın, kariyer boşluğu bakım emeğinin gölgesidir.
Belki de yeni çağın etik sorusu, makineler düşünebilir mi değil; biz düşünmeden makinelere ne kadar yetki devredebiliriz sorusudur. Adalet Tanrıçası’nın göz bağı, cehalet değil ilkedir. Algoritmanın körlüğü ise çoğu zaman kör noktadır. Bu ikisi arasındaki farkı anlamazsak, geleceğin mahkemelerinde tokmak sesi yerine sunucu fanı duyacağız. Ve karar açıklandığında kimse sorumluluk almayacak: Kod böyle dedi. Oysa kod konuşmaz; biz onun ağzından konuşuruz. Bu yüzden adil algoritma, iyi yazılmış koddan önce, kendini sorgulamayı öğrenmiş bir toplum ister.