Kontrolden çıkmış bir otonom sistem düşünelim: frenleri tutmayan bir araç, hastane koridorlarında karar veren bir robot, kalabalık bir şehirde saniyenin binde biriyle rotasını seçen bir makine. Önünde iki kötü seçenek var. Bir tarafta üç kişi, diğer tarafta bir kişi. Yazılımın içine gömülü prensip basit görünüyor: en çok hayatı kurtar. Faydacılık sahneye girer ve matematiksel pelerinini savurur. Üç, birden büyüktür. Dosya kapanmıştır. Fakat insan kalbi, aritmetiğin bu kadar soğuk bir zaferini kolay kolay yutmaz.
Faydacılık, ilk bakışta ahlakın pratik zekasıdır. Jeremy Bentham’ın hayaletini bir mühendislik laboratuvarına sokarsanız, muhtemelen şöyle derdi: acıyı azalt, mutluluğu artır, mümkün olan en büyük toplam iyiliği üret. Bu, özellikle makineler için cazip bir formüldür. Çünkü makineler hikaye dinlemez, gözyaşıyla pazarlık etmez, geçmiş travmalarını karar ağacına karıştırmaz. Onlara bir hedef fonksiyonu verirsiniz; onlar da dünyayı bu fonksiyonun malzemesi yapar.
İşte tam burada mesele başlar. Çünkü ahlak yalnızca sonuçların muhasebesi değildir; aynı zamanda insanı insan yapan görünmez eşiklerin korunmasıdır. Bir makine üç kişiyi kurtarmak için bir kişiyi feda ettiğinde, o bir kişiyi neye dönüştürmüş olur? Bir değişkene mi? Bir istatistiğe mi? Bir kayıp kalemine mi? Faydacılık, kalabalığın iyiliği adına bireyin kutsallığını bazen sessizce budar. Ve bu budama işlemi, çelik bir kol tarafından yapıldığında, etik bahçıvanlık değil, ruhsal amputasyon gibi görünür.
Algoritmanın vicdanı var mı?
Elbette makinenin vicdanı yoktur. Ama daha rahatsız edici olan şudur: makinenin vicdanı yoksa, onun kararlarında kimin vicdanı konuşur? Yazılımcının mı, şirketin mi, devletin mi, piyasanın mı, yoksa milyonlarca veriden süzülen istatistiksel bir toplum gölgesinin mi? Jungiyen bir gözle bakarsak, otonom sistem yalnızca teknik bir araç değildir; kolektif bilinçdışımızın metalik bir maskesidir. Biz neyi değerli sayıyorsak, hangi korkuları bastırıyorsak, hangi insanları gözden çıkarılabilir buluyorsak, algoritma bunları parlatılmış bir ekranla bize geri verir.
Kontrolden çıkmış sistem ifadesi ayrıca ironiktir. Çünkü belki de sistem ancak kontrolden çıktığında, tasarımcılarının sakladığı ahlakı açığa çıkarır. Normal zamanda hepimiz güzel konuşuruz: insan onuru, eşitlik, adalet, mahremiyet. Fakat panik anında yazılımın karar tablosu açılır ve değerlerimiz satır satır görünür. Çocuk mu öncelikli, yaşlı mı? Yolcu mu, yaya mı? Doktor mu, mahkum mu? Çok sayıda insan mı, kurallara uyan insan mı? Bunlar yalnızca kod soruları değildir; uygarlığın röntgen filmidir.
Faydacılık prensibini makineye vermek, ona keskin bir kılıç vermeye benzer. Kılıç işe yarar; düğümü keser, tereddüdü azaltır, krizde hız kazandırır. Ama kılıcın hangi boynu seçeceğine karar veren ölçüt, yalnızca sayısal toplam olursa, ahlakın diğer kasları zayıflar. Haklar, niyet, sorumluluk, adalet, masumiyet, rıza… Bunlar fayda hesabına kolayca sığmayan taşlardır. Oysa insanlık dediğimiz tapınak, biraz da bu yamuk taşlarla ayakta durur.
Yine de romantik bir makine düşmanlığına kaçmak kolaycılık olur. İnsan sürücüler de panikler, bencilleşir, donar, yanlış görür. Bir otonom sistem, doğru tasarlanırsa binlerce kazayı önleyebilir. Sorun makinenin karar vermesi değil; hangi ahlaki evrenin içine doğduğudur. Tek bir etik düğme yerine çoğul bir mimari gerekir: fayda hesabı, hak temelli sınırlar, şeffaf denetim, kamusal tartışma ve hesap verebilirlik. Makine, ahlak filozofu gibi düşünmek zorunda değildir; ama onu tasarlayan toplum, uykulu bir tüketici gibi davranamaz.
Sonunda soru şudur: Bir makine kimi kurtarır? Cevap sandığımızdan daha çıplaktır: Biz ona kimi kurtarmayı öğretirsek onu. Fakat daha derindeki soru şudur: Biz, kurtarılmaya değer olanı nasıl tanımlıyoruz? Otonom sistemin ikilemi, geleceğin laboratuvarında duran soğuk bir problem değildir. O, bugünün aynasıdır. Makine kontrolden çıktığında korkarız; ama belki asıl korkumuz, onun kontrolden çıkınca bile bizim içimizdeki hesabı yapmaya devam etmesidir.