Bir gün arabanız sizi eve götürürken, yolun ortasına aniden üç kişi fırlıyor. Frenler yetmiyor. Sağda duvar var; duvara çarparsa içerideki yolcu ölebilir. Düz giderse yayalar ölecek. Klasik trol vagonu problemi, artık rayların üzerinde değil; lidar sensörleri, kamera verileri ve milisaniyelik işlemciler arasında dolaşıyor. Eskiden filozofların seminer odasında tartıştığı soru, şimdi yazılım mühendisinin hata kayıtlarında yanıp sönüyor: Araç kimi feda edecek?
Bu sorunun cazibesi biraz karanlık bir lunapark oyuncağına benzer. Herkes koltuğa oturup kahramanca bir karar vereceğini sanır. Fakat otonom araç etiğinde mesele, tek bir dramatik anın cevabı değildir. Asıl mesele, bu cevabın daha kaza olmadan önce kimin tarafından, hangi değerlerle, hangi testlerle ve hangi sorumluluk zinciriyle sisteme gömüldüğüdür. Yani sorun yalnızca algoritmanın tercihi değil, algoritmayı doğuran toplumun aynasıdır.
Algoritma ahlak sahibi midir?
Otonom araçlar vicdan taşımaz; olasılık hesaplar. Bir insanın yüzündeki korkuyu anlamaz, piksel yoğunluklarını, hız vektörlerini, çarpışma risklerini ve tahmini hasar oranlarını işler. Bu yüzden araca ahlak yüklemek, tost makinesinden şiir eleştirisi beklemeye benzer. Ama burada küçük bir hile var: Algoritma ahlak sahibi olmasa da, onu tasarlayanlar ahlaki tercihleri kodlar. Hangi riskin kabul edilebilir olduğu, yolcunun mu yayanın mı önceleneceği, çocuk ile yaşlı arasında ayrım yapılıp yapılmayacağı gibi kararlar teknik parametre gibi görünür; fakat içlerinde toplumun değerleri saklıdır.
Bu nedenle basit bir faydacılık formülü, yani en az sayıda insan ölsün yaklaşımı, kulağa mantıklı gelse de yeterli değildir. Diyelim araç bir kişiyi kurtarmak için beş kişiye çarpmaktan kaçınıyor. Peki bu hesabı yaparken kişilerin yaşı, sağlık durumu, sosyal statüsü, trafik kuralına uyup uymaması hesaba katılacak mı? Eğer katılırsa araç bir tür dijital mahkeme olur. Katılmazsa da bazı gerçek bağlamları görmezden gelir. İşte etik burada, matematiğin üstüne atılmış süslü bir örtü değil; matematiğin hangi soruyu sormaya hakkı olduğunu belirleyen sınır çizgisidir.
Asıl soru: Kimi feda edelim değil
Bence otonom araç etiğinde en sağlıklı başlangıç, kahramanca ölüm senaryolarına takılı kalmamaktır. Asıl hedef, aracın kimi feda edeceğini mükemmel seçmesi değil, bu tür durumların olasılığını radikal biçimde azaltmasıdır. Daha iyi sensörler, güvenli hız politikaları, araçlar arası iletişim, şehir altyapısıyla veri paylaşımı ve sıkı test süreçleri, trol vagonu ikilemini romantik bir trajediden mühendislik problemine indirir. İyi tasarlanmış bir sistem, filozofları daha az heyecanlandırır ama insanları daha çok yaşatır.
Yine de sıfır risk masaldır. Bu yüzden kurallar gerekir. Birincisi, karar ilkeleri şeffaf olmalıdır. Şirketler, ölümcül senaryolarda aracın hangi genel etik protokole uyduğunu kamuya açıklamalıdır. Elbette kaynak kodun tamamı herkesin eline verilemeyebilir; fakat denetlenebilirlik olmadan güven, pazarlama broşüründen ibaret kalır. İkincisi, ayrımcılık kesin biçimde yasaklanmalıdır. Araç insanların gelir düzeyini, kıyafetini, etnik görünümünü ya da tahmini yaşamsal değerini hesaplayan bir kasta dönüşmemelidir.
Üçüncüsü, sorumluluk buharlaştırılmamalıdır. Kaza olduğunda üretici, yazılım geliştirici, veri sağlayıcı, araç sahibi ve düzenleyici kurum arasında herkesin suçu birbirine pasladığı sisli bir tiyatro kurulmamalı. Otonom sistemler için kara kutu kayıtları, bağımsız denetim ve açık hukuki sorumluluk haritaları zorunlu olmalıdır. Çünkü hesap veremeyen teknoloji, ne kadar parlak olursa olsun karanlık üretir.
Dördüncüsü, bu kararlar yalnızca şirket laboratuvarlarında alınmamalıdır. Toplumun etik tercihleri, uzman kurulları, hukukçular, mühendisler, engelli bireyler, yayalar, sürücüler ve farklı kültürlerden yurttaşlarla tartışılmalıdır. Çünkü yol, yalnızca aracı satın alanın değil, herkesindir. Otonom araç kamusal alanda hareket eden özel bir makinedir; bu yüzden ahlakı da kamusal denetime açık olmalıdır.
Sonuçta trol vagonu problemi bize şunu fısıldar: Geleceğin arabaları yalnızca direksiyonu değil, kararın ağırlığını da devralıyor. Fakat bu ağırlığı makinenin metal gövdesine atıp kaçamayız. Otonom araç kimi feda edecek sorusu, aslında bizim nasıl bir toplum olmak istediğimizi sorar. Cevap bir satır kodda değil; o kodu yazdıran değerler, denetleyen kurumlar ve susmayıp soru soran insanlar arasındadır.