Otonom bir araç yağmurlu bir gecede fren mesafesinin yetmediğini hesaplıyor. Önünde iki yaya, yanında bir bisikletli, içinde ise yolcu var. Sensörler milisaniyeler içinde dünyayı geometrik nesnelere indirgerken asıl soru beliriyor: Araç kimi korumalı? Bu, yalnızca bir yazılım hatası ya da donanım kapasitesi meselesi değildir. Direksiyonsuz otomobil, insanlığın binlerce yıldır çözemediği ahlaki çatışmaları kod satırlarına sıkıştırmak zorunda kalan yeni bir filozof makinesidir.
Evrensel kural mı, yerel vicdan mı?
İlk refleks, herkes için tek bir etik standart tasarlamak olabilir. İnsan hayatını en çok koruyan seçenek seçilsin; mesele kapansın. Fakat ahlak, trafik işaretleri kadar evrensel çalışmaz. Bazı kültürler bireyin haklarını dokunulmaz kabul eder; bazıları ise topluluğun zararını azaltmayı daha güçlü bir görev sayar. Bir yerde yaşlıya öncelik vermek saygının gereğiyken, başka bir yerde genç bir insanın gelecekteki yaşam yılları hesapta daha ağır basabilir. Çocuk, yolcu, yaya, kural ihlali yapan sürücü ya da acil görevdeki sağlık çalışanı: Her kategori, farklı toplumlarda farklı sezgiler uyandırır.
Bu değişkenlik, kültürlerin keyfi olduğu anlamına gelmez. Aksine, toplumların tarihsel deneyimlerini, aile anlayışlarını, adalet duygularını ve devletle kurdukları ilişkiyi yansıtır. Otonom araç üreticisi bu farkları görmezden geldiğinde tarafsız kalmış olmaz; çoğu zaman güçlü bir kültürün varsayımlarını sessizce evrensel kural diye ihraç eder. Kodun dili İngilizce, veri merkezinin adresi Kaliforniya ve yatırımın kaynağı küresel olabilir; ama aracın önüne çıkan insan İstanbul’da, Seul’de ya da Nairobi’de yaşar.
Kültüre uyum, ahlaki relativizm değildir
Burada tehlikeli bir yanlış anlama vardır: Eğer etik tercihler yerelleşecekse, her ülke kendi kurallarını yazsın denebilir. Bu yaklaşım, insan haklarını trafik yoğunluğuna göre ayarlanabilir bir seçenek menüsüne dönüştürür. Bir toplum yayaları sistematik olarak ikinci sınıf görüyorsa, araç da bunu öğrenmeli midir? Elbette hayır. Kültürel uyarlama ile temel ilkeler birbirinden ayrılmalıdır. İnsan onuruna saygı, ayrımcılık yapmama, kasıtlı zarar vermeme, açıklanabilirlik ve hesap verebilirlik; pazarlık konusu olmayan bir etik taban oluşturmalıdır.
Bu tabanın üzerinde ise yerel katılımla şekillenen tercih katmanları kurulabilir. Örneğin araçların riskli manevrada yolcuyu mu, savunmasız yayayı mı öncelediği; ölümcül olmayan risklerde ne kadar temkinli davrandığı; trafik kuralı ihlalinin karar modelinde ne ölçüde etkili olduğu kamuoyu, uzmanlar, engelli bireyler, sigorta kurumları ve yerel yönetimlerle tartışılmalıdır. Etik, şirket merkezinde gizlice derlenen bir ayar dosyası olmamalıdır.
Asıl mesele: Kararı kim denetleyecek?
Teknik açıdan çözüm, ahlaki yargıyı tek bir puana indirgemek değildir. Sistemler belirsizliği açıkça modellemeli, tehlikeli koşullarda güvenli moda geçmeli ve karar kayıtlarını denetlenebilir biçimde saklamalıdır. Bir aracın neden fren yerine kaçış manevrası yaptığını yalnızca üretici değil, bağımsız denetçiler de anlayabilmelidir. Ayrıca modeller düzenli olarak ayrımcılık testinden geçirilmeli; yaya algılama başarısının ten rengi, kıyafet, yaş, engellilik durumu veya mahallenin altyapısı gibi değişkenlerle bozulup bozulmadığı ölçülmelidir.
Otonom araçların ahlak pusulası, kusursuz bir cevabı olan matematik sorusu değildir. Fakat bu, cevabın mühendisler ve pazarlamacılar tarafından kapalı kapılar ardında verilmesini mazur göstermez. En iyi sistem, her trajediyi önceden çözen sistem değil; belirsizliğini dürüstçe kabul eden, temel hakları koruyan, yerel değerleri dinleyen ve hatalarından kamusal denetim altında öğrenen sistemdir. Direksiyon yapay zekâya geçerken, vicdanın kontrolünü teslim etmemeliyiz.