Otonom bir araç yayaya çarptığında, bir cerrahi robot yanlış dokuyu kestiğinde ya da bir kredi algoritması binlerce kişiyi görünmez bir ayrımcılıkla dışladığında aklımıza ilk gelen soru şudur: Suçlu kim? Yazılımcı mı, şirket mi, veriyi sağlayan toplum mu, yoksa kendi kararını verdiğini söylediğimiz algoritma mı? Bu soru, yalnızca mahkeme salonlarının değil, çağımızın vicdan laboratuvarının da merkezinde duruyor.
Önce soğuk bir ayrım yapalım: Hata ile suç aynı şey değildir. Bir sistem yanlış çıktı üretebilir; bu teknik bir hatadır. Fakat suç ya da etik sorumluluk, niyet, öngörülebilirlik, ihmal ve kontrol gibi kavramlarla ilgilidir. Bugünkü algoritmalar, ne kadar etkileyici görünürse görünsün, ahlaki özne değildir. Yani bir sinir ağı, içinden karanlık bir pişmanlık geçirerek Ben ne yaptım? demez. Parametreleri güncellenir, logları incelenir, modeli yeniden eğitilir. Vicdan azabı çekmez.
Algoritmik otonomi gerçekten otonomi mi?
Buradaki büyülü kelime otonomi. Bir sistem çevresini algılıyor, seçenekleri değerlendiriyor ve insan müdahalesi olmadan eyleme geçiyorsa ona otonom diyoruz. Fakat bu otonomi, insanın varoluşsal özgürlüğüyle aynı türden değildir. Daha çok genişletilmiş bir otomasyondur: önceden tanımlanmış hedefler, eğitim verileri, optimizasyon fonksiyonları ve çalışma sınırları içinde hareket eder. Satranç motoru hamle seçer, ama zaferin anlamını bilmez. Otonom araç fren yapar, ama ölümle yaşam arasındaki metafizik uçurumu hissetmez.
Bu yüzden makineyi suçlamak, pratikte çoğu zaman ahlaki bir kaçış kapısıdır. Algoritmayı mahkemeye çağırıp ona takım elbise giydiremeyiz. Ona hapis cezası veremeyiz. En fazla fişini çeker, modelini siler veya güncelleriz. Bu bir ceza değil, güvenlik müdahalesidir. Dolayısıyla sorumluluğun merkezi hâlâ insan sistemlerinde aranmalıdır: tasarlayanlarda, dağıtanlarda, onaylayanlarda, denetleyenlerde ve kazanç elde edenlerde.
Yazılımcı tek başına günah keçisi mi?
Fakat her hatada parmağı doğrudan yazılımcıya çevirmek de kolaycıdır. Modern otonom sistemler artık tek bir kişinin zihninden çıkan mekanik saatler değil; veri mühendisleri, ürün yöneticileri, hukuk danışmanları, yatırımcılar, test ekipleri, kullanıcı davranışları ve kurumsal baskıların oluşturduğu karmaşık organizmalardır. Bir yazılımcı bir modülü yazar; ama hangi verinin kullanılacağına, güvenlik testlerine ne kadar bütçe ayrılacağına, piyasaya çıkış tarihinin riskten önemli olup olmadığına çoğu zaman tek başına karar vermez.
Bu nedenle etik yük, katmanlı düşünülmelidir. Birinci katman teknik sorumluluktur: Kod düzgün yazıldı mı, test edildi mi, hata senaryoları simüle edildi mi? İkinci katman tasarım sorumluluğudur: Sistem hangi hedefi optimize ediyor? Hız mı, kâr mı, güvenlik mi, adalet mi? Üçüncü katman kurumsal sorumluluktur: Şirket riskleri biliyor muydu, uyarıları bastırdı mı, denetimi göstermelik mi yaptı? Dördüncü katman toplumsal sorumluluktur: Biz bu sistemleri hangi kör noktalarımızla besledik? Ayrımcı veri, ayrımcı makine doğurur; algoritma bazen yalnızca toplumun çarpık aynasıdır.
Algoritmik otonomi arttıkça sorumluluk yok olmaz; aksine daha iyi tasarlanmış sorumluluk mimarilerine ihtiyaç doğar. Kara kutu modellerin kullanıldığı alanlarda açıklanabilirlik, izlenebilirlik ve kayıt tutma lüks değil zorunluluktur. Bir sistem karar veriyorsa, o kararın soyağacı çıkarılabilmelidir: Hangi veriyle eğitildi, hangi versiyon çalışıyordu, hangi eşik değeri kullanıldı, hangi uyarılar göz ardı edildi? Etik, burada sisli bir vaaz değil, mühendislik gereksinimidir.
Benim tavrım net: Makine hata yaptığında algoritmik otonomiyi suçlamak felsefi olarak zayıf, hukuki olarak yetersiz, pratik olarak da tehlikelidir. Suçlanması gereken soyut algoritma değil, onu dünyaya salan sorumluluk zinciridir. Ancak bu zincir de yalnızca en alttaki yazılımcının boynuna geçirilmemelidir. Yazılımcı ihmal ettiyse sorumludur; şirket acele ettiyse sorumludur; düzenleyici kurum uyuduysa sorumludur; kullanıcı kör güven geliştirdiyse pay sahibidir.
Geleceğin temel etik sorusu şu olacak: Zekâ ürettik, peki hesap verebilirliği de üretebildik mi? Çünkü otonom sistemlerin en büyük tehlikesi makinenin hata yapması değil, insanların bu hatanın arkasına saklanacak yeni ve parlak bir perde bulmasıdır. Algoritma kader değildir. Kod da kutsal metin değildir. Her modelin arkasında bir seçim, her seçimin arkasında bir değer, her değerin arkasında da sorumluluktan kaçamayan bir insan vardır.