Adalet Tanrıçası’nın gözleri bağlıdır; çünkü kim olduğumuza değil, ne olduğuna bakması beklenir. Algoritmalar da modern çağın bu gözleri bağlı yargıçları gibi pazarlanır: yorulmazlar, sinirlenmezler, rüşvet almazlar, kayınbiraderlerini işe sokmazlar. Ne güzel. Fakat küçük bir sorun var: Bu dijital yargıçlar dünyaya kendi başlarına gelmez. Onları insanlar yazar, insanlar veriyle besler, insanlar hedef belirler. Yani gözleri bağlı sanılan kod, çoğu zaman kodlayıcısının gözlüğünü takar.
Algoritmik önyargı, makinenin kötü niyetli olması değildir. Makinenin niyeti yoktur; bu yüzden tehlikelidir. Kötü niyetle tartışabilirsiniz, ama ölçüt diye sunulan bir formülle tartışmak zordur. Bir kredi başvurunuz reddedildiğinde karşınızda kaşlarını çatmış bir memur değil, skorunuzun yetersiz olduğunu söyleyen soğuk bir ekran vardır. Ekran nötr görünür. Oysa belki de yaşadığınız mahalle, geçmişte sistematik olarak dışlanmış bir grubun mekânıdır; belki eğitim geçmişiniz, eşitsizliğin sayısal gölgesidir; belki algoritma suçu değil, yoksulluğu tahmin etmektedir.
