Kontrolden çıkmış bir otonom sistem düşünelim: frenleri tutmayan bir araç, hastane koridorlarında karar veren bir robot, kalabalık bir şehirde saniyenin binde biriyle rotasını seçen bir makine. Önünde iki kötü seçenek var. Bir tarafta üç kişi, diğer tarafta bir kişi. Yazılımın içine gömülü prensip basit görünüyor: en çok hayatı kurtar. Faydacılık sahneye girer ve matematiksel pelerinini savurur. Üç, birden büyüktür. Dosya kapanmıştır. Fakat insan kalbi, aritmetiğin bu kadar soğuk bir zaferini kolay kolay yutmaz.
Faydacılık, ilk bakışta ahlakın pratik zekasıdır. Jeremy Bentham’ın hayaletini bir mühendislik laboratuvarına sokarsanız, muhtemelen şöyle derdi: acıyı azalt, mutluluğu artır, mümkün olan en büyük toplam iyiliği üret. Bu, özellikle makineler için cazip bir formüldür. Çünkü makineler hikaye dinlemez, gözyaşıyla pazarlık etmez, geçmiş travmalarını karar ağacına karıştırmaz. Onlara bir hedef fonksiyonu verirsiniz; onlar da dünyayı bu fonksiyonun malzemesi yapar.