Bilim bazen bir katedral gibi anlatılır: sağlam taşlar, kusursuz sütunlar, göğe uzanan kesinlik. Oysa laboratuvara yakından bakınca daha canlı, daha insani ve daha tekinsiz bir manzara görürüz. Psikoloji ve tıpta son yıllarda konuşulan replikasyon krizi tam da bu manzarayı açığa çıkardı: Çok ünlü, çok alıntılanmış, ders kitaplarına girmiş bazı deneyler tekrarlandığında aynı sonuçları vermiyor. Bir zamanlar zihnin gizli düğmelerini bulduğumuzu sanırken, meğer bazı düğmeler kartondanmış.
Replikasyon, bir çalışmanın aynı ya da çok benzer yöntemlerle yeniden yapıldığında benzer sonuçlar üretmesi demektir. Bilimin vicdanıdır. Çünkü tek bir deney, ne kadar parlak görünürse görünsün, çoğu zaman sadece ilk kıvılcımdır. Asıl mesele, o kıvılcımın başka laboratuvarlarda da ateş yakıp yakmadığıdır. Kriz dediğimiz şey, bu ateşin beklenenden sık sönmesidir.
İstatistiğin Sisli Ormanı
Birinci neden istatistiksel güçsüzlüktür. Psikoloji deneylerinin çoğu uzun yıllar boyunca küçük örneklemlerle yapıldı: yirmi öğrenci, otuz gönüllü, bir avuç hasta. Küçük örneklem, karanlıkta fenerle ejderha aramaya benzer; bazen gördüğünüz şey gerçekten ejderhadır, bazen de rüzgarda sallanan çamaşır. Tesadüfi dalgalanmalar büyük etkiler gibi görünebilir. Sonra daha büyük örneklemle deney tekrarlandığında etki küçülür, kaybolur ya da yön değiştirir.
İkinci neden p-değeri büyüsüdür. Akademide uzun süre 0,05 eşiği kutsal bir kapı gibi görüldü. Kapıdan geçersen yayın, geçemezsen çekmece. Bu durum araştırmacıları bilinçli ya da bilinçsiz olarak sonuç avcılığına itti. Farklı analizler denemek, bazı verileri dışlamak, alt gruplara bakmak, ölçüm zamanlarını değiştirmek… Bunların her biri tek başına masum görünebilir; fakat toplamda veriye işkence edip itiraf alma tekniğine dönüşebilir.
Yayın Dünyasının Karanlık Çekmecesi
Üçüncü büyük sorun yayın yanlılığıdır. Dergiler genellikle şaşırtıcı, pozitif, manşetlik sonuçları sever. Hiçbir şey bulamadık diyen çalışma ise çoğu zaman bilimsel mezarlığa gömülür. Böylece literatür, gerçekliğin dengeli bir haritası olmaktan çıkar; başarı hikayelerinden oluşan bir vitrine dönüşür. Oysa başarısız tekrarlar, etkisiz tedaviler ve sıkıcı görünen negatif bulgular da bilimin bağışıklık sistemidir.
Psikolojide ayrıca insan davranışının bağlama aşırı duyarlı olması sorunu vardır. Bir deney Amerika’daki üniversite öğrencilerinde çalışabilir, ama Japonya’da, Türkiye’de, yaşlılarda, hastalarda ya da farklı ekonomik koşullarda işlemeyebilir. İnsan zihni saat gibi çalışan kapalı bir mekanizma değil; kültür, dil, beden, statü, utanç, arzu ve korkuyla örülmüş canlı bir ormandır. Jungiyen bir dille söylersek, laboratuvara yalnızca denek gelmez; onun gölgesi, kabilesi ve çağının ruhu da gelir.
Tıpta tablo daha karmaşıktır. Klinik araştırmalar pahalıdır, etik sınırlarla çevrilidir ve biyolojik çeşitlilik devasa boyuttadır. Bir ilacın küçük bir grupta umut vermesi, geniş popülasyonda aynı etkiyi göstereceği anlamına gelmez. Ayrıca şirket çıkarları, seçilmiş hasta grupları, kısa takip süreleri ve yan etki raporlamasındaki belirsizlikler sonuçları parlatabilir. Tıp burada bize acı bir ders verir: İnsan bedeni istatistik tablosuna sığar, ama orada uslu durmaz.
Kriz mi, Ergenlik mi?
Yine de bu hikaye bilimin çöküşü değil, olgunlaşmasıdır. Replikasyon krizi, bilimin kendi maskesini indirmesidir. Ön kayıt, açık veri, açık kod, daha büyük örneklemler, çok merkezli çalışmalar, kayıtlı raporlar ve meta-analizler bu yüzden önem kazandı. Artık soru yalnızca sonuç anlamlı mı değil; yöntem şeffaf mı, etki güçlü mü, tekrar edilebilir mi, veri başkalarının gözlerine dayanabilir mi?
Bu krizin en öğretici tarafı şudur: Bilim bir kesinlik makinesi değil, yanılgıyı azaltma disiplinidir. Kahramanı kusursuz araştırmacı değil, hatasını yakalayabilen topluluktur. Ünlü deneylerin tekrarlanamaması utanç verici olabilir; ama daha büyük utanç, onları kutsal metin gibi savunmak olurdu. Gerçek savaşçı, sevdiği fikri koruyan değil, gerektiğinde onu kurban edebilen kişidir. Replikasyon krizi bize bunu fısıldıyor: Gerçeği istiyorsan, en parlak bulgularına bile ikinci kez bakacak cesaretin olacak.
