Bir makine öğrenmesi modelini çoğu zaman soğukkanlı bir matematik makinesi sanırız: Veriyi alır, örüntüyü çıkarır, bilgiyi saklar ve gerektiğinde kusursuzca geri çağırır. Ne var ki derin öğrenme modelleri, bazen sınava son gece çalışan öğrencilerden bile daha dramatik bir unutkanlık sergiler. Yeni bir görevi öğrenirken eski görevlerdeki başarısını kaybeder. Bu olguya genellikle yıkıcı unutma denir. Adı serttir, etkisi daha da serttir: Modelin belleği, arşiv gibi değil, üst üste yazılan ıslak bir defter gibi davranır.
İnsan hafızasında unutma eğrisi, zamanla bilginin solmasını anlatır. Makine öğrenmesinde ise mesele çoğu zaman zamanın geçmesi değil, yeni verinin ağırlıklar üzerinde yaptığı baskıdır. Bir sinir ağı, öğrendiği bilgiyi ayrı klasörlere koymaz; bilgiyi milyonlarca parametrenin ortak düzeninde temsil eder. Bu parametreler, modelin dünyayı yorumlama biçimidir. Yeni veri geldiğinde eğitim algoritması bu parametreleri günceller. Sorun şudur: Aynı parametreler eski bilgiyi de taşıyorsa, yeni ayar eski düzeni bozabilir. Bir piyano akort ederken gitarın tellerini de farkında olmadan gevşetmek gibi.