Bir makine öğrenmesi modelini çoğu zaman soğukkanlı bir matematik makinesi sanırız: Veriyi alır, örüntüyü çıkarır, bilgiyi saklar ve gerektiğinde kusursuzca geri çağırır. Ne var ki derin öğrenme modelleri, bazen sınava son gece çalışan öğrencilerden bile daha dramatik bir unutkanlık sergiler. Yeni bir görevi öğrenirken eski görevlerdeki başarısını kaybeder. Bu olguya genellikle yıkıcı unutma denir. Adı serttir, etkisi daha da serttir: Modelin belleği, arşiv gibi değil, üst üste yazılan ıslak bir defter gibi davranır.
İnsan hafızasında unutma eğrisi, zamanla bilginin solmasını anlatır. Makine öğrenmesinde ise mesele çoğu zaman zamanın geçmesi değil, yeni verinin ağırlıklar üzerinde yaptığı baskıdır. Bir sinir ağı, öğrendiği bilgiyi ayrı klasörlere koymaz; bilgiyi milyonlarca parametrenin ortak düzeninde temsil eder. Bu parametreler, modelin dünyayı yorumlama biçimidir. Yeni veri geldiğinde eğitim algoritması bu parametreleri günceller. Sorun şudur: Aynı parametreler eski bilgiyi de taşıyorsa, yeni ayar eski düzeni bozabilir. Bir piyano akort ederken gitarın tellerini de farkında olmadan gevşetmek gibi.
Unutma Neden Olur?
Temel mekanizma gradyan inişidir. Model hata yaptığında, parametrelerini hatayı azaltacak yönde değiştirir. Yeni görev için doğru olan bu hareket, eski görev için yanlış olabilir. Örneğin bir model önce kedileri köpeklerden ayırmayı öğrensin. Sonra ona kuş türlerini sınıflandırmayı öğretelim. Eğer eğitim sırasında eski kedi-köpek örnekleri hiç görünmezse, model parametrelerini kuşlar için optimize ederken memeli ayrımlarını taşıyan hassas yapıları zedeleyebilir. Modelin dünyası yeniden şekillenir; eski harita yeni kıtanın altında kalır.
Bu durum özellikle sürekli öğrenme senaryolarında kritik hale gelir. Gerçek dünya durağan değildir. Dolandırıcılık tespit sistemleri yeni hileleri, öneri sistemleri değişen kullanıcı zevklerini, otonom araçlar yeni yol koşullarını öğrenmek zorundadır. Fakat her güncelleme, geçmiş becerilerin üzerine kontrolsüzce yazarsa sistem güvenilir olmaktan çıkar. Bugün sahte işlemleri yakalayan model, yarın yeni dolandırıcılık türünü öğrenirken eski dolandırıcılığı kaçırabilir. Bu, yalnızca teknik bir hata değil; finans, sağlık ve güvenlik alanlarında somut risk demektir.
Çözüm: Belleği Tasarlamak
Yıkıcı unutmaya karşı ilk yaklaşım tekrar oynatmadır. Model yeni verilerle eğitilirken eski verilerden küçük örnekler de gösterilir. İnsanların tekrar ederek hatırlamasına benzer. Buna deneyim tekrarı denir. Ancak eski verinin tamamını saklamak her zaman mümkün değildir; gizlilik, maliyet ve ölçek sorunları vardır. Bu yüzden bazı yöntemler, eski verinin kendisini değil, özetini ya da yapay örneklerini kullanır.
İkinci yaklaşım düzenlileştirmedir. Burada modelin eski görevler için önemli olan parametreleri fazla değiştirmesi engellenir. Bazı ağırlıklar kritik kabul edilir ve yeni eğitim sırasında onların hareket alanı kısıtlanır. Bu, bir binayı yenilerken taşıyıcı kolonlara dokunmamaya benzer. Yeni odalar eklenebilir, duvarlar boyanabilir, ama yapı çökmesin diye temel korunur.
Üçüncü yaklaşım mimari büyütmedir. Model yeni görevler geldikçe yeni modüller, katmanlar veya uzman alt ağlar ekler. Böylece eski bilgiyle yeni bilgi aynı parametreler üzerinde kavga etmek zorunda kalmaz. Fakat bu da sınırsız büyüme sorununu getirir. Her yeni deneyim için yeni bir oda açarsak, sonunda saray değil, içinde kaybolduğumuz bir labirent inşa ederiz.
Asıl Ders: Öğrenmek Hatırlamayı Gerektirir
Makine öğrenmesinde unutma eğrisi bize basit ama güçlü bir ders verir: Öğrenme, yalnızca yeni bilgi eklemek değildir; eski bilginin hangi koşullarda korunacağını da tasarlamaktır. Zeki sistem, her veriye aynı iştahla saldıran sistem değildir. Zeki sistem, neyi değiştireceğini, neyi sabit tutacağını ve neyi yeniden değerlendireceğini bilen sistemdir.
Bu yüzden geleceğin yapay zekâsı sadece daha büyük modellerle kurulmayacak. Daha iyi bellek politikaları, daha zarif güncelleme stratejileri ve daha bilinçli veri akışları gerekecek. Unutmayan ama katılaşmayan, öğrenen ama kimliğini kaybetmeyen modeller hedeflenecek. Çünkü makine zekâsının gerçek sınavı, yeni bir şeyi öğrenmek değil; bunu yaparken dün kazandığı bilgeliği çöpe atmamak olacaktır.