Makine öğrenmesinde sık yapılan sezgisel hata şudur: Daha fazla değişken, daha fazla bilgi demektir; daha fazla bilgi de daha iyi tahmin. Kulağa mantıklı gelir. Hatta bir dedektif gibi düşünürsek, olay yerindeki her iz kıymetlidir. Fakat yüksek boyutlu veri dünyasında dedektifin cebine o kadar çok ipucu doldururuz ki, sonunda fail değil, cebin ağırlığı bulunur. İşte boyutluluk laneti tam olarak burada başlar: Değişken sayısı arttıkça problem zenginleşmez, çoğu zaman seyrekleşir, bulanıklaşır ve öğrenilmesi zorlaşır.
Boyut arttıkça uzay şişer
Bir veri noktasını iki değişkenle düşünmek kolaydır: x ve y ekseninde bir nokta. Üç boyutta hâlâ zihnimiz idare eder. Peki ya 100 boyut? 1000 boyut? Burada mesele sadece görselleştirme zorluğu değildir. Asıl sorun, uzayın hacminin patlayıcı biçimde büyümesidir. Bir odaya 10 sandalye koyarsanız dolu görünür. Aynı 10 sandalyeyi bir stadyuma koyarsanız neredeyse boşlukta kaybolurlar. Veri noktaları da yüksek boyutlarda böyle kaybolur: Elinizde çok örnek var sanırsınız ama uzay o kadar büyümüştür ki her nokta yalnız başına kalır.