Regularisatie
Complexiteit van een model begrenzen
Een techniek die een strafterm toevoegt aan het leerproces om coëfficiënten of modelcomplexiteit te beperken en zo overfitting tegen te gaan. Ridge en Lasso zijn bekende voorbeelden.
Hoe werkt het in de praktijk?
Regularisatie ontmoedigt een model om te sterk op individuele invoervariabelen of complexe patronen te steunen. De straf voor complexiteit wordt samen met de voorspellingsfout geoptimaliseerd.
In de praktijk
Ridge verkleint coëfficiënten geleidelijk; Lasso kan sommige coëfficiënten nul maken. De regularisatiesterkte wordt doorgaans met validatiedata gekozen.
Concreet voorbeeld
Bij een receptenmodel met veel overlappende voedingsvariabelen kan regularisatie voorkomen dat kleine toevallige verschillen extreem grote coëfficiënten krijgen.