Options
2000
Report
Title
Subspace information criterion for non-quadratic regularizers
Title Supplement
Model selection for sparse regressors
Abstract
Nichtquadratische Regularisierer, inbesondere der l1 Norm Regularisierer können Lösungen mit dünn besetzten (sparse) Parametervektoren und trotzdem guten Generalisierungseigenschaften erzielen. In unserer Arbeit schlagen wir das verallgemeinerte Subspace Information Kriterium (GSIC) vor, das es erlaubt den Generalisierungsfehler für diese wichtige Klasse von Regularisierern vorherzusagen. Unter bestimmten technischen Bedingungen können wir zeigen, daß GSIC den Generalisierungsfehler asymptotisch fehlerfrei schätzt. Im experimentellen Vergleich zu NIC und Kreuzvalidierung für einen l1 Norm Regularisierer finden wir erst bei einer relativ großen Anzahl von Trainingsbeispielen eine gute Performanz für GSIC. Im Falle von wenigen Trainingsbeispielen zeigt GSIC durch seine große Varianz die Tendenz das optimale Modell nicht korrekt zu erfassen. Daher schlagen wir das GSIC mit Bias vor, das nun eine verläßliche Modellselektion selbst in dem relevanten und anspruchsvollen Szenario hochdimensionaler Daten bei nur wenigen gegebenen Trainingsmustem erlaubt.
;
Non-quadratic regularizers, in particular the l1 norm regularizer can yield sparse solutions that generalize well. In this work we propose the Generalized Subspace Information Criterion (GSIC) that allows to predict the generalization error for this useful family of regularizers. Under certain technical assumptions GSIC is shown to be an asymptotically unbiased estimator of the generalization error. GSIC is shown to have a good performance in experiments with an l1 norm as we compare with the Network Information Criterion and cross-validation in relatively large sample cases. However in small sample cases, GSIC tends to fail to capture the optimal model due to its large variance. Therefore, we also introduce its biased version, which achieved reliable model selection in the relevant and challenging scenario of high dimensional data and few samples.
FIRST