Fraunhofer-Gesellschaft

Publica

Hier finden Sie wissenschaftliche Publikationen aus den Fraunhofer-Instituten.

Subspace information criterion for non-quadratic regularizers

Model selection for sparse regressors
 
: Tsuda, K.; Sugiyama, M.; Müller, K.-R.

:
urn:nbn:de:0011-b-731810 (663 KByte PDF)
MD5 Fingerprint: 2db41f9fb3060b685da7d086c78c4263
Created on: 07.08.2002


Sankt Augustin: GMD Forschungszentrum Informationstechnik, 2000, 34 pp.
GMD Report, 120
English
Report, Electronic Publication
Fraunhofer FIRST ()
Model-Selektion; Regularisierungskonstante; model selection; regularization constant; sparse regression

Abstract
Nichtquadratische Regularisierer, inbesondere der l1 Norm Regularisierer können Lösungen mit dünn besetzten (sparse) Parametervektoren und trotzdem guten Generalisierungseigenschaften erzielen. In unserer Arbeit schlagen wir das verallgemeinerte Subspace Information Kriterium (GSIC) vor, das es erlaubt den Generalisierungsfehler für diese wichtige Klasse von Regularisierern vorherzusagen. Unter bestimmten technischen Bedingungen können wir zeigen, daß GSIC den Generalisierungsfehler asymptotisch fehlerfrei schätzt. Im experimentellen Vergleich zu NIC und Kreuzvalidierung für einen l1 Norm Regularisierer finden wir erst bei einer relativ großen Anzahl von Trainingsbeispielen eine gute Performanz für GSIC. Im Falle von wenigen Trainingsbeispielen zeigt GSIC durch seine große Varianz die Tendenz das optimale Modell nicht korrekt zu erfassen. Daher schlagen wir das GSIC mit Bias vor, das nun eine verläßliche Modellselektion selbst in dem relevanten und anspruchsvollen Szenario hochdimensionaler Daten bei nur wenigen gegebenen Trainingsmustem erlaubt.

 

Non-quadratic regularizers, in particular the l1 norm regularizer can yield sparse solutions that generalize well. In this work we propose the Generalized Subspace Information Criterion (GSIC) that allows to predict the generalization error for this useful family of regularizers. Under certain technical assumptions GSIC is shown to be an asymptotically unbiased estimator of the generalization error. GSIC is shown to have a good performance in experiments with an l1 norm as we compare with the Network Information Criterion and cross-validation in relatively large sample cases. However in small sample cases, GSIC tends to fail to capture the optimal model due to its large variance. Therefore, we also introduce its biased version, which achieved reliable model selection in the relevant and challenging scenario of high dimensional data and few samples.

: http://publica.fraunhofer.de/documents/B-73181.html