SVM and boosting. One class

In dieser Arbeit zeigen wir die Äquivalenz der mathematischen Programme von Support Vector Maschinen (SVM) und Boosting. Jeder SV Algorithmus kann somit in einen boosting-ähnlichen Algorithmus übersetzt werden. Ausgehend von dem one-class SV Algorithmus, illustrieren wir diesen Zusammenhang anhand eines neuen (boosting-ähnlichen) Algorithmus: one-class Leveraging. Dabei werden sogenannte Barrier-Methoden aus der Optimierungstheorie benutzt, um die neuen Algorithmen zu motivieren und ihre Konvergenz zu beweisen. Unser Ein-Klassen-Algorithmus liefert als Ergebnis eine Konvex-Kombination von Funktionen, die charakterisiert ob ein gegebener Testpunkt von der den Trainingsdaten zugrundeliegenden Verteilung generiert wurde oder nicht. Simulationen zeigen die Anwendbarkeit unserer Techniken.

We show via an equivalence of mathematical programs that a Support Vector (SV) algorithm can be translated into an equivalent boosting-like algorithm and vice versa. We exemplify this translation procedure for a new algorithm - one-class Leveraging - starting from the one-class Support Vector Machines (1-SVM). This is a first step towards unsupervised learning in a Boosting framework. Building on so-called barrier methods known from the theory of constrained optimization, it returns a function, written as a convex combination of basis hypotheses, that characterizes whether a given test point is likely to have been generated from the distribution underlying the training data. Simulations on one-class classification problems demonstrate the usefulness of our approach.