Logo des Repositoriums
 
Textdokument

Robustes Boosting durch konvexe Optimierung

Lade...
Vorschaubild

Volltext URI

Dokumententyp

Zusatzinformation

Datum

2003

Zeitschriftentitel

ISSN der Zeitschrift

Bandtitel

Verlag

Gesellschaft für Informatik

Zusammenfassung

Dieser Beitrag stellt einige Grundgedanken des Maschinellen Lernens dar und faßt die wesentlichen Ergebnisse meiner Dissertation zusammen. Lernmaschinen extrahieren Informationen aus einer gegebenen Menge von Trainingsbeispielen, so dass sie in der Lage sind, Eigenschaften von bisher ungesehenen Beispielen – z.B. eine Klassenzugehörigkeit – vorherzusagen. Wir betrachten den Fall, bei dem die resultierende Klassifikations- oder Regressionsregel aus einfachen Regeln – den Basishypothesen – zusammengesetzt ist. Die sogenannten Boosting-Algorithmen erzeugen iterativ eine gewichtete Summe von Basishypothesen, die gut auf ungesehenen Beispielen vorher- sagen. In der Dissertation wurden folgende Sachverhalte behandelt: Die zur Analyse von Boosting-Methoden geeignete Statistische Lerntheorie – Wir studieren lerntheoretische Garantien zur Abschätzung der Vorhersagequalität auf ungesehenen Beispielen. Als ein praktisches Ergebnis dieser Theorie haben sich sogenannte Klassifikationstechniken mit großem Margin herausgestellt – insbesondere Boosting und Support-Vektor-Maschinen (SVM). Ein großer Margin impliziert eine hohe Vorhersagequalität der Entscheidungsregel. Deshalb wird die Größe des Margins beim Boosting analysiert und ein verbesserter Algorithmus vorgeschlagen, der effizient Regeln mit größtem Margin erzeugt.; Etablierung des Zusammenhangs von Boosting und konvexer Optimierung. Um die Eigenschaften der entstehenden Klassifikations- oder Regressionsregeln zu analysieren, ist es sehr wichtig zu verstehen, ob und unter welchen Bedingungen iterative Algorithmen wie Boosting konvergieren. Wir zeigen, dass solche Algorithmen benutzt werden können, um sehr große Optimierungsprobleme mit Nebenbedingungen zu lösen, deren Lösung sich gut charakterisieren läßt. Dazu werden Verbindungen zum Wissenschaftsgebiet der konvexen Optimierung aufgezeigt und diese ausgenutzt, um Konvergenzgarantien für eine Familie von Boosting-Algorithmen zu geben.; Kann man Boosting robust gegenüber Meßfehlern und Ausreißern machen? Ein Problem bisheriger Boosting-Methoden ist die relativ hohe Sensitivität gegenüber Meßungenauigkeiten und Meßfehlern in der Trainingsdatenmenge. Um dieses Problem zu beheben, wird die sogenannte „Soft-Margin“ Idee, die beim Support-Vektor-Lernen schon benutzt wird, auf Boosting übertragen. Das führt zu theoretisch gut motivierten Algorithmen, die ein hohes Maß an Robustheit aufweisen.; Wie kann man die Anwendbarkeit von Boosting auf Regressionsprobleme erweitern? Boosting-Methoden wurden ursprünglich für Klassifikationsprobleme entwickelt. Um die Anwendbarkeit auf Regressionsprobleme zu erweitern, werden die vorherigen Konvergenzresultate benutzt und neue Boosting-ähnliche Algorithmen zur Regression entwickelt.; Ist Boosting praktisch anwendbar? Für die neu entwickelten Algorithmen wird gezeigt, dass sie in der Praxis tatsächlich gut funktionieren und direkt einsetzbar sind. Die Relevanz wird durch eine industrielle Anwendung in einem Stromverbrauch-Überwachungssystem illustriert. In diesem Beitrag habe ich mich auf die Darstellung der wichtigsten Ergebnisse meiner Dissertation beschränkt. Es wird nur auf einige Verbindungen zur konvexen Optimierung eingegangen (Abschnitt 2), dann erklärt wie man Boosting robust machen kann (Abschnitt 3) und nur auf eine Anwendung in der Energietechnik eingegangen (Abschnitt 4). Abb. 1 zeigt die Zusammenhänge zwischen diesen Teilen. Die Kürze des Beitrags verlangte eine mathematisch weniger rigorose Darstellung der Sachverhalte; die Details finden sich in der Dissertation.

Beschreibung

Rätsch, Gunnar (2003): Robustes Boosting durch konvexe Optimierung. Ausgezeichnete Informatikdissertationen 2001. Bonn: Gesellschaft für Informatik. PISSN: 1617-5468. ISBN: 978-3-88579-406-3. pp. 135-146

Schlagwörter

Zitierform

DOI

Tags