Textdokument
Kern Fisher Diskriminanten
Lade...
Volltext URI
Dokumententyp
Zusatzinformation
Datum
2003
Autor:innen
Zeitschriftentitel
ISSN der Zeitschrift
Bandtitel
Verlag
Gesellschaft für Informatik
Zusammenfassung
In der dieser Kurzfassung zugrundeliegenden Doktorarbeit wurden Lernmethoden die auf der Maximierung eines Rayleigh Koeffizienten beruhen untersucht. Es wurden nichtlineare Verallgemeinerungen von verschiedenen Methoden vorgeschlagen, unter anderem orientierter Hauptkomponentenanalyse und insbesondere Fishers Diskriminanten. Zentraler Aspekt der Arbeit ist die Anwendung des “Kerntricks” auf Rayleigh Koeffizienten bei gleichzeitiger Berücksichtigung der Komplexitätskontrolle im Rahmen der strukturellen Risikominimierung. Es wurde gezeigt, wie auf diesem Wege neue, machtvolle Algorithmen hergeleitet werden können deren Leistung dem heutigen Stand der Technik entspricht. In einem weiteren Teil wurde gezeigt, dass KFD als ein mathematisches (quadratisches) Optimierungsproblem formuliert werden kann. Aufbauend auf dieser Einsicht wird diskutiert und aufgezeigt, wie mathematische Optimierung als ein allgemeines Rahmenwerk für die Analyse von Lernverfahren dienen kann. Außerdem erlaubt diese Betrachtung die Herleitung mehrerer interessanter und nützlicher Varianten von KFD: robuste KFD, sparse KFD und lineare, sparse KFD. Schließlich wird diskutiert wie die den Lernproblemen zu Grunde liegenden Optimierungsprobleme effizient gelöst werden können. Um die Leistungsfähigkeit der vorgeschlagenen Algorithmen zu illustrieren und sie mit anderen Techniken zu vergleichen wird eine große Anzahl von experimentellen Resultaten Kern Fisher Diskriminanten präsentiert. Dabei werden sowohl künstliche als auch reale Daten verwandt. Zusammenfassend lässt sich sagen, das gezeigt wurde, dass Fishers Diskriminanten durch Nutzung von Kernen zu den besten heute verfügbaren Lernmethoden zählen. Ihre intuitive Interpretation, die Eigenschaft, dass Resultate erzeugt werden welche sich als Wahrscheinlichkeiten interpretieren lassen und ihre einfach Umsetzung machen sie für viele Anwendungen interessant. Andererseits wurde auch gezeigt, dass die meisten modernen Lernmethoden, abgesehen davon, dass sie sehr ähnliche Optimierungsprobleme lösen, kaum Unterscheide in ihrer Leitung zeigen. Es wäre sicher falsch aus dieser Arbeit den Schluss zu ziehen, dass KFD besser ist als andere Techniken. Aber KFD ist sicher genauso gut wie andere existierende Methoden. Und wie mit jeder Technik gibt es bestimmte Anwendungen wo KFD besonders geeignet ist. Literatur [Fis36] R.A. Fisher. The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7:179-188, 1936. [FS97] Y. Freund and R.E. Schapire. A Decision-theoretic Generalization of On-line Learning and an Application to Boosting. Journal of Computer and System Sciences, $55(1)$:119-139, 1997. [MD89] J. Moody and C. Darken. Fast learning in networks of locally-tuned processing units. Neural Computation, $1(2)$:281-294, 1989. [Mik02] S. Mika. Kernel Fisher Discriminants. PhD thesis, University of Technology, Berlin, Germany, December 2002. [Rät01] G. Rätsch. Robust Boosting via Convex Optimization. PhD thesis, University of Potsdam, Neues Palais 10, 14469 Potsdam, Germany, October 2001. [Tip00] M.E. Tipping. The Relevance Vector Machine. In S.A. Solla, T.K. Leen, and K.-R. Müller, editors, Advances in Neural Information Processing Systems, volume 12, pages 652-658. MIT Press, 2000. [Vap98] V.N. Vapnik. Statistical Learning Theory. Wiley, New York, 1998. Sebastian Mika, geboren 1973, studierte an der Technischen Universität Berlin Informatik und Mathematik. Er hat 1998 sein Diplom in Informatik mit Auszeichnung erhalten. Von 1998 an hat Herr Mika an der Technischen Universität und dem Fraunhofer Institut FIRST gearbeitet. Neben einer Vielzahl wissenschaftlicher Publikationen und mehrere Auslandsaufenthalten, unter anderem bei AT\&T Research, Microsoft Research und der Australian National University, entstand seine Doktorarbeit. Im Dezember 2002 hat Herr Mika seine Promotion mit Auszeichnung an der Technischen Universität abgelegt.