Studien- und Abschlussarbeiten

Erweiterung, Anwendung und Verfeinerung unseres AutoDL-Tools Auto-PyTorch für neue Bereiche wie Ausreißererkennung, Wartungsvorhersage oder Zeitreihenvorhersage. Wir empfehlen einen starken Hintergrund in Machinellem Lernen (insbesondere Deep Learning) und der von ihnen gewählten Anwendung für diese Arbeit. Bei Bewerbung zeigen Sie bitte die Richtung auf in der Sie arbeiten möchten und stellen einen groben Plan auf, wie Sie AutoPytorch in ihrem Zielbereich implementieren würden.

Kontakt: Difan Deng

Modellierung, Implementierung und Evaluierung von DAC für einen beliebigen Zielalgorithmus. Wir empfehlen einen starken Hintergrund in RL, Grundkenntnisse in DAC sowie in der Zieldomäne Ihrer Wahl, um in diesem Thema erfolgreich zu sein. Mögliche Zielgebiete sind Maschinelles Lernen oder Reinforcement Learning, MIPS oder SAT-Löser und Evolutionäre Algorithmen.

Kontakt: Theresa Eimer

Die Ausweitung des Reinforcement Learning auf kompliziertere Umgebungen als Spiele, wie z.B. Schach, macht es erforderlich, dass wir unsere Lernmethoden so ausrichten, dass sie viele Probleme in solchen Umgebungen angehen, wie z.B. große Zustands- und Aktionsräume, komplizierte Dynamiken, etc. Verhaltensähnlichkeit umfasst die Ausnutzung von Bedingungen, die zu ähnlichen Strategien führen, d.h. wenn sie mit demselben Zustand versehen sind, erzeugen sie identische Aktionsverteilungen. In dieser Arbeit wollen wir diese Methoden in einem kontextuellen Umfeld untersuchen, wobei wir versuchen werden, die folgenden Fragen zu beantworten

1. Sind Ähnlichkeitsmethoden robust gegenüber kleinen Umweltveränderungen, wie zum Beispiel kontextuelles Reinforcement Learning? 
2. Können wir diese Methoden verbessern, indem wir diese zusätzlichen kontextuellen Informationen durch Verlustvergrößerungen oder andere Verfahren nutzen? 
3. Können wir solche Metriken über Umweltverteilungen hinweg meta-lernen? 

Idealerweise würde dieses Thema für eine Bachelorarbeit bedeuten, dass wir bestehende Methoden abtragen, während wir für Masterarbeiten einen Schritt weiter gehen und versuchen würden, einen neuen Ansatz zu entwickeln.

Meta-Policy-Gradienten zielen darauf ab, einen Satz von Hyperparametern in einer einzigen Lebenszeit zu lernen. Die Schlüsselidee besteht darin, die Iteration von Strategien mit der Aktualisierung von Hyperparametern zu verschachteln, d.h. ein Ziel (Bellman- oder Strategie-Gradientenziel) zu lernen und es dann zum Lernen einer neuen Parameteraktualisierung zu verwenden.  Neuere Arbeiten haben gezeigt, dass kontextbezogene Informationen über die Umgebung (z. B. Informationen über Ziele) Meta-Gradienten bereichern können.  

Pitch:  Untersuchung der Auswirkungen von Kontextinformationen auf Vanille- und Bootstrapped-Meta-Gradienten zur Verallgemeinerung auf ähnliche Umgebungen. Diese Arbeit beinhaltet zwei Fragen:

1. Funktionieren Standard-MPG-Techniken gut in kontextuellen Umgebungen?
2. Hilft die Einbeziehung von Kontextinformationen beim Erlernen besserer Hyperparameter-Schemata unter Verwendung von MPGs in solchen Umgebungen?

Je nach Interesse können wir herausfinden, wie wir diese Fragen konkret beantworten können. 

Während wir bereitwillig kostengünstige Näherungen für Multi-Fidelity-Approximationen verwenden, versäumen wir es explizit anzuerkennen, dass wir mit dieser kostengünstigen Näherung Informationen über die endgültige Leistung sammeln. Darüber hinaus nehmen wir in der Regel an, dass allen Algorithmen das gleiche Rechenbudget zur Verfügung steht, z.B. bei der Algorithmusauswahl, und ignorieren dabei insbesondere bei heterogenen Algorithmen, dass diese sich zu unterschiedlichen Zeitpunkten heranreifen. Das Ziel dieser Arbeit ist es, diesen Punkt anhand verfügbarer Metatraining-Daten im Fidelitybereich zu demonstrieren und einen Fidelity "Schedule" zu finden, der hinsichtlich des Informationsgehalts in Bezug auf die endgültige Leistung fair ist.

Kontakt: Tim Ruhkopf

Multi-Fidelity hat als oberstes Ziel eine Kostenersparnis für den Hyperparameter Optimierungs Prozess durch approximierte finale Performence in form von e.g. kürzerem Training oder Training mit weniger Daten. Da diese Approximationen typischerweise graduell sind bietet es sich daher an den Approximationsfehler zu verringern indem man auf mehreren Stufen selektiv evaluiert. Ziel dieser Arbeit ist es dass man das vermeintliche Vorwissen von einer Stufe auf die nächste überträgt und kritisch hinterfragt, welche Stufe man überhaupt wählen möchte. Der Ansatz ist, dass man Multi-fidelity als kontinuierlichen Lernprozess über mehrere sich ähnelnde Aufgaben begreift, die es einzuordnen gilt. Wir empfehlen einen starken Hintergrund in AutoML für diese Arbeit. 

Kontakt: Tim Ruhkopf

Methoden zur Hyperparameter-Optimierung (HPO) können effizient gut funktionierende Hyperparameter-Konfigurationen bestimmen. Allerdings fehlt ihnen oft Einblick und Transparenz, da sie dem Benutzer keine Erklärung für den Optimierungsprozess und die zurückgegebene Konfiguration bieten. Indem wir HPO-Methoden auf verschiedene Weise erweitern, möchten wir uns einem interpretierbareren HPO-Prozess annähern. Das Ziel dieser Arbeit besteht darin, neue Methoden oder Erweiterungen bestehender Methoden für eine interpretierbare HPO zu implementieren und zu evaluieren.

Kontakt: Sarah Segel

Das Anpassen von Hyperparametern beim maschinellen Lernen ist unerlässlich, um hohe Performance zu erzielen. Einige Hyperparameter sind dabei jedoch wichtiger als andere. Ein AutoML-Prozess könnte daher von der Integration von Hyperparameter Importance Methoden in den Optimierungsprozess profitieren, so dass wichtige Hyperparameter häufiger geändert werden. Wir empfehlen für diese Arbeit Vorkenntnisse in interpretierbarem maschinellem Lernen und AutoML.

Kontakt: Sarah Segel

Die meisten AutoML-Verfahren erlauben aktuell keine bis sehr wenig Interaktionsmöglichkeiten eines Nutzers. Die Konsequenz daraus ist, dass Nutzer oftmals erst am Ende eines AutoML-Runs feststellen, dass das Verfahren ein unzufriedenstellendes Ergebnis liefert, obwohl dies möglicherweise schon erheblich früher im Optimierungsprozes absehbar gewesen wäre. Entsprechend gering ist das Vertrauen in AutoML-Verfahren seitens vieler Endnutzer. Ziel dieser Abschlussarbeit ist es, die Interaktionsmöglichkeiten von AutoML-Verfahren auf verschiedene Weisen zu erhöhen.

Kontakt: Alexander Tornede

Sowohl im Bereich der natürlichen Sprachverarbeitung (NLP) als auch im Bereich des automatisierten maschinellen Lernens (AutoML) wurden in den letzten Jahren bemerkenswerte Ergebnisse erzielt. Im Bereich NLP haben vor allem Large Language Models (LLMs) in jüngster Zeit eine Reihe von Durchbrüchen erzielt. Wir stellen uns vor, dass die beiden Bereiche durch eine enge Integration die Grenzen des jeweils anderen radikal verschieben können. Die Idee dieser Arbeit ist es, eine oder mehrere Möglichkeiten zu untersuchen, wie LLMs in AutoML-Werkzeugen, insbesondere mit SMAC, integriert werden können.

Kontakt: Alexander Tornede

Wir können Augmentierungsfunktionen durch Meta-Lernen generieren, etwas für das policy objective in PPO. Es ist allerdings offen ob das allgemein für Algorithmenkomponenten in Reinforcement Learning gilt, ob wir auch Augmentierungsensembles lernen könnten und wie gut diese Funktionen generalisieren. Ziel dieser Arbeit ist existierende Techniken auf neue Algorithmen und Komponenten zu erweitern.

Kontakt: Theresa Eimer

Bayes'sche Optimierung (BO) umfasst eine Klasse von modell-gestützten, effizienten Algorithm für die Black-Box-Optimierung mit sehr kleinen Budgets an Funktionsevaluationen. Je nach zu optimierendem Problem wird eine andere Einstellung benötigt, was direkt die Robustheit und Effizienz beeinflusst.
Das Ziel dieser Arbeit ist, die Robustheit und Effizienz von BO zu erhöhen, indem entweder der Kompromiss zwischen Exploration und Exploitation (dynamisch) eingestellt oder meta-gelernt wird, oder indem unser Tool SMAC3 mit verschiedenen State-of-the-Art Methoden erweitert wird.

Kontakt: Carolin Benjamins

SMAC ist ein robustes und flexibles Framework für Bayes'sche Optimierung. Es unterstützt Nutzer dabei, gut geeignete Hyperparameterkonfigurationen für ihre Algorithmen, z.B. bei Maschinellem Lernen,  zu finden. Der Kern von SMAC besteht aus Bayes'scher Optimierung kombiniert mit einem "Agressive Racing" Mechanismus, der effizient entscheidet, welche Konfiguration besser geeignet ist.
Natürlich ist SMAC noch nicht vollendet und wir haben einige mögliche Abschlussarbeitthemen, z.B.:

• Implementierung und Evaluation von State-of-the-Art Modellen, die die zugrunde liegende Funktion approximieren
• Implementierung und Evaluation von Input- und Output-Warping-Techniken
• Implementierung und Evaluation von Multi-Objektive Qualitätsindikatoren

und viele mehr!

Kontakt: Carolin Benjamins

Hyperparameter-Optimierung (HPO) ist ein wichtiger Schritt in der Entwicklung von Modellen des maschinellem Lernens, kann aber rechenintensiv und zeitaufwendig sein. Parallele HPO-Methoden, wie etwa PASHA (Progressive Asynchronous Successive Halving Algorithm), versuchen, dieses Problem durch Parallelisierung des Suchprozesses anzugehen. Dieses Projekt beinhaltet die Implementierung und Bewertung von PASHA oder ähnlichen parallelen HPO-Ansätzen. Bei der Bewertung sollten Faktoren wie Recheneffizienz, Qualität der resultierenden Modelle und Skalierbarkeit berücksichtigt werden. Das Projekt könnte auch die Leistung des parallelen HPO-Ansatzes mit traditionellen sequenziellen HPO-Methoden vergleichen.

Kontakt: Helena Graf

Die wichtigsten Hyperparameter zu identifizieren gibt Aufschluss über das zugrundeliegende Modell und zeigt, auf welche Hyperparameter man sich beim Tuning vorrangig konzentrieren sollte. Es gibt viele Methoden zur Bestimmung der Wichtigkeit von Hyperparametern (Feature Importance, Ablation Analysis, Forward Selection, Local Parameter Importance, fANOVA), die einem Anwender von maschinellem Lernen möglicherweise nicht bekannt sind. In diesem Projekt soll ein detaillierter Überblick über alle Methoden gegeben werden. Darüber hinaus sollten die Anwendungsbereiche spezifischer Methoden sowie Vor- und Nachteile berücksichtigt werden.

Kontakt: Helena Graf

Suchräume sind das Rückgrat von HPO und AutoML Tools, denn sie liefern die Menge aller möglichen Kandidaten. Daher kann die beste Lösung nur so gut sein, wie es der Suchraum zulässt. Bislang wurde hauptsächlich das standard Deep Learning unter Verwendung von Multiplikationsoperationen erforscht, das in Bezug auf die Vorhersagequalität und die Laufzeit sehr gute Ergebnisse erzielt. Die Verwendung anderer Arten von neuronalen Netzen könnte die Energieeffizienz drastisch verbessern, was zu einer Verringerung der Umweltauswirkungen von HPO / AutoML führen würde. 

Kontakt: Tanja Tornede

Benchmarking ist eine gängige Bewertungsstrategie für HPO Methoden. In der Regel liegt der Fokus auf Performanz und der Laufzeit, wodurch die Sammlung von Informationen über die Umweltauswirkungen eines Benchmarks vernachlässigt werden. Das Ziel dieses Themas ist es, einen bestehenden Benchmark zu erweitern, um weitere Erkenntnisse über den Ressourcen- und Energieverbrauch von HPO zu gewinnen. 

Kontakt: Tanja Tornede

Die Entwicklung von ML-Modellen ist eine langwierige und zeitraubende Aufgabe. Grundsätzlich ist die Leistung eines jeden Modells unklar, bis es tatsächlich ausgewertet wird. Daher können viele Ressourcen verschwendet werden, wenn die Performanz des finalen Modells nicht den zuvor festgelegten Mindestanforderungen passt, z. B. wenn eine Genauigkeit von 90 % erforderlich ist, das beste Modell aber nur 70 % erreicht. In einem solchen Fall ist entweder das Modell nicht gut genug und man muss mehr Ressourcen in die Entwicklung eines besseren Modells investieren, oder die Qualität der Daten macht es unmöglich eine bessere Leistung zu erzielen. Um den letzteren Fall auszuschließen, wäre es hilfreich, wenn es theoretische Schranken für verschiedene Metriken gäbe, die im Voraus für einen bestimmten Datensatz überprüft werden könnten. Ziel dieser Arbeit ist es, bestehende Vorschläge für solche Schranken empirisch zu bewerten, um herauszufinden, ob sie unter verschiedenen Annahmen tatsächlich zutreffen. 

Kontakt: Tanja Tornede