Neural Architecture Search Space Design: From Coarse to Fine-Grained

Neural Architecture Search ist eine Technik, die die optimale Architektur für eine gegebene Aufgabe sucht. Allerdings arbeiten Algorithmen zur Neural Architecture Search innerhalb eines vordefinierten Suchraums, der von menschlichen Experten entworfen wurde. In den meisten Fällen sind in diesem Suchraum ausschließlich Operationen eines einzigen Architekturtyps enthalten. In einem homogenen Suchraum kann der Optimierer Modelle finden, die mit handgefertigten Architekturen vergleichbar sind. Gleichzeitig schränkt er jedoch die Vielfalt der Architekturen im Suchraum ein. Deshalb kann der Optimierer keine neueren Architekturen entdecken, die besser als handgefertigte Architekturen sind. Unterschiedliche Architekturen sind mit verschiedenen induktiven Biases entworfen: Ein Convolutional Neural Network zielt darauf ab, lokale Abhängigkeiten zu entdecken; ein Recurrent Neural Network berücksichtigt die Abhängigkeiten jedes Tokens von seinen vorhergehenden Tokens; und Transformer ohne Positionskodierung behandeln jedes Token unabhängig von seiner Position in der Sequenz gleich. Man kann daher nicht garantieren, dass die optimale Architektur für eine gegebene Aufgabe gefunden wird, wenn man einen einzelnen Architekturtyp auf alle Aufgaben anwendet. Wir zeigen in dieser Dissertation, wie man die Einschränkungen auf verschiedenen hierarchischen Ebenen des Architektursuchraums schrittweise lockert. Ausgehend von der Zeitreihenprognose führen wir in Kapitel 3 zunächst AutoPyTorch-TS ein. Im Gegensatz zu anderen AutoML-Systemen, die für jedes Modell individuell einen Suchraum aufbauen, stellt AutoPyTorch-TS einen einheitlichen, hierarchischen Suchraum auf Makroebene bereit, in dem Hyperparameter über verschiedene Modellfamilien hinweg geteilt werden können. Dies ermöglicht einen flexiblen Suchraum, der die Anzahl der Hyperparameter erheblich reduzieren kann. AutoPyTorch-TS macht es einfacher, neue Architekturkomponenten im Suchraum hinzuzufügen. Allerdings ist es nicht in der Lage, neuartige Architekturen zu entdecken. Wir führen daher in Kapitel 4 DARTS-TS ein. DARTS-TS lockert die Einschränkungen zwischen Operationen, indem einige Verbindungsmodelle hinzugefügt werden, um die Ein- und Ausgabeanforderungen der Architekturen im Suchraum zu erfüllen. Diese Einführung der Mikroebene des Suchraums erlaubt die Kombination beliebiger Architekturkomponenten. Deshalb erhöht sich die Anzahl der Architekturtypen im Suchraum. DARTS-TS verwendet dieselbe Operation für alle Token in der Sequenz. Allerdings tragen nicht alle Token in gleichem Maße zu einer Sequenz bei. Ein Netzwerk sollte diese Information erlernen, um die wichtigen Token zu identifizieren und die anderen zu verwerfen. In Kapitel 5 stellen wir Neural Attention Search (NAtS) vor. Auf Grundlage einer Transformer-Architektur sucht NAtS nach den optimalen Tokentypen für jedes einzelne Token. Diese Tokentypen bestimmen, wie lange jedes Token in den nachfolgenden Zeitschritten überleben kann. Dieser Ansatz kann daher auch als Suche nach unterschiedlichen Architekturoperationen für jedes Token betrachtet werden, wobei jede Operation unterschiedliche rezeptive Felder besitzt. Damit erreichen wir einen Suchraum mit der feinsten Granularität, der tokenweisen Granularität, in dem jedes Token eine Rolle erhält, die optimal in die Sequenz passt. Insgesamt bietet diese Dissertation eine neue Perspektive auf die Gestaltungsprinzipien von Suchräumen für die neuronale Architektursuche. Wir hoffen, dass dies der NAS-Forschung auch im Zeitalter großer Sprachmodelle zukünftige Beiträge ermöglicht.