Optimization of Deep Neural Networks

Dozenten:

M. Ziegler, C. Schinabeck, A. Mishra, M. Sabih, F. Hannig

Modulbeschreibung:

Seminar Optimization of Deep Neural Networks (OptDNN)

Inhalt:

Künstliche Intelligenz bereichert unseren Alltag auf vielfältige Weise. Sobald ein Data Scientist ein Modell vollständig trainiert hat, kann es in eine Anwendung integriert werden. Innerhalb einer solchen Anwendung werden die Eingabedaten in das neuronale Netz eingespeist und liefern am Ende der Verarbeitungskette ihre Ausgabe. Dieser Inferenzschritt kann entweder in der Cloud oder auf dem lokalen Endgerät (Edge Device) ausgeführt werden.

Insbesondere wenn das Modell häufig auf einem Edge Device ausgeführt werden soll, muss es zuvor optimiert werden. Solche Optimierungen können strukturiertes oder unstrukturiertes Pruning, Quantisierung und Komprimierung, Subspace Methods oder Compiler für neuronale Netze umfassen. Eine Änderung der Struktur oder des Zahlendarstellung (z. B. float oder integer) des Netzwerks wirkt sich in der Regel sowohl auf die Geschwindigkeit als auch auf die Genauigkeit aus.

Basierend auf ausgewählten Anwendungen aus den Bereichen Audioverarbeitung (z. B. Sprecherlokalisierung) und Computer Vision (z. B. Tiefenextraktion) optimiert jede Seminargruppe eine der ausgewählten Anwendungen mit Hilfe von obengenannten Methoden und Werkzeugen (z. B. Neuronal Network Distiller), bewertet den Leistungsgewinn und stellt die jeweiligen Methoden und Ergebnisse allen Teilnehmerinnen und Teilnehmern vor.

Weitere Informationen und Anmeldung:

per Email an Matthias Ziegler

Vorbesprechungstermin: