Geng, A.A.GengMoghiseh, A.A.MoghisehRedenbach, C.C.RedenbachSchladitz, K.K.Schladitz2022-03-062022-03-062021https://publica.fraunhofer.de/handle/publica/26884410.1515/teme-2021-0023Training a deep learning network requires choosing its weights such that the output minimizes a given loss function. In practice, stochastic gradient descent is frequently used for solving the optimization problem. Several variants of this approach have been suggested in the literature. We study the impact of the choice of the optimization method on the outcome of the learning process at the example of two image processing applications from quite different fields. The first one is artistic style transfer, where the content of one image is combined with the style of another one. The second application is a real world classification task from industry, namely detecting defects in images of air filters. In both cases, clear differences between the results of the individual optimization methods are observed.Während des Trainings eines neuronalen Netzes werden die Gewichte des Netzes so bestimmt, dass die Ausgabe des Netzes die verwendete Verlustfunktion minimiert. Zur Lösung dieses Optimierungsproblems wird in der Praxis häufig das stochastische Gradientenabstiegsverfahren verwendet. In der Literatur finden sich diverse Varianten dieses Ansatzes. In der vorliegenden Arbeit untersuchen wir den Einfluss der Wahl der Optimierungsmethode auf das Training neuronaler Netze. Wir betrachten dazu zwei sehr unterschiedliche Anwendungen aus der Bildverarbeitung. Bei der ersten handelt es sich um die künstlerische Stilübertragung, beider der Inhalt eines Bildes im Stil eines zweiten Bildes dargestellt wird. Als zweite Anwendung betrachten wir ein Klassifikationsproblem aus der industriellen Anwendung, nämlich die Detektion von Defekten in Bildern von Luftfiltern. In beiden Anwendungsbeispielen beobachten wir klare Unterschiede zwischen neuronalen Netzen, die unter Verwendung verschiedener Optimierungsmethoden trainiert wurden.en003681006519journal article