Enhancing U-Net Performance by Integrating Prior Knowledge into the Learning Process Using the Alternating Direction Method of Multipliers

This thesis presents a novel method for training neural networks by integrating efficient Stochastic Gradient Descent (SGD) with traditional optimization solvers using the Alternating Direction Method of Multipliers (ADMM). ADMM decomposes optimization problems into smaller, manageable subproblems, facilitating the combined use of SGD and traditional methods. The approach is evaluated in a medical image segmentation task, specifically for segmenting the foveal avascular zone (FAZ) and blood vessels in OCTA images. A U-Net is trained within the ADMM framework, leveraging traditional models such as Chan-Vese and Conditional Random Fields. Additionally, geometric priors such as size, shape, and adjacency constraints are encoded into differentiable loss functions and integrated into the network training. The mathematical formulation and convergence analysis of the inexact, non-convex, stochastic ADMM setting are provided. Evaluation results demonstrate the method’s robustness in learning from small datasets and partially labeled masks, significantly reducing the required labeling effort.

In dieser Arbeit wird eine neuartige Methode für das Training neuronaler Netze vorgestellt, bei der ein effizienter stochastischer Gradientenabstieg (SGD) mit traditionellen Optimierungsverfahren unter Verwendung der Alternating Direction Method of Multipliers (ADMM) kombiniert wird. ADMM zerlegt Optimierungsprobleme in kleinere, handhabbare Teilprobleme, was den kombinierten Einsatz von SGD und traditionellen Methoden erleichtert. Der Ansatz wird in einer medizinischen Bildsegmentierungsaufgabe evaluiert, speziell für die Segmentierung der fovealen avaskulären Zone (FAZ) und der Blutgefäße in OCTA-Bildern. Ein U-Netz wird im Rahmen von ADMM trainiert, wobei traditionelle Modelle wie Chan-Vese und Conditional Random Fields genutzt werden. Zusätzlich werden geometrische Priors wie Größe, Form und Adjazenzbeschränkungen in differenzierbaren Verlustfunktionen kodiert und in das Netztraining integriert. Die mathematische Formulierung und Konvergenzanalyse der genutzten nicht-konvexen, stochastischen ADMM-Variante werden bereitgestellt. Evaluierungsergebnisse zeigen die Robustheit der Methode beim Lernen aus kleinen Datensätzen und teilweise gelabelte Masken, wodurch
der erforderliche Aufwand für das Erstellen der Masken erheblich reduziert wird.