Beyond end-to-end - Exploring Extremes in Medical Continual Learning

Deep Learning has transformed medical image analysis, yet traditional end-to-end approaches face significant limitations in real-world clinical deployments. This dissertation proposes advances in medical Continual Learning (CL) beyond conventional paradigms by exploring the extremes from lightweight architectures to powerful Foundation Models (FMs), while addressing the fundamental challenge of catastrophic forgetting in neural networks. While our Lifelong nnU-Net serves as a traditional baseline CL framework, extending con- ventional architectures with efficient mechanisms for continual adaptation and achieving a 30% improvement in cross-domain generalization while maintaining original task performance within 2% of baseline metrics, our work explores more innovative solutions beyond these conventional approaches. Exploring alternative paradigms, we present Atlas Replay, which bridges classical medical image segmentation with modern non-traditional CL approaches through innovative atlas-based segmentation. This work further evolved into NCA-Morph, a registration framework, achieving an 99.7% reduction in parameters while maintaining performance competitive with state-of-the-art registration methods. Pushing the boundaries of computational efficiency, NCAdapt introduces a lightweight, domain-growing architecture that delivers superior CL performance with less than 1% additional memory overhead per new domain. We developed the UnCLe SAM, adapting the SAM architecture to medical imaging. This approach demonstrates outstanding generalisation capabilities, attaining average Dice scores above 85% across unexplored anatomical regions, which advances the promise of FM in medical image segmentation. Our methods consistently excel in challenging scenarios such as cross-modality adaptation and zero-shot generalization, while significantly reducing computational requirements for practical deployment. Beyond technical innovations, we address crucial regulatory considerations for deploying adaptive Artificial Intelligence (AI) systems in clinical environments. Through an in-depth analysis of the Food and Drug Administration (FDA)’s Pre-determined Change Control Plans for Medical Devices (PCCP), we examine the implications for CL systems in healthcare and provide practical approaches for certifying continuously evolving systems while maintaining safety standards. By exploring these extremes in medical CL this research establishes new frameworks for implementing adaptive AI systems in regulated medical environments. These contributions provide comprehensive insights for future development while addressing technical, practical and regulatory challenges in advancing beyond traditional end-to-end approaches.

Deep Learning hat die medizinische Bildanalyse grundlegend verändert, jedoch stoßen traditionelle end-to-end-Ansätze in der klinischen Praxis auf erhebliche Einschränkungen. Diese Dissertation stellt Fortschritte im Bereich des Continual Learning (CL) vor, die über konventionelle Paradigmen hinausgehen, indem sie die Extreme von sehr kleinen Architekturen bis hin zu leistungsstarken Foundation Models (FMs) untersucht und dabei die grundlegende Herausforderung des katastrophalen Vergessens in neuronalen Netzen adressiert. Unser Lifelong nnU-Net dient als state-of-the-art CL-Framework und erreicht durch effiziente Anpassungsmechanismen eine 30%-ige Verbesserung der domänenübergreifenden Generalisierung, während die ursprüngliche Leistung innerhalb von 2% der Baseline-Metriken erhalten bleibt. Aufbauend auf diesen Ergebnissen erforscht unsere Arbeit innovativere Lösungen jenseits dieser konventionellen Ansätze. Bei der Erforschung alternativer Paradigmen präsentieren wir Atlas Replay, das die klassische medizinische Bildsegmentierung durch innovative atlasbasierte Segmentierung mit modernen, nicht-traditionellen Ansätzen des CL verbindet. Diese Arbeit entwickelte sich weiter zu NCA-Morph, einer Registrierungsmethode, das eine Parameterreduktion um 99,7% erreicht, während die Leistung mit modernsten Registrierungsmethoden vergleichbar bleibt. Noch effizienter geht NCAdapt vor, indem es eine minimale effiziente domänenwachsende Architektur einführt, die mit weniger als 1% zusätzlichem Speicheraufwand pro neuer Domäne überlegene CL Leistungen liefert. Wir entwickelten UnCLe SAM, welches die SAM Architektur für die medizinische Bildgebung adaptiert. Dieser Ansatz zeigt herausragende Generalisierungsfähigkeiten mit durchschnittlichem Dice Score über 85% in unerforschten anatomischen Regionen und unterstreicht das Potenzial von FMs in der medizinischen Bildsegmentierung. Unsere Methoden überzeugen durchgehend in anspruchsvollen Szenarien wie modalitätsübergreifender Anpassung und Zero-Shot-Generalisierung, während sie gleichzeitig die Rechenanforderungen für den praktischen Einsatz deutlich reduzieren. Über technische Innovationen hinaus befassen wir uns mit entscheidenden regulatorischen Überlegungen für den Einsatz adaptiver Künstliche Intelligenz (KI)-Systeme im klinischen Umfeld. Durch eine eingehende Analyse des Food and Drug Administration (FDA) Pre-determined Change Control Plans for Medical Devices (PCCP) untersuchen wir die Auswirkungen auf CL Systeme im Gesundheitswesen und bieten praktische Ansätze für die Zertifizierung sich kontinuierlich weiterentwickelnder Systeme unter Beibehaltung der Sicherheitsstandards. Durch die Erforschung dieser Extreme im medizinischen CL etabliert diese Forschung neue Rahmenbedingungen für die Implementierung adaptiver KI-Systeme in regulierten medizinischen Umgebungen. Diese Beiträge liefern umfassende Erkenntnisse für die zukünftige Entwicklung und adressieren dabei technische, praktische und regulatorische Herausforderungen beim Fortschritt über traditionelle end-to-end Ansätze hinaus.