Detection of Spatio-temporal Patterns in Medical Image Stacks

In this work, the possibilities of exploiting the medical imaging modality of near-infrared fluorescence optical imaging (NIR-FOI) for the detection of psoriatic arthritis (PsA) are investigated. PsA is an autoinflammatory, chronic disease of the musculoskeletal system, which affects millions of people worldwide. This disease has a wide variety of manifestations such as arthritis with pain, joint stiffness, enthesitis, and more. Therefore, it can reduce the quality of life drastically if left untreated. Even though treatment exists to slow down disease progression, many questions are still unanswered ranging from exact causes over exact definitions to specific disease mechanisms. Thus, researchers across fields are still in the process of defining clear criteria for the definition of this disease as well as developing new detection methods. The unique structure of the measured data requires approaches tailored specifically, not only to the use-case but also to the properties of the data itself. From each measurement, a spatio-temporal image stack with only partially visible objects is received. The general idea is to classify spatio-temporal patterns of the distribution process of an injected color agent. To classify the spatio-temporal patterns a neural network for the classification of individual joints is developed. Nonetheless, additional pre-processing steps are required to ensure the correctness of the measured data. This contains segmentation and artifact detection, which includes three different detection steps: The checking of basic requirements, motion detection, and ambient light detection. Similar to the classification model, the existing approaches do not solve the given task. Besides the approach of classifying the spatio-temporal data a research study was performed to investigate non-pathological factors impacting the acquired images. Finally, two additional applications of NIR-FOI are discussed in the surrounding of developing an entire therapy concept around this imaging modality. One application focuses on therapy monitoring by investigating longitudinal data and in the second application NIR-FOI is merged with a volumetric imaging modality (MRI). For the segmentation and artifact detection, satisfying results are achieved, while the classification still leaves room for improvement. Furthermore, the investigation of non-pathological factors reveals some parameters with an impact on the imaging data but the main driver for the data heterogeneity of different patients cannot be identified. The therapy monitoring approach does not allow a final conclusion if NIR-FOI is suitable for that task but it can be shown that even in the longitudinal data a normalization step needs to be included since the data across multiple visits is not directly comparable. Furthermore, the necessary steps for such a monitoring system are introduced. Finally, a well-working registration for combining NIR-FOI and MRI is presented. Although the different steps in this thesis achieve very different results, the groundwork for developing a comprehensive well-working analysis approach for the detection of PsA in NIR-FOI data is presented in this thesis.

In dieser Arbeit wird die Nutzung der medizinischen Bildgebungsmodalität der Nah-Infrarot Fluoreszenzoptischen-Bildgebung (NIR-FOI) zur Erkennung der Psoriasisarthritis (PsA) untersucht. PsA ist eine autoinflammatorische, chronische Erkrankung des Bewegungsapparates, die Millionen von Menschen weltweit betrifft. Diese Krankheit weist eine Vielzahl von Manifestationen auf, wie Arthritis mit Schmerzen, Gelenksteifigkeit, Enthesitis und weitere. Daher kann, vor allem eine unbehandelte PsA, drastische Auswirkungen auf die Lebensqualität haben. Obwohl es bereits Therapien gibt, welche den Krankheitsverlauf verlangsamen, sind weiterhin viele Fragen von den genauen Ursachen über exakte Definitionen bis hin zu spezifischen Krankheitsmechanismen ungeklärt. Daher sind Forscher verschiedener Fachrichtungen weiterhin damit beschäftigt, klare Kriterien für die Definition dieser Krankheit und auch neue Nachweismethoden zu entwickeln. Die besondere Struktur der gemessenen Daten erfordert Ansätze, die speziell sowohl auf den Anwendungsfall sowie auf die Eigenschaften der Daten selbst zugeschnitten sind. Dabei entspricht jede Messung einem Bildstapel mit zwei räumlichen und einer zeitlichen Dimension, wobei die Objekte nur teilweise sichtbar sind. Die grundlegende Idee für die Klassifikation beruht dabei auf der Identifikation von raum-zeitlichen Mustern des Verteilungsprozesses eines injizierten Farbstoffs. Für die Klassifizierung raum-zeitlicher Muster auf Gelenkebene wird ein neuronales Netzwerk entwickelt. Allerdings sind zusätzliche Vorverarbeitungsschritte erforderlich, um die Gelenke zu identifizieren und die Richtigkeit der gemessenen Daten zu gewährleisten. Dies umfasst die Segmentierung und Artefakterkennung, welche wiederum drei Schritte beinhaltet: Die Überprüfung grundlegender Anforderungen, die Bewegungserkennung und die Umgebungslichterkennung. Ähnlich wie bei dem Klassifizierungsmodell lösen bereits bestehende Ansätze diese Aufgaben nicht. Neben dem Ansatz der Klassifizierung dieser raum-zeitlichen Daten wurde eine Forschungsstudie durchgeführt, um nicht-pathologische Faktoren mit Auswirkungen auf die gemessenen Bilder zu untersuchen. Schließlich werden zwei zusätzliche Anwendungen der NIR-FOI im Rahmen der Entwicklung eines gesamten Therapiekonzepts rund um diese Bildgebungsmodalität diskutiert. Eine Anwendung konzentriert sich auf das Therapiemonitoring durch die Untersuchung von Verlaufsdaten, und in der zweiten Anwendung wird NIR-FOI mit einer volumetrischen Bildgebungsmodalität (MRT) kombiniert. Für die Segmentierung und Artefakterkennung werden zufriedenstellende Ergebnisse erzielt, während die Klassifizierung Verbesserungspotential aufweist. Darüber hinaus zeigt die Untersuchung nicht-pathologischer Faktoren einige Parameter mit Einfluss auf die Bildgebungsdaten, wobei der Haupttreiber für die Datenheterogenität verschiedener Patienten nicht identifiziert werden kenn. Der Ansatz des Therapiemonitorings erlaubt keine endgültige Schlussfolgerung, ob NIR-FOI für diese Aufgabe geeignet ist, allerdings kann gezeigt werden, dass selbst in den Verlaufsdaten ein Normalisierungsschritt erforderlich ist, da die Daten über mehrere Visiten hinweg nicht direkt vergleichbar sind. Darüber hinaus werden die notwendigen Schritte für ein solches Monitoringsystem vorgestellt. Schließlich wird eine gut funktionierende Registrierung zur Kombination von NIR-FOI und MRT vorgestellt. Obwohl die verschiedenen Schritte in dieser Arbeit sehr unterschiedlich gute Ergebnisse erzielen, werden die Grundlagen für die Entwicklung eines umfassenden, gut funktionierenden Analyseansatzes zur Erkennung von PsA in NIR-FOI Daten vorgestellt.