Unobtrusive Medical Infant Motion Analysis from RGB-D Data

Cerebral palsy (CP) is the most common motor disorder in children, and is caused by injuries of the brain shortly before, during, or after birth. With traditional methods, a reliable diagnosis of CP can generally not be made until after the first year of life or even later. Based on the discovery that the condition of the nervous system of young infants is reflected in the quality of their spontaneous movements, the general movement assessment (GMA) was developed. GMA lets trained experts detect CP in infants as young as four months. However, regular practice and re-calibration are required, and GMA suffers from human variability. CP manifests itself in a variety of symptoms, which complicates finding the right parameters for predicting the risk of CP. A cheap, automated system would allow the widespread screening of infants in order to concentrate early intervention efforts on affected children. We divide the system into the motion capture stage and the motion analysis stage. Although the extraction of motion, respectively body pose, from images and videos is a very active area of computer vision research, most of the proposed approaches focus on adults and can not be directly transferred to infants. In this thesis, we present multiple contributions towards an unobtrusive system for medical motion analysis of infants. First, we propose an approach for estimating 3D pose from depth images, speeding up the training procedure by nearly two orders of magnitude compared to previous approaches. Second, we develop a model-based approach for markerless full-body tracking. We learn the Skinned Multi-Infant Linear model (SMIL) from low-quality RGB-D data and accurately register it to sequences of moving infants, capturing shape and pose while handling self-occlusions and fast movements. We show that our method captures enough motion detail for GMA. Third, we develop an approach towards predicting the GMA class from motion sequences, which is based on features of motion complexity and variation to capture characteristics of general movements. Our methods enable accurate tracking of infant shape and pose, and enable applications like monitoring of therapy/disease progression, tracking growth or motor development, and detection of malnutrition. By publicly releasing the learned model and a synthetic, but realistic data set of moving infants, we hope to foster research focused on infants.

Die Zerebralparese (CP) ist die häufigste frühkindliche Bewegungsstörung und wird durch Schädigungen des Gehirns vor, während, oder kurz nach der Geburt verursacht. Eine zuverlässige Diagnose kann mit traditionellen Untersuchungen meist erst gestellt werden nachdem das Kind ein Jahr oder älter ist. Ausgelöst durch die Entdeckung, dass sich der Zustand des infantilen Nervensystems in der Qualität der Spontanbewegungen widerspiegelt, wurde das General Movement Assessment (GMA) entwickelt. GMA erlaubt es geübten Experten Zerebralparesen schon bei Säuglingen unter dem Alter von vier Monaten zu erkennen. Die adequate Durchführung von GMA erfordert jedoch kontinuierliches Training sowie regelmäßige Re-Kalibrierung. Durch die menschliche Komponente wird GMA zwangsläufig von der subjektiven Wahrnehmung beeinflusst. CP äußert sich in einer Vielzahl von Symptomen, was das Finden von guten Klassifikationsparametern erschwert. Ein kostengünstiges automatisiertes System würde flächendeckende Screenings von Säuglingen ermöglichen, um möglichst früh Therapieinterventionen auf betroffene Kinder zu fokussieren. Solch ein System kann in die beiden Bestandteile Bewegungserfassung, sowie Analyse, bzw. Klassifikation unterteilt werden. Obwohl die Erfassung von Bewegungen, bzw. Körperposen aus Bildern und Videos ein sehr aktives Forschungsfeld im Bereich Computer Vision ist, sind die meisten Methoden auf Erwachsene ausgerichtet und können nicht direkt auf Säuglinge übertragen werden. In dieser Dissertation präsentieren wir mehrere Beiträge zu einem automatischen System für die medizinische Bewegungsanalyse von Säuglingen. Erstens entwickeln wir einen Ansatz für die 3D-Posenschätzung aus Tiefenbildern, bei dem wir den Trainingsprozess im Vergleich mit vorherigen Methoden um fast zwei Größenordnungen beschleunigen können. Zweitens führen wir einen modellbasierten Ansatz für das markerlose Ganzkörper-Tracking ein. Wir lernen das Skinned Multi-Infant Linear model aus niedrigqualitativen RGB-D Daten und entwickeln eine Methode zur exakten Registrierung von Modell mit Sequenzen von sich bewegenden Säuglingen. Mit diesem Ansatz können wir Form und Pose erfassen und dabei Selbstverdeckungen und schnelle Bewegungen bewältigen. Wir zeigen, dass wird damit genug Bewegunsdetails für GMA erfassen. Drittens entwickeln wir eine Methode um die GMA-Klasse anhand von den erfassten Bewegungssequenzen vorherzusagen. Dabei repräsentieren Merkmale der Bewegungskomplexität und- variation die Charakteristiken der General Movements. Unsere Methodik bietet exaktes Tracking der Form und der Pose von Säuglingen, was weitere Anwendungen wie z.B. die Überwachung von Therapie- oder Krankheitsfortschritten, die Verfolgung der Größen- oder Motorikentwicklung, oder auch die Erkennung von Mangelernährung ermöglicht. Durch die öffentliche Freigabe des gelernten Modells, sowie eines synthetischen aber realistischen Datensatzes der Sequenzen sich bewegender Säuglinge enthält, hoffen wir den Fortschritt in diesem Forschungsbereich zu fördern.