Gestenbasierte Interaktion zwischen Mensch und Maschine zur Segmentierung endoskopischer Bilder

Einleitung: In den vergangenen Jahren haben sich viele Methoden der Bildverarbeitung in der medizinischen Routine etabliert, z.B. für die Computer-Assistierte Diagnose, der 3D-Visualisierung, oder der Planung chirurgischer Eingriffe. Da viele dieser Einsatzgebiete überwiegend präoperativ stattfinden, stellt die Interaktion mit dem Computer kein Problem dar, um bspw. die Parameter der Bildverarbeitung und -darstellung zu verändern, oder um Bildregionen interaktiv zu segmentieren. Für solche Mensch-Maschine-Interaktionen werden i.d.R. Eingabegeräte wie Maus, Joystick, Tastatur, oder Touch-Screens verwendet. In sterilen Umgebungen sind direkte, berührungsabhängige Interaktionen zwischen Benutzer und Bildverarbeitungssystem kaum möglich. Zur Unterstützung eines Chirurgen im OP wurde ein System zur optischen Gestenerkennung und -analyse für die interaktive Segmentierung von Bildern prototypisch realisiert und evaluiert. Methoden: Das implementierte und evaluierte Verfahren einer gesten-gesteuerten Segmentierung für die Endoskopie basiert auf einer Echtzeit-Video-Analyse eines Datenstroms, der mit einer konventionellen Kamera aufgenommen wird, die sich oberhalb des Kontrollmonitors befindet und das Arbeitsvolumen (ca. 1m3) des Chirurgen erfasst. Jedes Einzelbild wird mit dem sog. SHORETM Framework ("sophisticated highspeed object recognition engine") analysiert, das in einer Trainingsphase auf die automatische Erkennung von Gesichtern und 3 verschiedener Handgesten trainiert wurde. Die Gesten entsprechen der offene Handfläche zur allgemeinen Bewegung des Mauszeigers auf dem Bildschirm, der Faust zur interaktiven Segmentierung einer Region in einem Bild, sowie der 2-Finger"L"-Geste, um am Bildschirm angezeigte Knöpfe zu aktivieren. Experimente & Ergebnisse: Eine Evaluation des implementierten Verfahrens wurde auf einem Endoskopiebild und synthetischen Bildern mit klaren Grenzen und bekannter Grundwahrheit durchgeführt. Es nahmen 35 Benutzer teil, die zuvor an dem System üben konnten. Neben der Messung der Interaktionsdauer wurde die Genauigkeit der Segmentierung mittels Abstandsmaße (Dice, Jaccard, PDE) ermittelt, die Werte zwischen 0 und 1 (Dice, Jaccard, höhere Werte entsprechen besseren Ergebnissen) bzw. 0 und oo (PDE, niedrige Werte entsprechen besseren Ergebnisse) liefern. Die Ergebnisse (Mittelwerte & Varianzen) über alle Testbilder und Teilnehmer ergaben 0,83±0,14 (Dice), 0,73±0,14 (Jaccard), und 0,10±0,37 (PDE). Die erzielten Ergebnisse lassen den Schluss zu, dass eine gesten-basierte Interaktion mit einem Computer sowie eine interaktive Segmentierung endoskopischer Bilder unter Nutzung einer optischen Kamera möglich ist. Entsprechend könnte ein solches System konzeptionell die klinischen Workflows in sterilen Umgebungen unterstützen.