Segmenting Transparent Structures in Real Life

Transparente Objekte sind allgegenwärtig in der modernen Umgebung. Obwohl sie für den menschlichen Betrachter ohne große Mühe erkennbar sind, haben Computer Vision Ansätze aufgrund der verhältnismäßig starken visuellen Variation von durchsichtigen Objekten Schwierigkeiten, diese zuverlässig zu erkennen. Im Gegensatz zu undurchsichtigen Objekten, dessen Aussehen hauptsächlich von den verwendeten Materialien abhängig ist, wird das Aussehen von transparenten Objekten viel mehr durch ihre Umgebung, die vorhandenen Lichtverhältnisse, und eventuelle Texturen wie Schlieren oder Dunst auf der Oberfläche bestimmt. Zwar wurden in den letzten Jahren viele, auf maschinellem Lernen basierende Ansätze, zur Segmentierung von transparenten Objekten vorgestellt, jedoch bilden die Datensätze, welche zum Trainieren dieser Modelle verwendet werden, die visuelle Vielfalt von transparenten Objekten sowohl bezüglich der abgebildeten Szenen als auch der für die Annotation verwendeten Kategorien nur ungenügend ab. Dementsprechend ist das Verhalten eines solchen Modells bei der Konfrontation mit diesen unterschiedlichen Erscheinungsbildern von transparenten Objekten noch unklar. Um das Verhalten eines Modells zur Segmentierung von transparenten Objekten bezüglich deren visueller Vielfalt weiter zu untersuchen, wurde im Rahmen dieser Arbeit der visuelle Einfluss von Texturen wie Dunst oder Schlieren auf der Oberfläche untersucht. Für dieses Experiment wurde ein Datensatz erstellt, welcher transparente Objekte mit variierender Intensität von simuliertem Dunst beinhaltet, welche auf Pixelebene mit mit Ground Truth Informationen annotiert sind. Weiterhin wurde ein Modell zur Segmentierung von Transparenz mithilfe dieses Datensatzes trainiert und evaluiert, um die Ergebnisse der Segmentierung für die verschiedenen Intensitäten des simulierten Dunstes auszuwerten. Die Mittelwertbildung für die Ergebnisse aller getesteten Szenen zeigt, dass durch das Aufbringen des simulierten Dunstes die Qualität der Segmentierung bezüglich der im Datensatz abgebildeten Objekte verbessert werden konnte.