Transparency Segmentation by Region Similarity on Stereo Images

The detection of opaque objects is a very common problem in computer vision. But since transparent objects are also present in certain scenes it is of particular relevance to recognize and segment these transparent objects. Especially in 3D perception, stereo matching is commonly used to perceive our surroundings in which transparent objects are often a main cause of inaccuracy. This work examines the existing approaches in a stereo image case and deals with the question of whether and how the task can be done without the application of machine learning algorithms. Color similarity, texture distortion, overlay consistency, blur, and reflections are similarity metrics that are used to detect transparent regions in single images. By extending the single view case to a stereo view case the ability is gained to further apply stereo matching to the two images which is used to improve the prediction quality of transparent regions.

Die Erkennung von undurchsichtigen Objekten ist ein sehr häufiges Problem im Bereich des maschinellen Sehens. Da aber auch transparente Objekte ein Teilbestand in bestimmten Szenen sind, ist es von besonderer Bedeutung, diese transparenten Objekte zu erkennen und zu segmentieren. Besonders in der 3D-Wahrnehmung wird Stereo-Matching häufig eingesetzt, um unsere Umgebung wahrzunehmen, wobei transparente Objekte oft eine Hauptursache für Ungenauigkeiten sind. Diese Arbeit untersucht die existierenden Ansätze im Fall eines Stereobildes und beschäftigt sich mit der Frage, ob und wie die
Aufgabe ohne die Anwendung von maschinellen Lernalgorithmen gelöst werden kann. Farbähnlichkeit, Texturverzerrung, Überlagerungskonsistenz, Unschärfe und Reflexionen sind Ähnlichkeitsmetriken, die zur Erkennung transparenter Regionen in Einzelbildern verwendet werden. Durch die Ausweitung der Einzelansicht auf eine Stereobetrachtung wird die Fähigkeit erlangt, Stereo-Matching auf die beiden Bilder anzuwenden, was zur Verbesserung der Vorhersagequalität transparenter Regionen verwendet wird.