A virtual object point model for the calibration of underwater stereo cameras to recover accurate 3D information

Computer vision aims at processing information that is recorded with the aid of imaging devices. Compared to conventional computer vision in air, underwater computer vision is at an early stage of development. Water is a challenging environment, which, apart from the attenuation of light by absorption and scattering, is characterized in particular by the refraction of light at media transitions. Refractive effects are a problem for the recovery of metric 3D structure from underwater image data. The focus of this thesis is on recovering accurate 3D information from underwater images. In this thesis, the concepts of stereo 3D reconstruction in air will be extended for underwater environments by an explicit consideration of refractive effects. These concepts comprise projections for coordinate transformations between 3D and 2D spaces, calibration of the imaging device and the actual recovery of 3D coordinates. A novel model, named Virtual Object Point model, was developed to realize the necessary extensions. It is the cornerstone of this thesis, is characterized by its integrability into the geometric sub-process of underwater image formation and enables novel developments based on this. Within underwater stereo 3D reconstruction, the focus of this thesis is on the refractive calibration of a special class of underwater imaging systems. These systems, named Shared Flat Refractive System (SFRS), consist of a stereo camera and a viewing window, which is a single flat, transparent, refractive interface. The geometric sub-process of underwater image formation is modeled by the parameters of the SFRS with an explicit consideration of refractive effects. The performed investigations have shown that the particularities of the SFRS are beneficial for refractive calibrations and worth to adjust the basic design of the imaging system accordingly. A major contribution of this thesis is the development of various approaches for the calibration of the parameters of a SFRS. These approaches are characterized by the fact that part of the refractive parameters are determined by linear optimization. Furthermore, another crucial goal of this thesis, to relax or even eliminate restrictions due to the cumbersome and time-consuming procedure of handling special calibration objects under water, was achieved. Thus, the developed approaches for the refractive calibration of a SFRS show different degrees of dependence on calibration objects culminating in a full independence from those.

Maschinelles Sehen zielt auf die Informationsverarbeitung von Daten ab, die von bildgebenden Systemen aufgezeichnet werden. Im Vergleich zum konventionellen Maschinellen Sehen in Luft befindet sich das Maschinelle Sehen im Unterwasser-Bereich noch in einem frühen Entwicklungsstadium. Das Wasser stellt eine herausfordernde Umgebung dar, die sich neben der Dämpfung des Lichts durch Absorption und Streuung insbesondere durch die Lichtbrechung an Medienübergängen auszeichnet. Brechungseffekte stellen für die Gewinnung bemaßter 3D-Strukturen aus Unterwasser-Bilddaten ein Problem dar. Der Fokus dieser Dissertation liegt auf der Rückgewinnung von präzisen 3D-Informationen aus Unterwasser-Aufnahmen. In dieser Dissertation werden die verschiedenen Grundkonzepte der Stereo-3D-Rekonstruktion für Luft durch eine explizite Berücksichtigung von Brechungseffekten für den Unterwasser-Bereich erweitert. Insbesondere sind dies Projektionen für die Koordinaten- Transformation zwischen 3D- und 2D-Räumen, die Kalibrierung des bildgebenden Systems und die Rückgewinnung von 3D-Koordinaten. Es wurde ein neuartiges Modell, hier ""Virtual Object Point""-Modell genannt, entwickelt, um die notwendigen Erweiterungen zu realisieren. Es bildet das Fundament dieser Dissertation, zeichnet sich durch seine Integrierbarkeit in den geometrischen Teilprozess der Unterwasser-Bildentstehung aus und ermöglicht neuartige Entwicklungen auf dieser Basis. Im Rahmen der Unterwasser-Stereo-3D-Rekonstruktion liegt der Fokus dieser Dissertation auf der Kalibrierung einer speziellen Klasse von bildgebenden Systemen unter Berücksichtigung von Lichtbrechung. Diese Systeme, hier ""Shared Flat Refractive System""( SFRS) genannt, bestehen aus einer Stereo-Kamera und einem Sichtfenster, welches einer einzelnen flachen, transparenten, lichtbrechenden Scheibe entspricht. Die Parameter des SFRS modellieren den geometrischen Teilprozess der Unterwasser-Bildentstehung unter expliziter Berücksichtigung von Brechungseffekten. Die Untersuchungen haben gezeigt, dass die Eigenschaften des SFRS-Modells für die Kalibrierung vorteilhaft sind und es sich rentiert, das grundsätzliche Design eines bildgebenden Systems dementsprechend anzupassen. Ein weiteres Ergebnis dieser Dissertation ist die Entwicklung von verschiedenen Verfahren für die Kalibrierung der Parameter eines SFRS. Diese zeichnen sich dadurch aus, dass ein Teil der Parameter durch lineare Optimierung bestimmt werden können. Darüber hinaus konnte ein weiteres wesentliches Ziel, Einschränkungen durch die umständliche und zeitaufwendige Prozedur der Handhabung spezieller Kalibrier- Objekt unter Wasser zu minimieren oder aufzuheben, erreicht werden. Die entwickelten Verfahren für die Kalibrierung eines SFRS weisen entsprechend unterschiedliche Grade der Abhängigkeit von Kalibrierungsobjekten auf und reichen bis hin zur vollständigen Unabhängigkeit von diesen.