A combined multi-view stereo and photometric stereo approach

Two approaches to 3D-reconstruction from images, Multi-view Stereo and Photometric Stereo, are combined as a means of completing missing areas within the partly-complete reconstruction returned by the first approach. This is realized by exploiting the Photometric Stereo principle of orientation consistency, stating that image positions with similar appearance have similar surface orientation on the original object surface. Completion of reconstruction is thus achieved by finding pairs of image positions with similar appearance, one with available reconstruction serving as source, the other one with reconstruction missing as target for transfer of normals.

Zwei Ansätze zur 3D-Rekonstruktion von Bildern, Multi-view Stereo und Photometric Stereo, werden kombiniert um fehlende Bereiche innerhalb der teilweise vollständigen Rekonstruktion, die vom ersten Ansatz erzeugt wird, zu vervollständigen. Dies wird umgesetzt, indem das Photometric Stereo-Grundprinzip der Orientierungs-Konsistenz ausgenutzt wird, welches besagt, dass Bildpositionen mit ähnlicher Erscheinung ähnliche Orientierungen auf der ursprünglichen Objekt-Oberfläche aufweisen. Die Vervollständigung der Rekonstruktion wird daher erreicht durch das Ermitteln von Paaren von Bildpositionen mit ähnlicher Erscheinung, wobei die eine Position mit vorhandener Rekonstruktion als Quelle, und die andere Position mit fehlenden Rekonstruktionsdaten als Ziel des Transfers von Normalen dient.