Surface Reconstruction of Transparent Structures using Neural Volumetric Representations

The reconstruction of 3D object geometry from images is essential for numerous applications in Computer Vision and Graphics, including AR/VR, 3D movies, games, robotics, and 3D printing. Traditional stereo algorithms use computer vision techniques, such as feature matching, to extract information about the geometry and appearance of 3D objects from multiple 2D views. However, despite significant advancements, these methods remain computationally demanding and often struggle to produce high-quality reconstructions. In recent years, coordinate-based neural networks have emerged as a powerful tool
using differentiable surface rendering to reconstruct scenes from multi-view images. Meanwhile, neural radiance fields (NeRFs) based models have achieved impressive results in synthesizing novel views using volume rendering techniques. These networks use multi-layer perceptrons (MLPs) to parameterize a neural scene representation. Recently, neural implicit surface representation (NeuS) has combined surface and volume rendering for 3D reconstruction by expressing volume density as a function of the underlying 3D surface, improving the accuracy of scene geometry. These networks parameterize MLPs for implicit shape representations, such as signed distance fields. Although the neural implicit surface representation has been successful in 3D reconstruction, its accuracy in reconstructing the geometry of 3D objects with transparent structures from multiple 2D views is uncertain, as existing models have primarily been evaluated on datasets that focus on opaque objects. Consequently, training and assessing these methods on scenes containing transparent components is crucial to uncover their performance and identify potential problems related to domain shift. This study first unveils the limitations of neural implicit surface representation models concerning their ability to synthesize novel views and reconstruct surfaces of transparent objects. Subsequently, it explores the potential for improving the performance of NeuS-based models in novel view synthesis and surface reconstruction by integrating elements from the NeRF models, mainly when dealing with transparent objects. Finally, the findings demonstrate that the proposed modifications lead to notable enhancements in the performance of NeuS-based models.

Die Rekonstruktion der Geometrie von 3D-Objekten aus Bildern ist eine wesentliche Aufgabe für zahlreiche Anwendungen im Bereich Computer Vision und Grafik, einschließlich AR/VR, 3D-Filme, Spiele, Robotik und 3D-Druck. Traditionelle Stereo-Algorithmen verwenden Computer-Vision-Techniken, wie z. B. Feature Matching, um Informationen über die Geometrie und das Aussehen von 3D-Objekten aus mehreren 2D-Ansichten zu extrahieren. Trotz erheblicher Fortschritte sind diese Methoden jedoch nach wie vor sehr rechenintensiv und haben oft Schwierigkeiten, qualitativ hochwertige Rekonstruktionen
zu erstellen. In den letzten Jahren haben sich koordinatenbasierte neuronale Netze als leistungsfähiges Werkzeug erwiesen, das differenzierbare Oberflächen-Rendering zur Rekonstruktion von Szenen aus Bildern mit mehreren Ansichten verwendet. Inzwischen haben auf neuronalen Strahlungsfeldern (NeRFs) basierende Modelle beeindruckende Ergebnisse bei der Synthese neuer Ansichten mit Hilfe von Volumenrendering-Techniken erzielt. Diese Netzwerke verwenden mehrschichtige Perceptrons (MLPs) zur Parametrisierung einer neuronalen Szenendarstellung. In jüngster Zeit haben neuronale implizite Oberflächendarstellungen (NeuS) Oberflächenund Volumendarstellung für die 3D-Rekonstruktion kombiniert, indem sie die Volumendichte als Funktion der zugrunde liegenden 3D-Oberfläche ausdrücken und so die Genauigkeit der Szenengeometrie verbessern. Diese Netzwerke parametrisieren MLPs für implizite Formdarstellungen, wie z. B. signierte Abstandsfelder. Obwohl sich die neuronale implizite Oberflächendarstellung bei der 3D-Rekonstruktion bewährt hat, ist ihre Genauigkeit bei der Rekonstruktion der Geometrie von 3D-Objekten mit transparenten Strukturen aus mehreren 2D-Ansichten ungewiss, da die vorhandenen Modelle in erster Linie anhand von Datensätzen bewertet wurden, die sich auf undurchsichtige Objekte konzentrieren. Folglich ist es von entscheidender Bedeutung, diese Methoden auf Szenen mit transparenten Komponenten zu trainieren und zu analysieren, um ihre Leistung zu ermitteln und potenzielle Probleme im Zusammenhang mit der Domänenveränderung zu identifizieren. Zunächst werden in dieser Arbeit die Grenzen neuronaler impliziter Oberflächenrepräsentationsmodelle hinsichtlich ihrer Fähigkeit, neue Ansichten zu synthetisieren und Oberflächen transparenter Objekte zu rekonstruieren, aufgezeigt. Anschließend wird das Potenzial zur Verbesserung der Leistung von NeuS-basierten Modellen bei der Synthese neuer Ansichten und der Rekonstruktion von Oberflächen durch die Integration von Elementen aus den NeRF-Modellen untersucht, insbesondere beim Umgang mit transparenten
Objekten. Schließlich zeigen die Ergebnisse, dass die vorgeschlagenen Modifikationen zu bemerkenswerten Leistungsverbesserungen von NeuS-basierten Modellen führen.