Investigation on the Comparison and Combination of Neural Radiance Fields with Classical Photogrammetric 3D Reconstruction

Image-based 3D reconstruction has been extensively studied for over a decade, with multi-view stereo (MVS) now being an established photogrammetry technique. Recently, innovative methods utilizing neural networks and implicit density fields, called Neural Radiance Fields (NeRF), have emerged. This thesis explores the complementary characteristics of photogrammetry and NeRF, focusing on Colmap-MVS, Nerfacto, and Instant-NGP. An initial evaluation reveals that Nerfacto outperforms Instant-NGP. It is also found that Nerfacto excels over Colmap-MVS in reconstructing complex scenes, while Colmap-MVS generates superior results for well-textured objects. To leverage the strengths of both methods, three integration approaches for combining Colmap-MVS with NeRF are developed, implemented, and evaluated. The approaches are: Replacing invalid depth estimations in Colmap-MVS with NeRF; Replacing Colmap-MVS depth estimations with NeRF based on cost estimations; Initializing Colmap-MVS with NeRF. An evaluation of the approaches shows that Colmap-MVS and NeRF are complementary in terms of outliers and scale, and that the fusion improves depth map quality. It is also found that improving cost estimations, and refining the initialization process of Colmap-MVS are essential optimization tasks for the fusion to reach its full potential. This work provides valuable insights and guidance for future advancements in 3D reconstruction, highlighting the promising potential of combining traditional photogrammetry with neural radiance fields.

Die bildbasierte 3D-Rekonstruktion wird seit über einem Jahrzehnt erforscht, wobei Multi-View-Stereo (MVS) inzwischen zu den etablierten Photogrammetrieverfahren gehört. Ein neuartiges Verfahren zur 3D Rekonstruktion sind Neuronale Radianzfelder (NeRF), die eine Szene durch ein implizites neuronales Feld repräsentieren. Diese Arbeit untersucht die komplementären Eigenschaften von Photogrammetrie und NeRF und konzentriert sich dabei auf die Methoden Colmap-MVS, Nerfacto und Instant-NGP. Eine erste Auswertung zeigt, dass Nerfacto die Rekonstruktionsqualität von Instant-NGP übertrifft. Zudem übertrifft Nerfacto Colmap-MVS bei der Rekonstruktion komplexer Szenen, während Colmap-MVS bei gut strukturierten Objekten bessere Ergebnisse erzielt. Um die Stärken beider Methoden zu nutzen, werden drei Integrationsansätze zur Kombination von Colmap-MVS und NeRF entwickelt, implementiert und evaluiert. Die Ansätze umfassen: Ersetzen von ungültigen Tiefenwerten in Colmap-MVS durch NeRF; Ersetzen von Colmap-MVS Tiefenwerte durch NeRF basierend auf Kostenschätzungen; Initialisierung von Colmap-MVS mit NeRF. Eine Evaluation dieser Ansätze zeigt, dass sich Colmap-MVS und NeRF, insbesondere bezüglich Ausreißern und Skalierung, ergänzen und dass die Fusion die Qualität der Tiefenbilder verbessert. Die Auswertung verdeutlicht auch, dass die Optimierung der Kostenschätzungen und die Verfeinerung des Initialisierungsprozesses essentielle Optimierungsaufgaben sind, um das volle Potenzial dieser Fusion zu erreichen. Diese Arbeit bietet wertvolle Einblicke und Anhaltspunkte für zukünftige Fortschritte in der 3D-Rekonstruktion und zeigt das Potential der Kombination von traditioneller Photogrammetrie mit Neuronalen Radianzfeldern.