Enhancing Depth Estimate Quality of Neural Radiance Fields (NeRFs)

With its introduction, the Neural Radiance Field (NeRF) became a popular tool for Novel View Synthesis. This sparked other works to follow suit and build upon NeRFs to solve new problems, including reconstructing deformable scenes. An inherent problem of NeRFs is that the estimated volume density is insufficient for surface reconstruction, resulting in non-smooth and inaccurate surfaces. This raises the premise that surfaces in depth maps are likewise rendered inaccurately. This thesis addresses the issue of improving the estimation of the depth of NeRFs for non-rigid scenes by designing a new architecture and comparing it to existing works. This new model adopts an implicit surface representation to improve surfaces on the depth estimates in deformable scenes. Analytical experiments conducted against two comparative models demonstrate that an improvement in depth estimate is achieved while preserving a consistent quality in the renderings. Furthermore, it is shown that the new model can render quasi-static scenes and dynamic scenes with complex movements.

Mit seiner Einführung, wurde das Neural Radiance Field ein beliebtes Instrument für Novel View Synthesis Probleme. Darauf aufbauend wurde eine Vielzahl von Arbeiten publiziert, die unter anderem auch die Rekonstruktion von verformbaren Szenen ermöglicht. Ein grundlegendes Problem von NeRFs ist, dass die berechnete Volumendichte für die Rekonstruktion von Oberflächen nicht hinreichend ist, wodurch die Schätzung von Objektgeometrie ungenau ist. Dies führt zu der Annahme, dass Oberflächen in Tiefenkarten gleichermaßen ungenau dargestellt werden. Diese Thesis befasst sich mit der Verbesserung der Tiefenschätzung von NeRFs im Kontext von nicht starren Szenen, durch den Entwurf einer neuen Architektur, sowie dem Vergleich mit existierenden Arbeiten. Das neue Modell verwendet eine implizite Oberflächendarstellung, um die Oberflächen der Tiefenschätzungen in verformbaren Szenen zu verbessern. In analytischen Experimenten, mit zwei vergleichbaren Modellen durchgeführt, wird gezeigt, dass eine Verbesserung der Tiefenschätzung, unter Beibehaltung der Qualität in den Renderings erreicht wird. Darüber hinaus wird gezeigt, dass das neue Modell in der Lage ist, nicht nur quasi-statische Szenen, sondern auch dynamische Szenen mit komplexen Bewegungen darzustellen.