Ray-Surface Intersection for Accurate Rendering with 3D Gaussian Splatting Representations

In recent years, researchers have found methods to compose realistic looking 3D scenes from sparse sets of images as input. Reconstructing 3D scenes from sparse image sets is crucial for various tasks, such as Augmented and Virtual Reality, Robotics, Autonomous Driving and many more, as they rely on understanding their environment. One such approach is 3D Gaussian Splatting (3DGS), which synthesizes scenes through the combination of small three-dimensional Gaussian distributions (called Gaussians). This novel technique creates cutting edge, high-quality views in real-time, rivaling other methods
in training times. One issue with 3DGS is that it also generates redundant Gaussians that degrade the rendering’s quality. In order to attain higher quality and more realistic synthesized scenes, it is necessary to remove these redundancies. For this purpose, this thesis implements a pruning algorithm that combines the intersection of rays and 3D Gaussians with the intersection of rays and a mesh corresponding to the 3DGS representation in order to determine whether a Gaussian is redundant and therefore pruned or whether it is part of the scene and therefore kept. The qualitative and quantitative evaluation of the results reveal that no changes to the scene are made by this algorithm. The discussed possible reasons are the approximation of 3D Gaussians as spheres as well as misalignment between the mesh and the 3DGS representation. Additionally, the implementation suffers from runtime issues which make Ray-Mesh intersection and Ray-Gaussian intersection computationally expensive. These results illustrate the problems of combining 3DGS scenes with their geometry, which is valuable for future work attempting similar projects.

In den letzten Jahren haben Forscher Methoden entwickelt, um realistisch aussehende 3DSzenen aus spärlichen Bildersammlungen zu erzeugen. Die Rekonstruktion von 3D-Szenen aus spärlichen Bildersammlungen ist wichtig für verschiedene Anwendungsbereiche wie Augmented und Virtual Reality, Robotik, Autonomes Fahren und viele weitere, da diese Anwendungen von ihrem Verständnis ihrer Umgebung abhängen. Eine solche Methode ist 3D Gaussian Splatting (3DGS), welches Szenen durch die Kombination kleiner dreidimensionaler Gauß-Verteilungen (sogenannte Gaussians) synthetisiert. Diese neuartige Technik erzeugt in Echtzeit cutting-edge hochqualitative Ansichten und konkurriert mit anderen Methoden in Trainingszeiten. Ein Problem bei 3DGS ist die Tatsache, dass redundante Gaussians erzeugt werden, welche die Qualität der gerenderten Szene mindern. Um höhere Qualität zu erzielen und realistischere Szenen zu synthetisieren, ist es notwendig, diese Redundanzen zu entfernen. Aus diesem Grund implementiert diese Thesis einen Löschalgorithmus, welcher das Schneiden von Strahlen mit 3D-Gaussians und das Schneiden von Strahlen mit einem Mesh, welches mit der 3DGS-Darstellung korrespondiert, kombiniert, um herauszufinden, ob ein Gaussian redundant ist und gelöscht werden soll oder ob es Teil der Szene ist und daher erhalten bleibt. Die qualitative und quantitative Evaluation der Ergebnisse zeigt, dass von dem Algorithmus keine Änderungen an der Szene vorgenommen werden. Die diskutierten möglichen Gründe sind die Approximation der 3D-Gaussians durch Sphären sowie Fehlausrichtung zwischen Mesh und 3DGS-Repräsentation. Darüber hinaus leidet die Implementation unter Laufzeitproblemen, welche die Berechnung von Ray-Mesh-Intersection und Ray-Gaussian-Intersection teuer machen. Diese Ergebnisse veranschaulichen die Probleme der Kombination von 3DGS-Szenen mit ihrer Geometrie, was für zukünftige Arbeiten an ähnlichen Projekten wertvoll ist.