A Combined Renderer for Neural Radiance Fields and Meshed Objects

Neural Radiance Fields (NeRFs) is a relatively new neural rendering method that is used for novel view synthesis. The method works with just a few input images with known camera poses, and the synthesized views are 3D-consistent and of high quality. NeRFs are capable of capturing and synthesizing non-trivial material properties such as reflectance and transparency. The synthesized output is rendered as a volumetric shape. However, the volumetric representation is not explicitly modeled, but is instead baked into the neural network. This means that in order to render a NeRF, a neural network has to be invoked. This kind of scene representation is not compatible with current 3D graphics applications, which mostly work with triangle meshes. Furthermore, NeRFs are very demanding both in terms of memory requirements and inference times. Hence, the goal of this thesis is to explore how NeRFs could be integrated into existing graphics applications that work with triangle meshes. To that end, a renderer is implemented that is capable of rendering both NeRFs and meshes within the same scene. Furthermore, a multi-GPU implementation of the renderer shows that usage of multiple GPUs helps alleviate the demanding memory and performance requirements of NeRFs during rendering.

Neuronale Strahlungsfelder (NeRFs) sind eine relativ neue neuronale Rendering-Methode, die für die Synthese von neuen Ansichten verwendet wird. Die Methode arbeitet mit nur wenigen Eingabebildern mit bekannten Kamerapositionen und die synthetisierten Ansichten sind 3D-konsistent und von hoher Qualität. NeRFs sind in der Lage, nicht-triviale Materialeigenschaften wie Reflektivität und Transparenz zu erfassen und zu synthetisieren. Die synthetisierte Ausgabe wird in volumetrischer Form gerendert. Die volumetrische Darstellung wird jedoch nicht explizit modelliert, sondern in das neuronale Netz eingebettet. Das bedeutet, dass zum Rendern eines NeRF ein neuronales Netz aufgerufen werden muss. Diese Art der Szenendarstellung ist nicht kompatibel mit aktuellen 3DGrafikanwendungen, die meist mit Dreiecksnetzen arbeiten. Außerdem sind NeRFs sehr anspruchsvoll, sowohl was den Speicherbedarf als auch die Inferenzzeiten angeht. Ziel dieser Arbeit ist es daher, zu untersuchen, wie NeRFs in bestehende Grafikanwendungen, die mit Dreiecksnetzen arbeiten, integriert werden können. Zu diesem Zweck wird ein Renderer implementiert, der in der Lage ist, sowohl NeRFs als auch Meshes in derselben Szene zu rendern. Darüber hinaus zeigt eine Multi-GPU-Implementierung des Renderers, dass die Verwendung mehrerer GPUs dazu beiträgt, die anspruchsvollen Speicher- und Leistungsanforderungen von NeRFs beim Rendering zu verringern.