3D-Aware Inverse Tone Mapping for HDR NeRFs

This thesis proposes the combination of an Inverse Tone Mapper (ITM) together with a High Dynamic Range (HDR) neural radiance 􀑓eld (NeRF) novel view synthesis technology. The novel view synthesis technology at the core of this thesis usually requires a variety of di􀑒erent exposed images as input to create the HDR scene. Through the use of a single-exposure ITM it is possible to create the required input images solely based on the image with the medium exposure time, thus removing the hassle of capturing di􀑒erent exposures in the 􀑓rst place. The relative exposure stack that is required as a target for the image recreation process is determined through a series of preliminary experiments, which are also conducted to create a baseline of single exposure training and to study the implications of fully substituted training data. This thesis declares two sets of training data that are evaluated against each other through an optimization on eight synthetic scenes. Additionally, both sets are tested in a 􀑓ve-step input degradation scenario that reduces the number of source input images available during training. The results show that in some scenes there is an advantage to using ITM-recreated images as input substitutions if the number of original input images is low enough. Overall, the new approach creates undersaturated images with a lack of contrast, which makes the value indicated by the positive results uncertain.

Diese Abschlussarbeit stellt die Kombination eines inversen Tone Mappers (ITM) mit einer, auf Neural Radiance Field (NeRF) basierten, High Dynamic Range (HDR) Novel View Synthesis-Technologie vor. Die Novel View Synthesis-Technologie, die den Kern dieser Arbeit bildet, erfordert in der Regel eine Vielzahl unterschiedlicher belichteter Bilder als Eingabe, um die HDR-Szene zu erstellen. Durch die Verwendung eines ITM auf Basis von nur einer Belichtung ist es möglich, die erforderlichen Eingabebilder ausschließlich auf der Grundlage des Bildes mit der mittleren Belichtungszeit zu erstellen, wodurch die mühsame Aufnahme unterschiedlicher Belichtungen von vornherein entfällt. Die benötigte relative Lichtwertkon􀑓figuration, welche im Bildwiederherstellungsprozess verwendet wird, wird durch eine Reihe von Vorversuchen ermittelt, die auch durchgeführt werden, um eine Ausgangsbasis für das Training mit Einzelbelichtung zu schaff􀑒en und die Auswirkungen vollständig ersetzter Trainingsdaten zu untersuchen. Diese Arbeit stellt zwei Datensätze von Trainingsdaten vor, die durch Optimierungen von acht synthetischen Szenen gegeneinander bewertet werden. Zusätzlich werden beide Datensätze in einem fünfstufi􀑓gen Szenario der Eingangsverschlechterung getestet, das die Anzahl der während des Trainings verfügbaren original Eingangsbilder reduziert. Die Ergebnisse zeigen, dass es in einigen Szenen von Vorteil ist, ITM-wiederhergestellte Bilder als Eingangsersatz zu verwenden, wenn die Anzahl der Original-Eingangsbilder gering genug ist. Insgesamt erzeugt der neue Ansatz unterbelichtete Bilder mit mangelndem Kontrast, was den Nutzen der positiven Ergebnisse fragwürdig macht.