Cloud Removal in Satellite Images using Neural Cellular Automata

Cloud cover limits the usability of optical satellite imagery by obscuring surface information needed for downstream tasks such as land-cover mapping, agriculture, and environmental monitoring. This thesis investigates Neural Cellular Automata (NCAs) as a lightweight approach to cloud removal in Sentinel-2 RGB imagery. In contrast to cloud-removal models that generate an output image in a single forward pass, NCAs reconstruct images through repeated local updates, allowing information to propagate from visible regions into corrupted areas. The thesis evaluates an NCA-based cloud-removal pipeline on real, composite, synthetic, and mixed data regimes derived from the Sen2_MTC dataset. Composite data isolate the reconstruction problem from temporal mismatch between cloudy inputs and cloud-free targets, while controlled synthetic experiments vary cloud coverage, spatial frequency, opacity, and shadows. The experiments further compare single- temporal and multi-temporal inputs and include a comparison with a baseline based on a generative adversarial network (GAN). The results show that NCA performance depends strongly on the amount and geometry of available information. The model performs best when useful surface information remains available, either through small or fragmented clouds, partial transparency, shadow-like corruption, or additional temporal observations. Multi-temporal inputs provide the strongest improvement, showing that reconstruction quality is limited primarily by information availability rather than model capacity alone. Compared with the GAN model on the same held-out MT3 test subset, the NCA achieves lower absolute accuracy. The gap remains moderate considering that the NCA uses only RGB input, less training data, and an approximately 60 KB checkpoint instead of the 2.4 GB baseline checkpoint. The findings indicate that NCAs are best suited as compact local reconstruction and refinement models for cloud-removal pipelines, especially when useful surface information remains visible nearby, through partial corruption, or in another temporal observation.

Wolkenbedeckung schränkt die Nutzbarkeit optischer Satellitenbilder ein, da sie Oberflächeninformationen verdeckt, die für nachgelagerte Aufgaben wie Landbedeckungskartierung, Landwirtschaft und Umweltmonitoring benötigt werden. Diese Arbeit untersucht Neural Cellular Automata (NCAs) als kompakten Ansatz zur Wolkenentfernung in Sentinel-2-RGB-Bildern. Im Gegensatz zu Modellen zur Wolkenentfernung, die ein Ausgabebild in einem einzelnen Vorwärtsdurchlauf erzeugen, rekonstruieren NCAs Bilder durch wiederholte lokale Aktualisierungen, wodurch Informationen aus sichtbaren Regionen in verdeckte Bereiche propagieren können. Die Arbeit evaluiert eine NCA-basierte Pipeline zur Wolkenentfernung auf realen, zusammengesetzten, synthetischen und gemischten Datenregimen, die aus dem Sen2_MTC-Datensatz abgeleitet werden. Zusammengesetzte Daten isolieren das Rekonstruktionsproblem von zeitlichen Abweichungen zwischen wolkenbedeckten Eingaben und wolkenfreien Zielbildern, während kontrollierte synthetische Experimente Wolkenbedeckung, räumliche Frequenz, Opazität und Schatten variieren. Die Experimente vergleichen zudem Eingaben mit einem einzelnen Beobachtungszeitpunkt und multitemporale Eingaben und umfassen einen Vergleich mit einer Baseline auf Basis eines Generative Adversarial Network (GAN). Die Ergebnisse zeigen, dass die Leistung des NCA-Modells stark von der Menge und Geometrie der verfügbaren Informationen abhängt. Das Modell erzielt die besten Ergebnisse, wenn wolkenbedeckte Regionen klein, fragmentiert, semitransparent, schattenähnlich oder durch zusätzliche zeitliche Beobachtungen unterstützt sind. Multitemporale Eingaben führen zur stärksten Verbesserung und zeigen, dass die Rekonstruktionsqualität vor allem durch die Verfügbarkeit nutzbarer Oberflächeninformationen begrenzt wird, nicht allein durch die Modellkapazität. Im Vergleich mit dem GAN-Modell auf derselben zurückgehaltenen MT3-Testteilmenge erreicht das NCA-Modell eine geringere absolute Genauigkeit. Angesichts der ausschließlichen Nutzung von RGB-Eingaben, der kleineren Trainingsdatenmenge und des etwa 60 KB großen Checkpoints gegenüber dem 2,4 GB großen Baseline-Checkpoint bleibt der Abstand moderat. Die Ergebnisse deuten darauf hin, dass NCAs vor allem als kompakte lokale Rekonstruktions- und Verfeinerungsmodelle für Pipelines zur Wolkenentfernung sind, insbesondere wenn nutzbare Oberflächeninformationen in der Nähe, durch partielle Verdeckung oder in einer anderen zeitlichen Beobachtung sichtbar bleiben.