GraphSynth: A Graph-Diffusion Framework for Clinical Image and Video Scene Graph Synthesis

High-fidelity surgical simulation is increasingly important for medical training, offering an ethical and scalable alternative to cadaver-based practice or training on real patients. However current Virtual Reality (VR) systems, remain expensive, hardware-bound, and often lack anatomical variability. These limitations have accelerated interest in data-driven generative models for surgical images and videos. While diffusion models achieve state-of-the-art visual quality, existing image- and video-generation approaches lack the structural precision needed to model fine-grained anatomy or instrument motion. Surgical scene graphs (SGs) have emerged as a promising structural representation, yet prior work has used them only as conditioning signals rather than generative targets. To address this gap, we introduce GraphSynth, the first diffusion-based framework for surgical SG-to-SG synthesis. Our approach extends two graph-diffusion paradigms: Discrete Denoising Diffusion for Graph Generation (DiGress) and Continuous Graph Denoising Diffusion Model (ConGress), to generate both image-level SGs and multi-frame video-graphs. Our models incorporate semantic node labels and, for the first time, continuous positional and temporal attributes, moving beyond prior diffusion work focused solely on categorical molecular or network graphs. Experiments reveal that discrete positional binning causes severe spatial collapse, making GraphSynth-Discrete unsuitable for modeling object positions. In contrast, GraphSynth- Continuous learns smooth positional embeddings and produces coherent SG and plausible video-graphs, though semantic consistency remains challenging in complex scenes. These results indicate that continuous diffusion is better suited for spatial modeling, while discrete diffusion remains effective for categorical node classification. Overall, this thesis demonstrates that surgical SG-to-SG diffusion is feasible and provides a foundation for future SG-conditioned image and video synthesis, enabling scalable, data-driven surgical simulation with structured, anatomically meaningful SGs.

Hochwertige chirurgische Simulation gewinnt für die medizinische Ausbildung zunehmend an Bedeutung, da sie eine ethische und skalierbare Alternative zu kadaverbasierten Übungen oder dem Training an realen Patienten bietet. Aktuelle Virtual-Reality-(VR)-Systeme sind jedoch weiterhin teuer, hardwaregebunden und weisen häufig eine geringe anatomische Variabilität auf. Diese Einschränkungen haben das Interesse an datengetriebenen generativen Modellen für chirurgische Bilder und Videos verstärkt. Obwohl Diffusionsmodelle eine visuelle Qualität auf dem Stand der Technik erreichen, fehlt bestehenden Bild- und Video-Generierungsansätzen die strukturelle Präzision, die für die Modellierung feingranularer Anatomie oder Instrumentenbewegungen erforderlich ist. Chirurgische Scene Graphs (SGs) haben sich als vielversprechende strukturelle Repräsentation etabliert, wurden in früheren Arbeiten jedoch ausschließlich als Konditionierungssignale und nicht als generative Ziele verwendet. Um diese Lücke zu schließen, stellen wir GraphSynth vor, das erste Diffusionsframework für chirurgische SG-zu-SG-Synthese. Unser Ansatz erweitert zwei Graph-Diffusionsparadigmen: Discrete Denoising Diffusion for Graph Generation (DiGress) und Continuous Graph Denoising Diffusion Model (ConGress), zur Generierung sowohl bildbasierter SGs als auch mehrerer Video-Frames. Unsere Modelle integrieren semantische Knotenlabels und erstmals kontinuierliche Positions- und Zeitattribute und gehen damit über frühere Diffusionsarbeiten hinaus, die ausschließlich auf kategorialen molekularen oder Netzwerkgraphen basierten. Experimente zeigen, dass diskrete Positionsbinning zu einem starken räumlichen Kollaps führt, wodurch GraphSynth-Discrete für die Modellierung von Objektpositionen ungeeignet ist. Im Gegensatz dazu lernt GraphSynth-Continuous glatte Positions-Einbettungen und erzeugt kohärente SGs sowie plausible Video-Graphs, wenngleich die semantische Konsistenz in komplexen Szenen weiterhin herausfordernd bleibt. Diese Ergebnisse deuten darauf hin, dass kontinuierliche Diffusion besser für räumliche Modellierung geeignet ist, während diskrete Diffusion weiterhin effektiv für kategoriale Knotenklassifikation bleibt.