Privacy-friendliness in human behavior analysis for urban surveillance scenarios

This thesis investigates the integration of privacy-friendly human behavior analysis within urban video surveillance systems, addressing the prevalent privacy concerns associated with human-related video and image data. The central approach involves the use of human pose information, representing pedestrians as skeletons, which effectively encapsulates necessary data for behavior analysis while maintaining privacy. Despite numerous algorithms and machine learning models for human pose estimation, their application in urban video surveillance remains challenging and underexplored. To address this, a synthetic dataset tailored to typical urban surveillance scenarios was developed, featuring multiple pedestrians and mutual occlusions. A new set of metrics, the Graph Crowd Index, was introduced to assess crowdedness, improving upon the existing Crowd Index for video surveillance contexts. To bridge the domain gap between synthetic and real-world data, a Cycle-GANbased model was employed for domain adaptation. Experiments indicated that a well-designed target domain representation enhances human pose estimation performance, though the selection of target domain data is crucial. Following these first investigated aspects, the thesis takes a look on behavior analysis using holistic and human-centered methods, and compares them against state-of-the-art approaches. A unified evaluation pipeline was introduced to benchmark various skeleton-based behavior analysis methods, highlighting the difficulty of maintaining accuracy while ensuring privacy. T his pipeline facilitated the comparison of state-of-the-art methods, underlining the challenges and potential of privacy-preserving models. The human-centered DualHeadAE model presented in this thesis demonstrated competitive performance, outperforming the developed holistic approach MurzGAN. The latter proved to work in simpler academic scenarios but struggled with more complex and dynamic environments. The DualHeadAE approach showed promising results but indicated areas for further improvement, such as incorporating further domain knowledge to enhance performance in challenging cases even further. In conclusion, thisthesiscontributestoprivacy-awaremethodologiesinsmart video surveillance, presenting a behavior analysis pipeline suitable for realworld applications. While there is room for improvement, the developed methods can serve as semi-automatic pre-filtering steps for authorities, advancing towards more focused classification models. The findings demonstrate the feasibility of preserving data privacy in modern computer vision systems, though their application remains governed by regulations such as the General Data Protection Regulation and local laws.

Diese Dissertation untersucht die Integration von Datenschutzaspekten in den Prozess der Verhaltensanalyse von Menschen für den Einsatz von Videoüberwachungssysteme im städtischen Raum und befasst sich mit den weit verbreiteten Datenschutzbedenken im Zusammenhang mit menschbezogenen Video- und Bilddaten. Der zentrale Ansatz der in der Arbeit verfolgt wird umfasst die Nutzung von menschlichen Poseninformationen, wobei Fußgänger als Skelettedargestellt werden, die die notwendigenDatenzurVerhaltensanalyse effektiv erfassen und gleichzeitig die Privatsphäre wahren. Trotz der Existenz zahlreicher Ansätze zur Schätzung menschlicher Posen bleibt deren Anwendung in der städtischen Videoüberwachung herausfordernd und wenig erforscht. Um dieses Thema zu adressieren, wurde ein synthetischer Datensatz entwickelt, der auf typische städtische Überwachungsszenarien zugeschnitten ist und gleichzeitig viele Personen zeigt, mit Szenen die insbesondere Herausforderungen umfassen wie die gegenseitige Verdeckungen von Personen. Ein neuer Satz von Metriken, der Graph Crowd Index, wurde eingeführt, um die Dichte von Menschenmengenzubewertenunddenbestehenden CrowdIndex für Videoüberwachungskontexte zu verbessern. Um die Lücke zwischen synthetischen und realen Daten zu überbrücken, wurde ein Cycle-GAN-basiertes Modell für die Anpassung der Datendomänen entwickelt. Experimente zeigten, dass gut gestaltetene Zieldomänendaten die Leistung der menschlichen Posenschätzer sichtlich verbessert, wobei die geeignete und passende Auswahl der Zieldomänendaten entscheidend ist. Nach diesen ersten untersuchten Aspekten setzt sich die Dissertation im zweiten inhaltlichen Teil mit der Verhaltensanalyse unter Verwendung holistischer und menschenzentrierter Methoden auseinander und vergleicht sie mit aktuellen Ansätzen die den Stand der Technik bilden. Um diese Verfahren miteinander vergleichen zu können, wird eine vereinheitlichte Evaluationspipeline eingeführt, um verschiedene posenbasierte VerhaltensanalyseAnsätze zubenchmarken.DiesePipeline erleichtert den Vergleich von aktuellen Methoden und unterstreicht die Herausforderungen sowie das Potenzial datenschutzfreundlicher Modelle. Das menschenzentrierte DualHeadAEModell, das in dieser Arbeit vorgestellt wird, zeigte eine wettbewerbsfähige Leistung und übertrifft den entwickelten holistischen Ansatz MurzGAN. Der DualHeadAE-Ansatz zeigte vielversprechende Ergebnisse, deutete jedoch auf Bereiche hin, in denen eine weitere Verbesserung möglich ist, beispielsweise durch die Einbeziehung weiteres Domänenwissens zur weiteren Steigerung der Erkennungsleistung in besonders herausfordernden Fällen. Abschließend trägt diese Dissertation zu datenschutzfreundlichen Methoden in der intelligenten Videoüberwachung bei und präsentiert eine Verhaltensanalyse-Pipeline, die für die Bewertung realer Anwendungen geeignet ist. Obwohl es noch Raum für Verbesserungen gibt, können die entwickelten Methoden bereits als halbautomatische Vorfilterungsschritte für Behörden dienen und den Weg zu fokussierteren Klassifikationsmodellen ebnen. Die Ergebnisse zeigen auf, dass die Berücksichtigung von menschlicher Privatsphäre in modernen Videoauswertesystemen umsetzbar ist, solche Systeme jedoch weiterhin vor großen Herausforderungen stehen, insbesondere da ihre Anwendung durch Gesetze wie den Artificial Intelligence Act der Europäischen Union oder die Datenschutzgrundverordnung bzw. ihr europäisches Pendant die General Data Protection Regulation, sowie weitere lokale Gesetze strikt geregelt oder eingeschränkt bleibt.