Robustness of Object Detection Algorithms for Images taken through Transparent Structures

Object detection plays a crucial role in various fields such as medicine and autonomous driving. Protective cases, commonly used to safeguard cameras, introduce light refraction, resulting in image distortions or changing lighting conditions that can impact object detection algorithms. This study investigates whether object detection models perform robustness against such influences or if they can be trained to adeptly handle them. Six corruptions are selected for evaluation: Glass Blur, Haze, Particle, a combination of Glass Blur, Haze, and Particle, Concave, and Convex. These corruptions are being evaluated on four different models: Faster R-CNN, FCOS, DETR, YOLOS. The study reveals that these corruptions have varying impacts on model performance. Three models are being subjected to training, with attention given to whether backbone training is occurring. The results indicate that better performance is achieved when the backbone is trained. However, improvements are also observed even without trained backbones. It can be concluded that a robust object detection model should have a backbone capable of creating a global representation, particularly in the initial layers. Moreover, the model should undergo training with the specified corruptions. The allocation of training time should be proportional to the complexity of the corruptions, with more complex corruptions receiving more training time.

Die Objekterkennung wird in verschiedenen Bereichen wie der Medizin und autonomem Fahren weitläufig eingesetzt. Schutzgehäuse, oft zur Absicherung von Kameras verwendet, führen zu Lichtbrechungen, die zu Bildverzerrungen oder Veränderungen der Lichtverhältnisse führen können, was wiederum Auswirkungen auf Objekterkennungsalgorithmen haben kann. Diese Studie untersucht, ob Objekterkennungsmodelle gegen solche Einflüsse robust sind oder ob sie darauf trainiert werden können, mit ihnen umzugehen. Sechs Verfälschungen wurden für die Bewertung ausgewählt: Glass Blur, Haze, Particle, eine Kombination aus Glass Blur, Haze und Particle, Concave und Convex. Diese Verfälschungen wurden an vier verschiedenen Modellen bewertet: Faster R-CNN, FCOS, DETR, YOLOS. Die Studie ergab, dass diese Verfälschungen unterschiedliche Auswirkungen auf die Leistung der Modelle haben. Drei Modelle wurden einem Training unterzogen, wobei darauf geachtet wurde, ob ein Backbone-Training stattfand. Die Ergebnisse zeigten, dass eine bessere Leistung
erzielt wurde, wenn das Backbone trainiert wurde. Verbesserungen wurden jedoch auch ohne trainierte Backbones beobachtet. Es lässt sich schlussfolgern, dass ein robustes Objekterkennungsmodell ein Backbone haben sollte, das in der Lage ist, eine globale Repräsentation zu schaffen, insbesondere in den ersten Schichten. Darüber hinaus sollte das Modell mit den spezifizierten Verfälschungen trainiert werden. Die Aufteilung der Trainingszeit sollte proportional zur Komplexität der Verfälschungen sein, wobei komplexere Verfälschungen mehr Trainingszeit erhalten sollten.