Detektion von Weizenähren mithilfe neuronaler Netze und synthetisch erzeugter Trainingsdaten

Diese Arbeit untersucht die Eignung und Übertragbarkeit von synthetisch erzeugten Trainingsdaten zur Detektion von Weizenähren mithilfe neuronaler Netze aus dem Bereich der semantischen Bildsegmentierung. Zur Erstellung dieser Daten werden detaillierte Szenen von Weizenfeldern bestehend aus wenigen manuell erstellten 3D Modellen mit hochaufgelösten Texturen und definierten Materialeigenschaften geschaffen. Dabei bilden die generierten Szenen verschiedene Reifegrade der Weizenpflanzen ab. Anschließend werden photorealistische Farbbilder der Szene synthetisiert und zusätzlich binäre Bildmasken, die die Positionen der modellierten Ähren enthalten. Die so erhaltenen Bildpaare werden anschließend als Trainingsgrundlage für zwei neuronale Netze (U-Net und DeepLabv3+) genutzt, ohne dass manuelle Annotationen notwendig sind. Zur Untersuchung, ob diese Daten eine Domänenadaption ermöglichen, werden die trainierten Netze anhand von realen Weizenfeldaufnahmen evaluiert. Der IoU-Wert von ca. 0.66 zeigt, dass eine Informationsübertragung aus den synthetischen Bildern auf reale Bilder möglich ist. Abschließend werden die Ergebnisse auf Luftbilder, die mithilfe eines UAVs aufgenommen wurden, übertragen. Es zeigt sich, dass die verminderte Auflösung dieser Bilder die Erkennungsrate deutlich vermindert.

This paper investigates the usability of synthesized training data for the recognition of wheat ears using neural networks in the context of semantic image segmentation. For this purpose, we create detailed scenes of wheat fields consisting of 3D models with high-resolution textures and defined material properties. The generated scenes represent different states of maturity of the wheat plants. Afterwards, photo-realistic color images are synthesized, which also contain a binary image mask with the locations of the ear models. The resulting image pairs are then used as training data for two neural networks (U-Net and DeepLabv3+). To determine whether these data allow domain adaptation the trained networks are evaluated using real wheat field images. The IoU value of about 0.66 shows that information transfer from the synthesized images to real images is possible. Finally, we transfer the results to aerial images taken from an UAV. It is shown that the reduced resolution of these images significantly decreases the recognition rate.