Development of an Intelligent Robotic System for Autonomous Warehouse Inspection and Fire Hazard Detection

This thesis presents the design and implementation of a multi-modal warehouse inspection robot built on the NVIDIA Jetson Nano platform. The robot is equipped with a fusion of sensors – including a YOLOv5-based vision module for fire and smoke detection, a temperature sensor, and a smoke/gas sensor – to perform autonomous safety inspections in a warehouse environment. It navigates along predefined routes using line-tracing (following floor lines or tapes) augmented by real-time obstacle avoidance. For localization, the robot uses visual fiducial markers (ARTag) placed in the environment to periodically estimate its position. All perception and control computation is performed locally on the embedded Jetson Nano device, leveraging its GPU acceleration for deep learning inference to achieve near real-time performance. A lightweight software architecture integrates the sensor data streams and control tasks, prioritizing system robustness and efficiency. A remote PC-based visualization and warning interface receives telemetry data – including periodic camera images, sensor readings, and localization information – via wireless communication, enabling real-time monitoring and alerting. Critical alerts, such as fire detection events, are also pushed to mobile devices to ensure timely human intervention. Additionally, inspection data including images and sensor logs are uploaded to cloud storage via AWS services, enabling long-term data access, analysis, and backup. The primary objective of this work is to address the challenge of building a functional and reliable inspection system under constrained computational resources on an embedded platform, through efficient system-level integration and optimization. The system aims to achieve real-world responsiveness, robustness, and practicality within the limitations of low-power edge hardware. Experimental results in a mock warehouse setting demonstrate that the robot can successfully patrol its route, detect fire and smoke hazards with high accuracy, and promptly issue alerts. This work highlights the feasibility and practical value of deploying AI-powered mobile inspection robots using low-cost, low-power embedded hardware for enhancing warehouse fire safety and operational intelligence.

Diese Masterarbeit präsentiert die Konzeption und Implementierung eines multimodalen Lagerinspektionsroboters, der auf der Edge-Computing-Plattform Jetson Nano basiert. Ziel ist es, eine zuverlässige und effiziente Lösung für die autonome Inspektion von Lagerumgebungen bereitzustellen, insbesondere im Hinblick auf die frühzeitige Erkennung potenzieller Brandgefahren. Das System integriert mehrere Sensorsysteme, darunter eine visuelle Erkennung mittels YOLOv5 für die Detektion von Feuer- und Rauchquellen, Temperatur- und Gassensoren zur Überwachung der Umgebungsbedingungen sowie ein Navigationsmodul mit automatischer Spurverfolgung und Hindernisvermeidung. Die Positionsbestimmung erfolgt über visuelle Markierungen mit Hilfe von ArTags. Durch die Kombination dieser Sensorik und Navigationsmechanismen kann der Roboter autonom vordefinierte Inspektionsrouten in strukturierten Lagerumgebungen abfahren. Besonderes Augenmerk liegt auf der Systemintegration und der Optimierung für ressourcenbeschränkte Embedded-Systeme. Die gesamte Verarbeitung, einschließlich Objekterkennung und Sensorfusion, erfolgt auf dem Jetson Nano in Echtzeit. Zusätzlich wurde eine PC-basierte Benutzeroberfläche mit visueller Darstellung der Inspektionsdaten sowie einem Alarmsystem für kritische Situationen entwickelt. Benachrichtigungen können darüber hinaus auch auf mobile Endgeräte gesendet werden. Die durchgeführten Tests zeigen, dass das System eine zuverlässige Brandfrüherkennung bei gleichzeitig geringem Rechenaufwand ermöglicht. Die Ergebnisse bestätigen die Anwendbarkeit der entwickelten Lösung für den Einsatz in realen Lagerumgebungen, insbesondere in Bereichen mit begrenzter Infrastruktur und begrenzten Energie- und Rechenressourcen.