Analysis of Uncertainty Estimation Methods to Detect Drifts in Data Streams

Machine learning has recently received a vast amount of attention and its development is rapid. Therefore it is increasingly found in applications across many industries. This also applies to safety-critical tasks such as autonomous driving or medical diagnosis. In such cases, it is of utmost importance, that the predictions generated by a model are trustworthy. To this end, methods have been developed to quantify the uncertainty of a neural network. Another challenge in the deployment of machine learning models is concept drift. A phenomenon, that refers to change in the data distribution. If unaddressed, this leads to model decay over time. One approach to tackle this is to use drift detectors that trigger retrainings. These usually are based on the error rate. Thus they require access to true labels which are sparse and expensive. As the uncertainty values are correlated to the error rate, Baier et al. propose to use them as input for the ADWIN detection algorithm. Based on this, we compared five uncertainty estimation methods in combination with the ADWIN detector to detect drifts in seven real-world datasets. Although the SWAG method achieved significantly better-calibrated predictions than others, the conducted experiments revealed, that discrepancies between methods were marginal in terms of overall accuracy. Furthermore, the most basic method without any adaptions was on par with the others.

Maschinelles Lernen hat in letzter Zeit viel Aufmerksamkeit erregt und entwickelt sich rasant. Daher wird es zunehmend für Anwendungen in vielen Branchen eingesetzt. Dies gilt auch für sicherheitskritische Aufgaben wie autonomes Fahren oder die medizinische Diagnostik. In solchen Anwendungsfällen ist es von größter Bedeutung, dass die von einem Modell erzeugten Vorhersagen zuverlässig sind. Zu diesem Zweck wurden Methoden entwickelt, um die Unsicherheit eines neuronalen Netzes zu quantifizieren. Eine weitere Herausforderung bei der Anwendung von Modellen des maschinellen Lernens sind Concept Drifts. Ein Phänomen, das die Veränderungen in der Datenverteilung bezeichnet. Ignoriert man Concept Drifts, so führen diese mit der Zeit zu einer Verschlechterung des Modells. Ein Ansatz zur Bewältigung dieses Problems ist die Verwendung von Drift-Detektoren, die dann erneute Trainings auslösen. Diese basieren in der Regel auf der Fehlerrate. Daher benötigen sie Zugang zu wahren Labels, die spärlich und teuer sind. Da die Unsicherheitswerte mit der Fehlerrate korrelieren, schlagen Baier et al. vor, diese als Eingabe für den ADWIN-Detektor zu verwenden. Auf dieser Grundlage haben wir fünf Methoden zur Schätzung von Unsicherheitswerten in Kombination mit dem ADWIN-Detektor verglichen, um Drifts in sieben Datensätzen aus der realen Welt zu erkennen. Obwohl die SWAG-Methode deutlich bessere kalibrierte Vorhersagen erzielte als die anderen, zeigten die durchgeführten Experimente, dass die Diskrepanzen zwischen den Methoden in Bezug auf die Gesamtgenauigkeit marginal waren. Außerdem konnte die einfachste Methode ohne jegliche Anpassungen mit den Anderen mithalten.