On the Origin of Gender Bias in Face Recognition

Biometrics is defined as the automated recognition of individuals based on their behavioral or physical characteristics. Unintentional gender bias in the corresponding systems has significant consequences. Individuals, especially females, are systematically discriminated against since the algorithms experience higher error rates on these demographics. For this reason, gender bias is one of the pivotal unsolved problems in biometrics and face recognition in particular. Its impact is evident in various everyday application scenarios using facial recognition systems. These include the authentication on modern smartphones and laptops, the authorization of financial transactions, or even the identification for border control. Especially in situations relevant to criminal law, the unintentional malfunction of the algorithms has potentially severe consequences, such as the imprisonment of innocent individuals. Such occurrences critically impact the daily life of those affected and, thus, foster public mistrust in facial recognition systems in general. Legislators also intensively debate the use of face recognition in practice, despite its clear advantages over password- or token-based authentication. To find an effective fix for this deficiency, the underlying causes of gender bias must be identified, analyzed, and ultimately understood. Previous works have primarily focused on the unequal distribution of genders in training data as a possible origin. Despite their efforts, the actual impact of this circumstance on bias has recently been proven insignificant. This finding has instigated a paradigm shift in research, with studies from the near past now mainly evaluating the role of facial features in the broader issue. However, these works apply complicated analysis methods that use low-scale, low-variance face annotations and image databases, as well as evaluation techniques that can induce unwanted variations in the results. Additionally, they do not take correlations of facial features into account. These deficits limit the results’ expressiveness and generalizability. In this thesis, the effects of non-demographic facial characteristics on gender bias are comprehensively evaluated. The presented methodology exploits the advantages of the tree data structure to efficiently generate multiple combinations of attributes, which represent the presence or absence of relevant characteristics. Subsequently, annotated large-scale image databases with high variance are filtered for faces of males and females in which the desired attribute combinations are featured. Thus, the images’ performance and, hence, the characteristics’ impact on fairness can be reliably assessed using two state-of-the-art face recognition models. Crucially, the proposed approach can also account for correlating facial features by clustering and thus combining them such that they can effortlessly be treated as a single attribute. Overall, these properties make the proposed approach simple yet effective, with its results achieving high informational value and generalizability. Applying the presented methodology reveals that gender bias entirely disappears when the presence or absence of combinations of specific characteristics is equalized across the considered genders. Those include
attributes related to facial hair, hairstyles, and particular occluding accessories. These outcomes are consistent across all considered experimental settings. This strongly indicates the role of the revealed facial features as the true origin of gender bias. Consequently, future works can leverage those findings. One viable strategy would be to develop recognition models agnostic to the respective characteristics during training and operation. Another possible approach is the introduction of bias mitigation techniques that limit the effect of these specific characteristics in the recognition process. Ultimately, the results of this thesis should notably aid in more effectively and precisely researching remedies for gender bias and, thus, critically reducing the unfair treatment of individuals.

Unter Biometrie versteht man die automatische Erkennung von Personen auf Grundlage ihres Verhaltens oder ihrer körperlichen Merkmale. Unbeabsichtigter geschlechterspezifischer Bias in den entsprechenden Systemen hat nachweisbare Konsequenzen. Individuen, insbesondere Frauen, werden systematisch nachteilig behandelt, da die jeweiligen Algorithmen höhere Fehlerquoten bei diesen Demographien aufweisen. Aufgrund dessen ist geschlechterspezifischer Bias eines der zentralen ungelösten Probleme der Biometrie und insbesondere der Gesichtserkennung. Die Auswirkungen zeigen sich in unterschiedlichen alltäglichen Anwendungsszenarien, in denen Gesichtserkennungssysteme eingesetzt werden, besonders stark. Zu solchen gehören die Authentifizierung auf modernen Smartphones und Laptops, die Autorisierung von Finanztransaktionen, oder aber die Identifizierung bei Grenzkontrollen. Insbesondere in strafrechtlich relevanten Situationen hat die unbeabsichtigte Dysfunktion der Algorithmen mögliche schwerwiegende Konsequenzen, bspw. die Inhaftierung Unschuldiger. Diese, zum Teil gravierenden Auswirkungen auf den Alltag Betroffener fördern das Misstrauen der Öffentlichkeit gegenüber Gesichtserkennungssystemen. Auch die Legislative diskutiert intensiv über deren Einsatz, trotz der eindeutigen Vorteile, die diese Systeme gegenüber der passwort- oder tokenbasierten Authentifizierung mit sich bringen. Die dem geschlechterspezifischen Bias zugrundeliegenden Ursachen müssen deshalb identifiziert, analysiert und insgesamt verstanden werden. Bisherige Arbeiten in diesem Bereich haben überwiegend die mangelnde Geschlechterparität in den Trainingsdaten als Ursprung des Bias vermutet und sich entsprechend darauf konzentriert. Kürzlich wurde jedoch nachgewiesen, dass der tatsächliche Einfluss dieses Faktors insgesamt vernachlässigbar ist. Diese Erkenntnis hatte einen Paradigmenwechsel in der Forschung zu Folge. Demzufolge beschäftigen sich Studien aus der nahen Vergangenheit nun hauptsächlich mit der Rolle von bestimmten Gesichtsmerkmalen in der Gesamtproblematik. Jedoch werden in diesen Arbeiten meist komplizierte Analysemethoden sowie Attributs- und Bilddatenbanken von geringem Maßstab und geringer Varianz verwendet.
Zusätzlich kommen teilweise Evaluationsmethodiken zum Einsatz, die Ergebnisse verfälschen können, und Korrelationen von Gesichtsmerkmalen nicht miteinbeziehen. Diese Defizite schränken die Aussagekraft und Generalisierbarkeit der Ergebnisse maßgeblich ein. In dieser Arbeit werden die Auswirkungen von nicht-demographischen Gesichtsmerkmalen auf geschlechterspezifischen Bias untersucht. Die dazu vorgestellte Methodik nutzt die Vorteile der Baum-Datenstruktur, um effizient verschiedene Kombinationen von Attributen zu generieren, die jeweils das Vorhandensein oder Nichtvorhandensein bestimmter relevanter Charakteristiken repräsentieren. Große, annotierte Bilddatenbanken mit hoher Varianz werden anschließend nach Gesichtern von Frauen und Männern gefiltert, die die gewünschten Merkmalskombinationen enthalten. Somit kann die Performanz der entsprechenden Gesichter und damit auch der Einfluss der Charakteristiken auf die Fairness mit Hilfe zweier moderner Gesichtserkennungssysteme zuverlässig bewertet werden. Entscheidend dabei ist auch, dass die präsentierte Methode die Korrelationen dieser Gesichtsmerkmale berücksichtigen bzw. mindern kann, indem solche gruppiert und somit mühelos wie ein einziges Attribut behandelt werden können. Insgesamt machen diese Eigenschaften den vorgeschlagenen Ansatz einfach und dennoch effektiv, sodass seine Ergebnisse eine hohe Aussagekraft erreichen und gleichzeitig verallgemeinbar sind. Die Anwendung der vorgestellten Methodik zeigt, dass geschlechterspezifischer Bias vollständig verschwindet, wenn das Vorhandsein bzw. Nichtvorhandensein von Kombinationen bestimmter Merkmale zwischen den Geschlechtern angeglichen wird. Zu diesen zählen solche mit Bezug auf Gesichtsbehaarung, Frisuren, und Accessoires, die Teile des Gesichts verdecken. Der Nachweis gelingt in allen betrachteten Versuchsanordnungen gleichermaßen. Dies ist ein deutlich Hinweis darauf, dass die gefundenen Merkmale der wahre Ursprung von geschlechterspezifischem Bias sind. Künftige Arbeiten können auf diesen Erkenntnissen aufbauen. Ein dabei denkbarer Ansatz könnte die Entwicklung von Gesichtserkennungsmodellen sein, die sowohl während des Trainings als auch im Betrieb die entsprechenden Charakteristiken vollständig außer Acht lassen. Methodiken zur Minderung der Auswirkungen von Bias könnten ebenfalls so entwickelt werden, dass der Einfluss der spezifischen Merkmale auf den Erkennungsprozess begrenzt wird. Insgesamt sollten die Ergebnisse dieser Arbeit dazu beitragen, dass Abhilfemaßnahmen gegen geschlechterspezifischen Bias effektiver und zielgerichteter erforscht werden können. Damit kann auch die ungerechte Behandlung bestimmter Personen nachträglich reduziert werden.