1 - 10 of 40
-
PublicationDeveloping trustworthy AI applications with foundation models( 2024-04)
-
PublicationWie Agenten und Foundation-Modelle bei der Versorgung Schwerverletzter helfen( 2024-03)
-
PublicationSuperkraft Sprachmodell?( 2024-03)Die deutsche Verwaltungslandschaft steht angesichts der notwendigen Digitalisierung und Automatisierung von bisher manuellen Prozessen vor einer grundlegenden Transformation. Der Anstieg an Anträgen für Wohngeld, BAföG oder Einbürgerungsverfahren setzt Behörden zusätzlich unter Druck. Der entstehende Rückstau trägt zu einem sinkenden Vertrauen in die Leistungsfähigkeit der öffentlichen Verwaltung bei. Gleichzeitig muss sie die rückläufigen Mitarbeitendenzahlen infolge des demografischen Wandels kompensieren. Generative Künstliche Intelligenz (GenAI) und insbesondere große Sprachmodelle (Large Language Models, LLMs) spielen hier eine wichtige Rolle, um die Mitarbeitenden zukünftig in ihren Aufgaben zu unterstützen, zu entlasten und hierdurch Freiräume zu schaffen, um sich verstärkt der direkten Interaktion mit Bürgerinnen und Bürgern zu widmen. In diesem Briefing präsentieren Fraunhofer IAIS und Deloitte drei Anwendungsbeispiele großer Sprachmodelle, von welchen die öffentliche Verwaltung schon heute profitieren kann. Bei der Betrachtung zu etablierender Rahmenbedingungen muss zwischen den behördeninternen Voraussetzungen und der staatlichen Infrastruktur unterschieden werden. Diese Publikation betrachtet die Voraussetzungen auf individueller Ebene der Behörden.
-
PublicationVertrauenswürdige KI-Anwendungen mit Foundation-Modellen entwickeln( 2024-01-22)
-
PublicationA survey and classification of face alignment methods based on face models( 2023-11-06)A face model is a mathematical representation of the distinct features of a human face. Traditionally, face models were built using a set of fiducial points or landmarks, each point ideally located on a facial feature, i.e., corner of the eye, tip of the nose, etc. Face alignment is the process of fitting the landmarks in a face model to the respective ground truth positions in an input image containing a face. Despite significant research on face alignment in the past decades, no review analyses various face models used in the literature. Catering to three types of readers - beginners, practitioners and researchers in face alignment, we provide a comprehensive analysis of different face models used for face alignment. We include the interpretation and training of the face models along with the examples of fitting the face model to a new face image. We found that 3D-based face models are preferred in cases of extreme face pose, whereas deep learning-based methods often use heatmaps. Moreover, we discuss the possible future directions of face models in the field of face alignment.
-
PublicationWelche Zertifizierung ist hilfreich für Verbraucher*innen?( 2023-10-25)In diesem Whitepaper fokussieren wir uns auf die KI-Verordnung nicht erfasste freiwillige Zertifizierung. Dabei stehen die Interessen und Sichtweisen der Verbraucher*innen im Vordergrund. Als Verbraucher*innen betrachten wir nicht nur die unmittelbaren Nutzer*innen von KI-Systemen, sondern auch Privatpersonen, die indirekt von KI-Ergebnissen betroffen sein können. Zudem berücksichtigen wir Menschen in der Rolle als souveräne Datensubjekte, deren personenbezogene Daten in die Entwicklung von KI-Systemen einfließen. Dieses breite Verständnis des Verbraucher*innenbegriffs entspricht dem Selbstverständnis des Zentrums für vertrauenswürdige Künstliche Intelligenz (ZVKI). Wir stellen Thesen auf, wie freiwillige Zertifizierungen von KI-Systemen für Verbraucher*innen nützlich sein können. Die im Verlauf vorgestellten und begründeten acht Thesen wurden in einer Reihe von interdisziplinären Workshops erarbeitet. Dabei identifizierten wir Herausforderungen einer KI-Zertifizierung aus Verbraucher*innensicht und präzisierten diese iterativ. Die Gruppendiskussionen dienten als Grundlage dieses Whitepapers und bauten auf Erkenntnissen der Fach-Arbeitsgruppe „KI Zertifizierung“ des ZVKI auf. Alle Co-Autor*innen waren an der Erstellung des finalen Texts beteiligt. Die aufgestellten Thesen thematisieren grundlegende Anforderungen an eine KI-Zertifizierung aus einer übergeordneten Perspektive, unabhängig von den spezifischen Details einer KI-Anwendung. Somit liefern sie keine Aussagen zu konkreten Inhalten der Zertifizierung. Detaillierte Empfehlungen setzen eine umfassende Analyse von Einsatzfällen voraus, die in diesem Rahmen nicht geleistet werden kann.
-
PublicationCarExpert: Leveraging Large Language Models for In-Car Conversational Question Answering( 2023-10-14)Large language models (LLMs) have demonstrated remarkable performance by following natural language instructions without fine-tuning them on domain-specific tasks and data. However, leveraging LLMs for domain-specific question answering suffers from severe limitations. The generated answer tends to hallucinate due to the training data collection time (when using off-the-shelf), complex user utterance and wrong retrieval (in retrieval-augmented generation). Furthermore, due to the lack of awareness about the domain and expected output, such LLMs may generate unexpected and unsafe answers that are not tailored to the target domain. In this paper, we propose CarExpert, an in-car retrieval-augmented conversational question-answering system leveraging LLMs for different tasks. Specifically, CarExpert employs LLMs to control the input, provide domain-specific documents to the extractive and generative answering components, and controls the output to ensure safe and domain-specific answers. A comprehensive empirical evaluation exhibits that CarExpert outperforms state-of-the-art LLMs in generating natural, safe and car-specific answers.
-
PublicationAssessing Systematic Weaknesses of DNNs using Counterfactuals( 2023-08-03)With the advancement of DNNs into safety-critical applications, testing approaches for such models have gained more attention. A current direction is the search for and identification of systematic weaknesses that put safety assumptions based on average performance values at risk. Such weaknesses can take on the form of (semantically coherent) subsets or areas in the input space where a DNN performs systematically worse than its expected average. However, it is non-trivial to attribute the reason for such observed low performances to the specific semantic features that describe the subset. For instance, inhomogeneities within the data w.r.t. other (non-considered) attributes might distort results. However, taking into account all (available) attributes and their interaction is often computationally highly expensive. Inspired by counterfactual explanations, we propose an effective and computationally cheap algorithm to validate the semantic attribution of existing subsets, i.e., to check whether the identified attribute is likely to have caused the degraded performance. We demonstrate this approach on an example from the autonomous driving domain using highly annotated simulated data, where we show for a semantic segmentation model that (i) performance differences among the different pedestrian assets exist, but (ii) only in some cases is the asset type itself the reason for this reduction in the performance.
-
PublicationUsing ScrutinAI for Visual Inspection of DNN Performance in a Medical Use Case( 2023-08-02)
-
PublicationWord Sense Disambiguation as a Game of Neurosymbolic Darts( 2023-07-25)Word Sense Disambiguation (WSD) is one of the hardest tasks in natural language understanding and knowledge engineering. The glass ceiling of 80% F1 score is recently achieved through supervised deep-learning, enriched by a variety of knowledge graphs. Here, we propose a novel neurosymbolic methodology that is able to push the F1 score above 90%. The core of our methodology is a neurosymbolic sense embedding, in terms of a configuration of nested balls in n-dimensional space. The centre point of a ball well-preserves word embedding, which partially fix the locations of balls. Inclusion relations among balls precisely encode symbolic hypernym relations among senses, and enable simple logic deduction among sense embeddings, which cannot be realised before. We trained a Transformer to learn the mapping from a contextualized word embedding to its sense ball embedding, just like playing the game of darts (a game of shooting darts into a dartboard). A series of experiments are conducted by utilizing pre-training n-ball embeddings, which have the coverage of around 70% training data and 75% testing data in the benchmark WSD corpus. The F1 scores in experiments range from 90.1% to 100.0% in all six groups of test data-sets (each group has 4 testing data with different sizes of n-ball embeddings). Our novel neurosymbolic methodology has the potential to break the ceiling of deep-learning approaches for WSD. Limitations and extensions of our current works are listed.
