Options
2010
Bachelor Thesis
Titel
Buttontexterkennung in Screenshotvideos
Abstract
Für eine vollautomatische Durchführung von Nutzertests im Eye-Tracking Kontext ist es erstrebenswert, den Informationsgewinn aus den vorhandenen Daten zu maximieren um eine umfangreiche Analyse durchführen zu können. Dazu zählen nicht nur solche Daten wie die der Augen- oder Mausbewegung, sondern auch Daten, die im direkten Kontext mit der zu testenden Software stehen. Hierbei sind besonders solche Informationen interessant, wie ein Nutzer auf eine Texteinblendung reagiert oder Entscheidungen, die er an bestimmten Stellen treffen muss. Ein wichtiger Aspekt bei der Implementation ist, dass die Informationen auch extrahierbar sein sollten, wenn kein Vorwissen über Details wie dem Betriebssystem oder Sprache und dem Farbschema der zu testende Software vorhanden sind. Im Rahmen dieser Bachelorarbeit wurde das am Fraunhofer IGD-Rostock entwickelte RealEYES-Projekt um eine Komponente erweitert, die diese Anforderungen erfüllt. Ziel der Bachelorarbeit ist es zu untersuchen, inwieweit existierende Technologien der Texterkennung auf Einzelbilder von Screenshotvideos angewendet werden können, um vom Anwender benutzte Interaktionselemente von Graphical User Interfaces zu identifizieren. Hierzu war es nötig aus einer Screenshotvideo-Aufnahme eines Probanden mit integriertem Datenstrom der Augen- oder Mausbewegung die relevante zeitliche Position des Videos zu finden und an der entsprechenden Zeitmarke die zugehörigen Bilddaten aus dem Video zu extrahieren. Mit den resultierenden Bildinformationen kann nun die Position des Mauszeigers an dieser Zeitmarke verwendet werden, um die Daten zu erhalten die mit der Position des Mausklicks übereinstimmen. Durch diese Informationen ist es nun möglich, die relevanten Bilddaten zu extrahieren und an eine entsprechende integrierte OCR-Software zu übergeben.
;
For a fully automatic execution of user tests in the Eye Tracking context it is desirable to maximize the information which are gained from the existing data, in order to allow an extensive usability analysis. In addition, such data should not only contain eye- or mouse movement, moreover, they should also contain data which have a direct connection to the context of the software which is tested. Some information are of particular interest, for example how a user reacts to a text insertion or which decisions a user has to make in certain places. An important aspect of implementation is the fact that the information should also be extractable, even if implementation details are not accessible such as the operating system or the language and the color pattern of the software which has to be tested. In the context of my bachelor thesis, I have developed a component which extends the RealEYES project, which was developed at the Fraunhofer IGD-Rostock, by these requirements. A goal of the bachelor thesis is to examine how existing text recognition technologies can be applied to frames of screenshot videos, in order to identify interaction elements of graphical user interfaces used by the user. As regards that, it was necessary to find the relevant temporal positions and the appropriate graphic data of the video file. The video file contains a screenshot video of a test person and an integrated data stream of the eye- or mouse movement. With the resulting picture information, the position of the cursor at this temporal position can be used to receive the picture data, which match the click position of the user. Now it is possible to extract the corresponding graphic data and commit this to an integrated OCR software.
ThesisNote
Magdeburg, Univ., Bachelor Thesis, 2010
Advisor
Verlagsort
Magdeburg