Representation of Discovered Frequent Information in Compressed Log Files

Log files are usually compressed due to their large file size before being stored. In that process, a compression algorithm would identify frequent patterns in the file to remove redundant information. However, these patterns are usually immediately discarded once the compression process is finished, even though valuable information can be obtained from these patterns. This thesis presents how frequent pattern data can be simultaneously collected during the file compression process to spare computational resources and then be visualized using a web-application dashboard. The application of the implemented pattern recognition method in this thesis could not only identify patterns within log files with an arbitrary format but could also work on any text file including text corpora.

Protokolldateien werden in der Regel aufgrund ihrer großen Dateigröße komprimiert, bevor sie gespeichert werden. Dabei erkennt ein Komprimierungsalgorithmus frequent entdeckten Muster in der Datei, um redundante Informationen zu entfernen. Diese Muster werden jedoch in der Regel sofort verworfen, sobald der Komprimierungsprozess abgeschlossen ist, obwohl sich aus diesen Mustern wertvolle Informationen gewinnen lassen. In dieser Arbeit wird vorgestellt, wie Daten über frequent entdeckten Muster gleichzeitig während des Dateikomprimierungsprozesses gesammelt werden können, um Rechenressourcen zu schonen, und dann über eine Webanwendung Dashboard visualisiert werden können. Die in dieser Arbeit implementierte Mustererkennungsmethode kann nicht nur Muster in Protokolldateien mit beliebigem Format erkennen, sondern auch auf beliebige Textdateien einschließlich Textkorpora angewendet werden.