Short term memory in echo state networks

Die Kurzzeitgedächtnis-Kapazität von Echo-State-Netzwerken wird untersucht. Ein quantitatives Mass MC für diese Kapazität wird eingeführt. Das Hauptresultat ist MC 5 N für Netze mit linearen Ausgabeneuronen und unabhängig identisch verteiltem Input, wobei N die Netzwerkgrösse ist. Es werden Bedingungen beschrieben, unter denen die maximale Gedächtnis-Kapazität erreicht wird. Eine Reihe von theoretischen und praktischen Beispielen demonstrieren, wie das Kurzzeitgedächtnis von Echo-State Netzen für die Klassifikation dynamischer Muster und die Modellierung stochastischer Sequenzen ausgenutzt werden kann.

The report investigates the short-term memory capacity of echo state recurrent neural networks. A quantitative measure MC of short-term memory capacity is introduced. The main result is that MC 5 N for networks with linear Output units and i.i.d. input, where N is network size. Conditions under which these maximal memory capacities are realized are described. Several theoretical and practical examples demonstrate how the short-term memory capacities of echo state networks can be exploited for dynamic Pattern recognition and stochastic sequence modeling tasks.