Mit Focused Crawlern gegen die Datenflut?

Die Verfügbarkeit von vielen Informationen erleichtert die Wissensarbeit zwar auf den ersten Blick, aber aufgrund der unüberschaubaren Menge und Vielfalt an Informationen ergeben sich aus deren Handhabung neue Herausforderungen. Klassische Crawler-Tools, die das Internet oder konkrete Datenbanken durchlaufen und alle aufgefundenen Inhalte zur Weiterverwertung (z. B. für eine Suchmaschine) verfügbar machen, generieren enorme Datenmengen. Als Lösungsansatz für konkrete Anwendungsfälle bieten sich Focused Crawler an, die zwar ebenso auf alle verfügbaren Quellen zurückgreifen, aber nur relevante Informationen berücksichtigen. Wie naheliegend ist der Einsatz von Focused Crawlern für die Suche nach neuen Technologien und Produkten? Und welche Herausforderungen muss man für einen sinnvollen Einsatz bewältigen?