Crawler, Spider oder Robot sind mehr oder weniger Synonyme für die automatischen Programme, mit denen Suchmaschinen das Web nach Suchbegriffen und Verknüpfungen untersuchen. Die Begriffsunterscheidung in Crawler, Spider oder Robot hat aber nicht nur etymologische Hintergründe – Crawler wurde das erste Webprogramm dieser Art genannt – sondern grenzt die Funktionen etwas ab.

…