Crawler, Spider oder Robot sind mehr oder weniger Synonyme für die automatischen Programme, mit denen Suchmaschinen das Web nach Suchbegriffen und Verknüpfungen untersuchen. Die Begriffsunterscheidung in Crawler, Spider oder Robot hat aber nicht nur etymologische Hintergründe – Crawler wurde das erste Webprogramm dieser Art genannt – sondern grenzt die Funktionen etwas ab.

Robot steht für immer wiederkehrenden Aufgaben, Spider für einen bestimmten Suchalgorithmus, der nach Vernetzungen sucht. Um durch die Spider gefunden zu werden, muss eine Webseite auf eine bestimmte Weise optimiert werden, was dem Laien gewöhnlich nur unzureichend gelingt. Nur ein Teil des Internets wird durch einen Crawler oder Robot erfasst.