Ein Crawler, auch bekannt als Webcrawler oder Spider, ist ein automatisiertes Programm, das systematisch das Internet durchsucht, indem es Websites besucht und deren Inhalte analysiert. Suchmaschinen wie Google verwenden Crawler, um neue und aktualisierte Inhalte zu entdecken und zu indizieren, damit sie in den Suchergebnissen präsentiert werden können. Crawlers folgen Links zwischen Websites und sammeln dabei Informationen, die für die Indexierung und das Ranking der Seiten in den Suchergebnissen verwendet werden.