Crawler

Der Crawler (auch Webcrawler, Spider oder Searchbot) ist eine Software welche automatisch das Internet durchsucht.

Crawler werden oft von Google eingesetzt um neue Seiten und Aktualisierungen von Internetseiten zu indexieren. Hierbei sollte man drauf achten, dass Seiten welche nicht in den Index genommen werden sollen verschiedene Möglichkeiten einen noindex bekommen.

Um die Seite für Crawler optimal lesbar zu machen sollte jede Homepage über eine XML-Sitemap verfügen.