definiere welchen Content Suchmaschinen crawlen dürfen

SEO Adventskalender Tür 10: Crawling-Einstellungen

Es ist durchaus sinnvoll Crawling-Einstellungen vorzunehmen und damit zu definieren, was ein Crawler auf deiner Seite crawlen darf und was nicht. Du kannst nicht nur entscheiden ob der Crawler eine Seite indexiert oder nicht, sondern auch ob er den dort vorhandenen Links folgen soll, oder eben nicht. Beide Einstellungen kannst du unabhängig voneinander definieren. Es ist somit möglich eine Seite zu indexieren, aber den dortigen links nicht zu folgen, genauso umgekehrt. Natürlich kannst du dem Crawler auch beides untersagen. Wenn keine Einstellungen definiert sind, wird auch alles gecrawlt, es sei denn das Crawling-Budget ist aufgebraucht, aber es gibt noch Seiten, die innerhalb dieser Zeit nicht gecrawlt werden konnten.  Dies ist auch der Hauptgrund die Funktion „noindex“ zu nutzen. Sollte dein Projekt über sehr viele Seiten verfügen, kann es Sinn machen zu selektieren, damit Seiten mit einzigartigem und damit stark ranking-relevantem Content auf jeden Fall indexiert werden.

Um das Folgen der Links einer Seite zu verhindern, wird die „nofollow“ Option genutzt. Der Hautgrund liegt in der Regel im Geld verdienen. Große, themenrelevante Netzwerke, Plattformen, Portale etc. bieten häufig ein kostenpflichtiges Profil an. Nur wer dann ein kostenpflichtiges Profil sein Eigen nennt, bekommt einen dofollow Backlink zu seiner Homepage. NoFollow-Links werden zwar auch als Backlinks erkannt, jedoch haben DoFollow-Links deutlich mehr Gewichtung.

Crawling-Einstellungen tätigen mittels robots.txt.

Die einfachste Möglichkeit diese Einstellungen zu setzen ist das Anlegen einer robots.txt Datei. Jeder Bot bzw. Crawler ruft diese Datei ab, sofern vorhanden, und wird entsprechend der dort hinterlegten Anweisungen handeln.

To-Do Crawling-Einstellungen

  • Überprüfe deine robots.txt auf korrekte Einstellungen entsprechend deiner Wünsche zu Crawling-Aktivitäten auf deiner Seite
  • Überprüfe regelmäßig, ob die robots.txt auch korrekt erreichbar ist.
Schenke uns Dein Like, wenn Dir der Artikel gefallen hat follow and like us: