Die Crawl-Tiefe einer Website bezieht sich auf den Umfang, in dem eine Suchmaschine den Inhalt der Website indiziert. Eine Website mit hoher Crawl-Tiefe wird viel mehr indiziert als eine Website mit niedriger Crawl-Tiefe.
crawl-depth-search-engine-spider
Wie indiziert Google eine Website?
Wenn Sie eine Google-Suche durchführen, müssen alle Informationen in den organischen Suchergebnissen von irgendwoher kommen. Dieser Ort ist der Index von Google. Stellen Sie sich den Index als eine riesige, wachsende Bibliothek von Informationen vor. Diese Informationen liegen in vielen Formen vor: Text, Bilder, Videos, Dokumente und so weiter.
Suchmaschinen-Crawler, auch bekannt als Webspider, sind Bots, die neue Webseiten besuchen und sie für die Suchmaschine speichern, um sie später zu indizieren. Crawler speichern auch alle Hyperlinks, die auf den Seiten erscheinen, und sie können diese verlinkten Seiten entweder sofort oder später besuchen. Unabhängig davon signalisieren interne Hyperlinks den Crawlern, dass es mehr Daten zu speichern und zu indizieren gibt.
Wenn Sie also eine neue Seite auf Ihrer Website erstellen, können Sie sich so richtig austoben. Solange Sie von anderen Seiten Ihrer Website auf die neue Seite verlinken, wird der Crawler von Google irgendwann dem Link folgen und der Suchmaschine mitteilen, dass Ihr neues Material indiziert werden soll.
Der Aufbau interner Links ist also ein wichtiger Teil der Crawl-Tiefe. Wenn Sie keine Links haben, können Crawler nicht leicht durch Ihre Website navigieren, was bedeutet, dass weniger Ihrer Inhalte indiziert werden und Sie in den organischen Suchergebnissen leiden werden.
Wenn Sie möchten, dass Ihre neue Seite so schnell wie möglich indexiert wird, können Sie sie alternativ direkt an Google übermitteln. Suchen Sie einfach in der Google-Suche “URL an Google übermitteln” und fügen Sie die URL für die neue Seite in das Eingabefeld ein.
Wie oft crawlt Google meine Website?
Denken Sie darüber nach, wie Google sein Geschäft betreibt: Es zieht Internetnutzer an, damit es Anzeigenplätze an Werbetreibende verkaufen kann. Ohne die Nutzer gäbe es keine Nachfrage nach Werbeplätzen, und Google würde im Wesentlichen alle seine Einnahmen verlieren.
Daher ist es sehr wichtig, dass Google seine Suchergebnisse aktuell und relevant hält. Daher hängt die Crawl-Häufigkeit – wie oft eine Website gecrawlt und indiziert wird – weitgehend von der Bedeutung der Website ab. Während z. B. Mainstream-Nachrichten fast ständig gecrawlt werden, wird das kleine Garagentorgeschäft Ihres Freundes nur gelegentlich gecrawlt.
Auch die Geschwindigkeit Ihrer Website ist ein wichtiger Faktor. Wenn Google Ihre Website crawlt und Ihre Website beginnt, langsamer zu werden oder Ihr Server ausfällt, wird der Crawler weniger tun. Sie möchten nicht, dass der Crawler weniger tut, denn das bedeutet weniger Sichtbarkeit für Ihre Website. Eine schnelle und leicht navigierbare Website ist entscheidend für das Überleben in den organischen Suchergebnissen.
Was kann ich tun?
Es ist eine gute Idee, eine XML-Sitemap zu pflegen, um Google ein Verzeichnis der Seiten zur Verfügung zu stellen, die es regelmäßig crawlen muss.
Behalten Sie Redirects und tote 404-Seiten im Auge. Eine Weiterleitung ist nicht das Ende der Welt, aber sie verlangsamt den Crawler. Google wird nicht unendlich viele Ressourcen für das Crawlen Ihrer Website bereitstellen, daher ist es am besten, wenn Sie es so schnell wie möglich machen. Tote 404-Dateien sind sogar noch schlimmer, da sie im Wesentlichen als Straßensperren fungieren.
Achten Sie auch auf doppelte Inhalte. Den Crawler zu zwingen, dieselbe Seite zwei-, drei- oder viermal zu besuchen, ist eine komplette Verschwendung von Zeit und Ressourcen. Es hält den Crawler davon ab, neue, relevante Seiten auf Ihrer Website zu besuchen und verschlechtert Ihre Leistung in den organischen Ergebnissen.