“Noindex”-Direktiven weisen Suchmaschinen an, eine Seite aus dem Index auszuschließen, so dass sie nicht in den Suchergebnissen erscheinen kann.
“Noindex” Meta-Robots-Tags
Die gebräuchlichste Methode, Suchmaschinen anzuweisen, eine Seite nicht zu indizieren, ist das Einfügen eines Meta-Robots-Tags innerhalb des -Tags einer HTML-Seite mit einer “noindex”-Direktive wie unten:
Um 2007 begannen die großen Suchmaschinen, die Unterstützung für “noindex”-Direktiven in Meta-Robots-Tags zu implementieren. Meta-Robots-Tags können auch andere Direktiven enthalten, wie z. B. die “follow”- oder “nofollow”-Direktive, die Suchmaschinen anweist, die auf der aktuellen Seite gefundenen Links zu crawlen oder nicht zu crawlen.
Normalerweise verwenden Webmaster die Direktive “noindex”, um zu verhindern, dass Inhalte indiziert werden, die nicht für Suchmaschinen bestimmt sind.
Einige häufige Anwendungsfälle für “noindex”-Direktiven:
Seiten, die sensible Informationen enthalten
Einkaufswagen oder Checkout-Seiten auf einer eCommerce-Website
Alternative Versionen von Seiten für aktive A/B- oder Split-Tests
“Staging”-Versionen (oder in Arbeit befindliche Seiten), die noch nicht für die öffentliche Nutzung bereit sind
“Noindex”-Antwort-Header
Zusätzlich unterstützen Suchmaschinen eine “noindex”-Direktive, die über die HTTP-Antwort-Header für eine bestimmte Seite übermittelt wird. Dieser Ansatz ist zwar weniger verbreitet und kann mit gängigen SEO-Tools schwieriger zu identifizieren sein, aber manchmal ist es für Techniker oder Webmaster einfacher, ihn aufgrund ihrer Serverkonfiguration einzubauen.
Der Name und der Wert für einen “noindex”-Antwort-Header lauten wie folgt:
X-Robots-Tag: noindex
SEO Best Practices für “noindex”-Direktiven
- Vermeiden Sie die Verwendung von “noindex” auf wertvollen Seiten
Das versehentliche Einfügen eines “noindex”-Tags oder einer Direktive auf einer wertvollen Seite kann dazu führen, dass diese Seite aus den Indizes der Suchmaschinen entfernt wird und keinen organischen Traffic mehr erhält.
Wenn zum Beispiel eine neue Website-Version gestartet wird, aber die “noindex”-Tags, die verhindern sollten, dass Suchmaschinen die neuen Seitenversionen indizieren, bevor sie fertig sind, an Ort und Stelle belassen werden, kann die neue Website-Version sofort keinen Traffic mehr von der Suche erhalten.
- Verstehen Sie, dass “noindex” letztendlich wie “nofollow” behandelt wird
Webmaster haben oft Meta-Robots-Tags oder Antwort-Header verwendet, um den Suchmaschinen zu signalisieren, dass die aktuelle Seite nicht indiziert werden soll, aber die Links auf der Seite trotzdem gecrawlt werden sollen, wie mit dem folgenden Meta-Robots-Tag:
Dies wird üblicherweise für paginierte Listenseiten verwendet. Zum Beispiel kann “noindex,follow” auf die Archivseiten eines Blogs angewendet werden, um zu verhindern, dass die Archivseiten selbst in den Suchergebnissen erscheinen, aber den Suchmaschinen zu erlauben, die Blogbeiträge selbst zu crawlen, zu indizieren und zu ranken.
Dieser Ansatz funktioniert jedoch möglicherweise nicht wie beabsichtigt, da Google erklärt hat, dass ihre Systeme eine “noindex,follow”-Direktive schließlich als “noindex,nofollow” behandeln – mit anderen Worten, sie werden schließlich aufhören, die Links auf jeder Seite mit einer “noindex”-Direktive zu crawlen. Dies kann dazu führen, dass die Zielseiten der Links überhaupt nicht mehr indiziert werden oder ihr PageRank bzw. ihre Autorität reduziert wird, wodurch ihr Ranking für relevante Keywords sinkt.
- Vermeiden Sie die Verwendung von “noindex”-Regeln in Robots.txt-Dateien
Obwohl nie offiziell unterstützt, respektierten Suchmaschinen eine Zeit lang “noindex”-Direktiven in robots.txt-Regeln. Da robots.txt-Regeln mit Wildcards auf viele Seiten gleichzeitig angewendet werden können, ohne dass Änderungen an den Seiten selbst erforderlich sind, wurde diese Methode von vielen Webmastern bevorzugt. Google empfiehlt diese Verwendung von robots.txt-Dateien zum Setzen von “noindex”-Direktiven nicht und hat den Code, der diese Regeln unterstützte, im September 2019 eingestellt.