Kategorien
SEO

Robots.txt schnell & einfach optimieren

Die Robots.txt-Datei ist eigentlich eine kleine, simple Datei die nicht viel macht. Jedoch kann sie je nach dem was man anstellt dein größter Freund oder dein größter Feind werden.

Was ist eine Robots.txt Datei?

Die Robots.txt Datei sagt Suchmaschinen/Crawlern/Spidern/Bots welche URLs bzw. Ordner sie eigentlich durchsuchen dürfen.

Warum brauche ich eine Robots.txt Datei?

Nun ja, im Großen und Ganzen sagst du Suchmaschinen ja, was sie indexieren dürfen und was nicht. Wenn du Ihnen nichts sagst, dann indexieren sie einfach alles.

D.h. falls du keine Robots.txt Datei hast, könnten die folgenden Probleme auftreten (LinkedIn hat sich letztens für einen kompletten Tag aus den SERPs gekickt, weil wohl ein Praktikant da einen Fehler gemacht hat, es waren aber auch andere Fehler dabei):

  • Schlechte Crawling-Frequenzen
  • Allgemeine SEO-Fehler
  • Man kann könnte sensible Daten indexieren
  • Es ist einfach für Bots die Seite zu hacken
  • Ggfs. Indexierungsprobleme
  • Du könntest damit Suchmaschinen verwirren

So erstellst du eine Robots.txt Datei

Wenn du WordPress hast, dann gibt es Plugins dafür, vor allem unter Yoast kannst du dir eine Robots.txt generieren lassen und diese auch editieren.

Für alle anderen Webmaster: Ihr könnt einfach den Editor öffnen und eine Text-Datei erstellen, die robots.txt heißt. Diese müsst Ihr in euren Root bzw. Home-Ordner packen und über eine URL wie z.B. www.meinewebseite.de/robots.txt/ erreichbar machen.