Robots.txt Beste Praktiken

Auch wenn SEO-Spezialisten den größten Teil ihrer Bemühungen darauf verwenden, die Sichtbarkeit von Seiten für die entsprechenden Keywords zu verbessern, ist es in einigen Fällen erforderlich, bestimmte Seiten vor Suchmaschinen zu verstecken. Lasst uns ein wenig mehr über dieses Thema erfahren.

Was ist eine robots.txt-Datei?

Robots.txt ist eine Datei, die die Bereiche einer Website enthält, in denen Suchmaschinen-Robots das Crawlen verboten ist. Es listet die URLs auf, die der Webmaster nicht von Google oder einer Suchmaschine indizieren lassen möchte, und verhindert, dass sie die ausgewählten Seiten besuchen und verfolgen.
Wenn ein Bot eine Website im Internet findet, überprüft er zunächst die Datei robots.txt, um zu erfahren, was er erkunden darf und was er während des Crawls ignorieren muss.

Um Ihnen ein Beispiel für robots.txt zu geben, ist dies die Syntax:

User-agent: *

# All bots - Old URLs

Allow: /

Disallow: /admin/*

 

Was ist robots.txt in SEO?

Diese Tags sind erforderlich, um die Google-Bots beim Auffinden einer neuen Seite zu führen. Sie sind notwendig, weil:

- Sie helfen, das Crawl-Budget zu optimieren, da die Spinne nur das besucht, was wirklich relevant ist, und sie wird ihre Zeit beim Crawlen einer Seite besser nutzen. Ein Beispiel für eine Seite, die Google nicht finden soll, ist eine "Danke-Seite".

- Die Datei Robots.txt ist eine gute Möglichkeit, die Indexierung von Seiten zu erzwingen, indem Sie auf die Seiten hinweisen.

- Robots.txt-Dateien steuern den Crawler-Zugriff auf bestimmte Bereiche Ihrer Website.

- Sie können ganze Abschnitte einer Website sicher halten, da Sie separate robots.txt-Dateien pro Root-Domäne erstellen können. Ein gutes Beispiel ist - Sie haben es erraten - natürlich die Seite mit den Zahlungsdaten.

- Sie können auch verhindern, dass interne Suchergebnisseiten auf den SERPs erscheinen.

- Robots.txt kann Dateien ausblenden, die nicht indiziert werden sollen, wie z.B. PDFs oder bestimmte Bilder.

 

Wo findest du die Datei robots.txt?

Robots.txt-Dateien sind öffentlich. Du kannst einfach eine Root-Domain eingeben und /robots.txt am Ende der URL hinzufügen und du siehst die Datei....wenn es eine gibt!

Warnung: Vermeiden Sie es, private Informationen in dieser Datei aufzulisten.

Sie können die Datei im Stammverzeichnis Ihres Hostings finden und bearbeiten, indem Sie den Datei-Administrator oder das FTP der Website überprüfen.

 

Wie man robots.txt bearbeitet

Du kannst es selbst machen.

- Erstellen oder bearbeiten Sie die Datei mit einem einfachen Texteditor.

- Benennen Sie die Datei "robots.txt", ohne Variationen wie Großbuchstaben.

Es sollte so aussehen, wenn Sie die Website durchsuchen lassen möchten:


User-agent: *
Disallow:

- Beachten Sie, dass wir "Verbieten" leer gelassen haben, was bedeutet, dass es nichts gibt, was nicht gecrawlt werden darf.

Wenn Sie eine Seite blockieren wollen, dann fügen Sie diese hinzu (am Beispiel der "Danke-Seite"):


User-agent: *
Disallow: /thank-you/

- Verwenden Sie für jede Subdomain eine separate robots.txt-Datei.

- Platzieren Sie die Datei im obersten Verzeichnis der Website.

- Sie können die robots.txt-Dateien mit den Google Webmaster-Tools testen, bevor Sie sie in Ihr Stammverzeichnis hochladen.

- Beachten Sie, dass FandangoSEO der ultimative robots.txt-Checker ist. Benutzen Sie es, um sie zu überwachen!

Sehen Sie, dass es nicht so schwierig ist, Ihre robots.txt-Datei zu konfigurieren und jederzeit zu bearbeiten. Denke nur daran, dass alles, was du wirklich von dieser Aktion willst, ist, das Beste aus den Bots-Besuchen zu machen. Indem Sie sie daran hindern, irrelevante Seiten zu sehen, stellen Sie sicher, dass ihre Zeit auf der Website viel profitabler wird.

Schließlich denken Sie daran, dass die SEO Best Practice für robots.txt darin besteht, sicherzustellen, dass alle relevanten Inhalte indexierbar und bereit für das Crawlen sind! Sie können den Prozentsatz der indexierbaren und nicht indexierbaren Seiten an den Gesamtseiten einer Website mit dem Crawl von FandangoSEO sowie die von der Datei robots.txt blockierten Seiten sehen.

 

Hast du schon eine robots.txt-Datei hinzugefügt?

Roboter jetzt prüfen

 

Pfeil nach oben