Robots.txt Best practices

Hoewel SEO-specialisten de meeste aandacht besteden aan het verbeteren van de zichtbaarheid van pagina's voor de bijbehorende trefwoorden, is het in sommige gevallen nodig om bepaalde pagina's te verbergen voor zoekmachines. Laten we meer te weten komen over dit onderwerp.

Wat is een robots.txt bestand?

Robots.txt is een bestand dat de delen van een website bevat waar zoekmachinerobots niet mogen kruipen. Het geeft de URL's weer waarvan de webmaster niet wil dat Google of een andere zoekmachine ze indexeert en voorkomt dat ze de geselecteerde pagina's kunnen bezoeken en volgen.
Wanneer een bot een website op het internet vindt, is het eerste wat hij doet het robots.txt-bestand te controleren om te weten te komen wat hij mag verkennen en wat hij moet negeren tijdens de crawl.

Om u een robots.txt voorbeeld te geven, dit is de syntaxis ervan:

User-agent: *

# All bots - Old URLs

Allow: /

Disallow: /admin/*

 

Wat is robots.txt in SEO?

Deze tags zijn nodig om de Google-bots te begeleiden bij het vinden van een nieuwe pagina. Ze zijn nodig omdat:

- Ze helpen het kruipbudget te optimaliseren, omdat de spin alleen datgene bezoekt wat echt relevant is en zijn tijd beter zal gebruiken om een pagina te kruipen. Een voorbeeld van een pagina die u niet door Google wilt laten vinden is een "bedankpagina".

- Het Robots.txt bestand is een goede manier om pagina-indexering te forceren, door de pagina's aan te wijzen.

- Robots.txt-bestanden controleren de crawlertoegang tot bepaalde delen van uw site.

- Ze kunnen hele delen van een website veilig bewaren, omdat u aparte robots.txt-bestanden per hoofddomein kunt aanmaken. Een goed voorbeeld is -je raadt het al - de pagina met betalingsgegevens, natuurlijk.

- U kunt ook voorkomen dat interne zoekresultatenpagina's op de SERPs verschijnen.

- Robots.txt kan bestanden verbergen die niet geïndexeerd zouden moeten worden, zoals PDF's of bepaalde afbeeldingen.

 

Waar vind je robots.txt

Robots.txt bestanden zijn openbaar. U kunt eenvoudigweg een root-domein intypen en /robots.txt toevoegen aan het einde van de URL en u ziet het bestand....als er een is!

Waarschuwing: vermijd het vermelden van persoonlijke informatie in dit bestand.

U kunt het bestand vinden en bewerken in de hoofdmap van uw hosting, waarbij u de bestanden admin of de FTP van de website controleert.

 

Hoe robots.txt bewerken

Je kunt het zelf doen.

- Maak of bewerk het bestand met een tekstverwerker met platte tekst of bewerk het bestand

- Noem het bestand "robots.txt", zonder enige variatie zoals het gebruik van hoofdletters.

Het zou er zo uit moeten zien als je de site wilt laten kruipen:


User-agent: *
Disallow:

- Merk op dat we "Disallow" leeg hebben gelaten, wat aangeeft dat er niets is dat niet mag worden gekropen.

Als u een pagina wilt blokkeren, voeg deze dan toe (met behulp van het voorbeeld "Bedankt pagina"):


User-agent: *
Disallow: /thank-you/

- Gebruik een apart robots.txt-bestand voor elk subdomein.

- Plaats het bestand in de bovenste directory van de website.

- U kunt de robots.txt-bestanden testen met behulp van Google Webmaster Tools voordat u ze naar uw hoofdmap uploadt.

- Let op dat FandangoSEO de ultieme robots.txt checker is. Gebruik het om ze in de gaten te houden!

Het is niet zo moeilijk om je robots.txt bestand te configureren en te bewerken wanneer je maar wilt. Houd er gewoon rekening mee dat het enige wat je echt wilt van deze actie is om het meeste uit de bots bezoeken te halen. Door te voorkomen dat ze irrelevante pagina's zien, zorgt u ervoor dat hun tijd die ze op de website doorbrengen, veel winstgevender is.

Tot slot, vergeet niet dat de SEO best practice voor robots.txt is om ervoor te zorgen dat alle relevante inhoud indexeerbaar is en klaar om te worden gecrawld! U kunt het percentage indexeerbare en niet-indexeerbare pagina's zien ten opzichte van het totaal aantal pagina's van een site met behulp van FandangoSEO's crawl, evenals de pagina's die geblokkeerd worden door de bestandsrobots.txt.

 

Heb je al een robots.txt bestand toegevoegd?

Controleer nu Robots

 

Pijl omhoog