Wat is de meta robots tag?
The meta robots tag is the tag that we assign to some pages within the <head> section of the HTML. It is used to indicate search engine crawlers how they should behave when they reach to a web page. In this sense, you can ask search engines not to follow the links found on the page (nofollow), not to index (noindex) or not cache (nocache) the page.
De meta robots tag is van grote waarde om het gebruik van uw link sap te optimaliseren, omdat u in staat zult zijn om te beslissen naar welke pagina's u al dan niet autoriteit wilt overdragen. Kies zorgvuldig de tags die u in elke situatie wilt gebruiken, omdat dit een directe invloed heeft op de optimalisatie van uw link sap.
Soorten metarobots:
U kunt vele soorten metarobots toewijzen aan een webpagina. Hier heb je een lijst met de belangrijkste metatags en de betekenis ervan.
- index= Met deze tag kunnen zoekmachines de pagina indexeren. Het wordt standaard geleverd, dus als u in orde bent met zoekmachines die uw pagina's vinden en volgen, hoeft u deze niet aan te raken.
- noindex= Het beperkt zoekmachines om de pagina op hun SERPs (Search Engine Results Pages) te tonen.
- all= Zoals hierboven vermeld, laat deze tag zoekmachines toe om de pagina te indexeren en de links te volgen. "Alles" staat gelijk aan "index volgen."
- noimageindex= Het verbiedt zoekmachines om een afbeelding te tonen op hun zoekresultaten. Maar als de afbeelding een link ontvangt, zal Google deze blijven indexeren, in dit geval is het beter om een X-Robots-Tag HTTP toe te wijzen aan de header.
- none= Het doel is om zoekmachines te vragen om geen indexering of een link op die pagina te volgen: no index en nofollow. Het vertelt hen om niet te reageren als ze de pagina zien.
- follow= Deze robots tag nodigt Google uit om de links op de pagina te volgen, ongeacht of ze "index" zijn of niet.
- nofollow= Het vraagt zoekmachines om geen links van de pagina te volgen.
- noarchive= Deze voorkomt dat zoekmachines de cache op de pagina tonen (de informatie wordt niet opgeslagen in de browser van de gebruiker voor toekomstige bezoeken).
- nocache= Hetzelfde als de vorige, maar alleen voor MSN/Live.
- nosnippet= Het laat de fragmenten niet verschijnen op de SERPs, en het voorkomt ook dat de cachegeneratie plaatsvindt.
- noodp= Hoewel het niet meer bestaat, werd het gebruikt om te voorkomen dat zoekmachines de beschrijving konden gebruiken.
- noydir= Het voorkomt dat Yahoo! de beschrijving in zijn directory gebruikt zoals die in de zoekresultaten zou worden getoond (het wordt ook niet gebruikt, maar je kan het tegenkomen).
Hoe wordt de meta robots tag het meest gebruikt?
Als u geen meta robots tag op uw webpagina heeft, indexeert en volgt Google de pagina standaard. Het is alsof je de "index, volg" al had toegewezen. Hieronder staan enkele voorbeelden van de meest gebruikte combinaties van tags.
- Index, volg" - "indexeer de webpagina over SERPs en volg de links" - "indexeer de webpagina over SERPs en volg de links".
- "index, nofollow" - "indexeren van de pagina, en niet de links volgen" - "indexeren van de pagina, en niet volgen de links"
- "no index, follow" - "niet de pagina indexeren maar de links volgen" - "niet de pagina indexeren maar de links volgen".
- "geen index, geen nollow, geen cache" - "niet indexeren, niet volgen en het cachen voor de pagina uitschakelen.".
Wanneer u de meta robots tag gebruikt, moet u ervoor zorgen dat de richtlijnen die in de huidige pagina worden gegeven, overeenkomen met de meta robots tag die in de gelinkte pagina's is gespecificeerd. Als u bijvoorbeeld besluit om "index, volg" toe te voegen aan de huidige pagina, moeten de uitgaande pagina's indexeerbaar zijn en nooit een "noindex"-tag in de metarobots hebben.
Hoe kan ik controleren of de tag voor metarobots correct is geïmplementeerd?
Als je eenmaal de meta robots tag aan je pagina's hebt toegewezen, kan het moeilijk zijn om te controleren of deze taak correct is uitgevoerd, vooral op grote websites. Het is aan te raden om hiervoor een webcrawler zoals FandangoSEO te gebruiken. Zodra u uw site hebt gecrawld, kunt u uw index- en geen-indexpagina's zien, evenals pagina's die geblokkeerd zijn door robots.txt. Door de lijsten met URL's met de verschillende tags te bekijken, kunt u ervoor zorgen dat u geen relevante pagina's in de zoekmachines verbergt.
Het gebruik van rel nofollow
Wanneer u de meta robots tag gebruikt, wilt u de regel toewijzen die het beste past bij de meeste links op de pagina. Dat gezegd hebbende, komen we vaak tegen met uitzondering van enkele links waar je de algemene regel niet wilt toepassen. In dat geval kunt u de rel nofollow gebruiken. Als je bijvoorbeeld de meta robot tag "index, volg" in een pagina hebt, maar je hebt specifieke links die je niet wilt dat zoekmachines deze volgen, voeg dan het rel "nofollow" attribuut toe.
Voorbeeld:
<a rel=”nofollow” href=”http://www.examplepage.com”>anchor text</a>
