¿Qué son las etiquetas meta robots?
The meta robots tag is the tag that we assign to some pages within the <head> section of the HTML. It is used to indicate search engine crawlers how they should behave when they reach to a web page. In this sense, you can ask search engines not to follow the links found on the page (nofollow), not to index (noindex) or not cache (nocache) the page.
La etiqueta de meta robots es de gran valor para optimizar el uso del link juice ya que podrás decidir a qué páginas transferir autoridad o no. Elije cuidadosamente las etiquetas para utilizar en cada situación, ya que esto tiene un impacto directo en la optimización de tu link juice.
Tipos de meta robots:
Puedes asignar muchos tipos de meta robots a una página web. Aquí tienes una lista de los meta tags más importantes y su significado.
- index= Esta etiqueta permite a los motores de búsqueda indexar la página. Viene por defecto, así que si estás de acuerdo en que los motores de búsqueda encuentren y rastreen tus páginas, no es necesario que lo toques.
- noindex= Restringe a los motores de búsqueda de mostrar la página en sus SERPs (resultados del buscador).
- all= Como se mencionó anteriormente, esta etiqueta permite a los motores de búsqueda indexar la página y seguir sus enlaces. "All" es igual a "index follow".
- noimageindex= Prohíbe que los motores de búsqueda muestren una imagen en sus resultados de búsqueda. Pero si la imagen recibe algún enlace, Google seguirá indexándola así que, en este caso, es mejor asignar un HTTP X-Robots-Tag a la cabecera.
- none= Su propósito es pedir a los motores de búsqueda que no indexen ni sigan ningún enlace en esa página: noindex y nofollow. Les dice que no reaccionen cuando vean la página.
- follow= Esta etiqueta de robots invita a Google a seguir los enlaces de la página, independientemente de si son "index" o no.
- nofollow= Pide a los buscadores que no sigan ningún enlace de la página.
- noarchive= Este impide que los motores de búsqueda muestren caché en la página (la información no se almacenará en el navegador del usuario para futuras visitas).
- nocache= Igual que el anterior, pero sólo para MSN/Live.
- nosnippet= No permite que los snippets aparezcan en los SERPs, y también evita la generación de caché.
- noodp= Aunque ya no existe, se usó para evitar que los motores de búsqueda usen la descripción.
- noydir= Impide que Yahoo! use la descripción en su directorio como se mostraría en los resultados de la búsqueda (tampoco se usa, pero puedes encontrarla).
¿Cómo se utiliza más comúnmente la etiqueta de los meta robots?
Si no tienes ninguna etiqueta de meta robots en tu página web, Google indexa y sigue la página por defecto. Es como si tuvieras el "index, follow" ya asignado. A continuación se muestran algunos ejemplos de las combinaciones de etiquetas más comunmente utilizadas.
- "Index, follow" - "indexar la página web sobre SERPs y seguir los enlaces"
- "index, nofollow" - "indexar la página, y no seguir los enlaces"
- "noindex, seguir" - "no indexar la página pero seguir los enlaces"
- "no index, no nollow, no-cache" - "no indexar, no seguir y desactivar el almacenamiento en caché de la página."
Al utilizar la etiqueta meta robots, debes asegurarte de que las directrices dadas en la página actual tienen congruencia con la etiqueta meta robots especificada en las páginas enlazadas. Por ejemplo, si decides añadir "index, follow" a la página actual, las páginas salientes deberían ser indexables y nunca tener una etiqueta "noindex" en sus meta robots.
Cómo comprobar que la etiqueta del meta robot está correctamente implementada
Una vez que hayas asignado la etiqueta meta robots a tus páginas, puede ser difícil comprobar si esta tarea se ha llevado a cabo correctamente, especialmente en sitios web grandes. Para ello, se recomienda utilizar un Web Crawler como FandangoSEO. Una vez que haya rastreado tu sitio, podrás ver tus páginas con "index" y "no index", así como si tiene páginas bloqueadas por robots.txt. Al revisar las listas de URLs con las diferentes etiquetas, puedes asegurarte de que no estás ocultando páginas relevantes en los motores de búsqueda.
El uso de rel nofollow
Cuando utilices la etiqueta meta robots, querrás asignar la regla que mejor se adapte a la mayoría de los enlaces que se encuentran en la página. Dicho esto, a menudo nos encontramos con alguna excepción de enlace en el que no quieres aplicar la regla general. En ese caso, puedes utilizar el rel nofollow. Por ejemplo, si tienes la etiqueta de meta robot "index, follow" en una página pero tiene enlaces específicos que no quieres que sigan los motores de búsqueda, inserta el atributo rel "nofollow" en ellos.
Ejemplo:
<a rel=”nofollow” href=”http://www.examplepage.com”>anchor text</a>
