¿Qué es la meta etiqueta robots?
The meta robots tag is the tag that we assign to some pages within the <head> section of the HTML. It is used to indicate search engine crawlers how they should behave when they reach to a web page. In this sense, you can ask search engines not to follow the links found on the page (nofollow), not to index (noindex) or not cache (nocache) the page.
La meta etiqueta robots es de gran valor para optimizar el uso de tu link juice, ya que podrás decidir a qué páginas transferir autoridad o no. Elige cuidadosamente las etiquetas que vas a utilizar en cada situación, ya que esto tiene un impacto directo en la optimización de tu link juice.
Tipos de meta robots:
Puedes asignar muchos tipos de meta robots a una página web. Aquí tienes una lista de las meta etiquetas más importantes y su significado.
- index= Esta etiqueta permite a los motores de búsqueda indexar la página. Viene por defecto, así que, si estás de acuerdo con que los motores de búsqueda encuentren y rastreen tus páginas, no necesitas tocarla.
- noindex= Restringe a los motores de búsqueda mostrar la página en sus SERPs (Páginas de Resultados del Motor de Búsqueda).
- all= Como se mencionó anteriormente, esta etiqueta permite a los motores de búsqueda indexar la página y seguir sus enlaces. “All” es igual a “index follow”.
- noimageindex= Prohíbe a los motores de búsqueda mostrar una imagen en sus resultados de búsqueda. Pero si la imagen recibe algún enlace, Google seguirá indexándola, por lo que, en este caso, es mejor asignar una X-Robots-Tag HTTP a la cabecera.
- none= Su propósito es pedir a los motores de búsqueda que no indexen ni sigan ningún enlace en esa página: noindex y nofollow. Les dice que no reaccionen cuando vean la página.
- follow= Esta etiqueta robots invita a Google a seguir los enlaces de la página, independientemente de si son “index” o no.
- nofollow= Le pide a los motores de búsqueda que no sigan ningún enlace de la página.
- noarchive= Esta etiqueta evita que los motores de búsqueda muestren la caché de la página (la información no se almacenará en el navegador del usuario para futuras visitas).
- nocache= Lo mismo que la anterior, pero solo para MSN/Live.
- nosnippet= No permitirá que aparezcan fragmentos en las SERPs, y también evita la generación de caché.
- noodp= Aunque ya no existe, se utilizaba para evitar que los motores de búsqueda utilizaran la descripción.
- noydir= Evita que Yahoo! utilice la descripción en su directorio tal y como se mostraría en los resultados de búsqueda (tampoco se utiliza, pero puede que te la encuentres).
¿Cómo se utiliza más comúnmente la etiqueta meta robots?
Si no tienes ninguna etiqueta meta robots en tu página web, Google indexa y sigue la página por defecto. Es como si ya tuvieras asignado el “index, follow”. A continuación, te mostramos algunos ejemplos de las combinaciones de etiquetas más utilizadas.
- “Index, follow” – “indexa la página web en las SERPs y sigue los enlaces”
- “index, nofollow” – “indexa la página, y no sigas los enlaces”
- “noindex, follow” – “no indexes la página pero sigue los enlaces”
- “no index, no nollow, no-cache” – “no indexes, no sigas y deshabilita el almacenamiento en caché de la página.”
Cuando utilices la etiqueta meta robots, tienes que asegurarte de que las directrices dadas en la página actual tengan congruencia con la etiqueta meta robots especificada en las páginas enlazadas. Por ejemplo, si decides añadir “index, follow” a la página actual, las páginas salientes deben ser indexables y nunca tener una etiqueta “noindex” en sus meta robots.
¿Cómo comprobar que la etiqueta meta robots está implementada correctamente?
Una vez que hayas asignado la etiqueta meta robots a tus páginas, puede ser difícil comprobar si esta tarea se ha llevado a cabo correctamente, especialmente en sitios web grandes. Para ello, se recomienda utilizar un crawler web como FandangoSEO. Una vez que hayas rastreado tu sitio, podrás ver tus páginas indexadas y no indexadas, así como si tienes páginas bloqueadas por robots.txt. Al revisar las listas de URLs con las diferentes etiquetas, puedes asegurarte de que no estás ocultando páginas relevantes en los motores de búsqueda.
El uso de rel nofollow
Cuando utilizas la etiqueta meta robots, quieres asignar la regla que mejor se adapte a la mayoría de los enlaces que se encuentran en la página. Dicho esto, a menudo nos encontramos con alguna excepción de enlaces en los que no quieres aplicar la regla general. En ese caso, puedes utilizar el rel nofollow. Por ejemplo, si tienes la etiqueta meta robot “index, follow” en una página pero tienes enlaces específicos que no quieres que los motores de búsqueda sigan, inserta el atributo rel “nofollow” en ellos.
Ejemplo:
<a rel=”nofollow” href=”http://www.examplepage.com”>anchor text</a>
