Aunque los especialistas en SEO dedican la mayor parte de sus esfuerzos a mejorar la visibilidad de las páginas para sus palabras clave correspondientes, en algunos casos es necesario ocultar determinadas páginas a los motores de búsqueda. Profundicemos un poco más en este tema, desde los conceptos básicos hasta la sintaxis avanzada, y veamos cómo se aplica también a los rastreadores de IA.

 

¿Qué es un archivo robots.txt?

Robots.txt es un archivo que contiene las áreas de un sitio web donde los robots de los motores de búsqueda tienen prohibido el rastreo. Enumera las URLs que el webmaster no quiere que Google o cualquier motor de búsqueda indexe, impidiendo que visiten y rastreen las páginas seleccionadas. Logramos esto a través de la etiqueta robots.txt disallow que verás en los ejemplos más adelante.

Cuando un bot encuentra una página web en Internet, lo primero que hace es consultar el archivo robots.txt para saber qué puede explorar y qué debe ignorar durante el proceso de rastreo ( crawl).

Ejemplo de Robots.txt

Para darte un ejemplo de un archivo robots.txt, esta es su sintaxis:

User-agent: *

# Todos los bots – URL antiguas

Permitir: /

Prohibir: /admin/*

 

¿Qué es robots.txt en SEO?

Estos tags son necesarios para guiar a los bots de Google cuando encuentran una página nueva. Son necesarios porque:

• Ayudan a optimizar el presupuesto decrawl , ya que el rastreador solo visitará lo que sea realmente relevante y aprovechará mejor el tiempo que dedica a rastrear una página. Un ejemplo de página que no te interesaría que Google encontrara es una «página de agradecimiento».
• El archivo robots.txt es una buena forma de forzar la indexación de las páginas, indicando cuáles son.
• Los archivos «robots.txt» controlan el acceso de crawler a determinadas secciones de tu sitio web.
• Permiten proteger secciones completas de un sitio web, ya que se pueden crear archivos robots.txt independientes para cada dominio raíz. Un buen ejemplo es, como habrás adivinado, la página de datos de pago.
• También puedes evitar que las páginas de resultados de búsqueda interna aparezcan en las SERPs.
• Robots.txt puede ocultar archivos que no deberían indexarse, como PDFs o ciertas imágenes.

 

¿Dónde encuentras el archivo robots.txt?

Los archivos robots.txt son públicos. Basta con escribir un dominio raíz y añadir «/robots.txt» al final de la URL para ver el archivo, si es que existe.

Advertencia: evita incluir información privada en este archivo.

Puedes encontrar y editar el archivo en el directorio raíz de tu hosting, revisando los archivos admin o el FTP del sitio web.

 

Cómo editar el archivo robots.txt

Puedes hacerlo tú mismo

• Crea o edita el archivo con un editor de texto sin formato.
• Nombra el archivo “robots.txt”, sin ninguna variación como usar letras mayúsculas.

Aquí tienes un ejemplo de cuando quieres que se rastree el sitio. Presta atención a cómo usamos el tag robots.txt disallow.

User-agent: *
Disallow:

Observa que dejamos “Disallow” vacío, lo que indica que no hay nada que no se permita rastrear.

En caso de que quieras bloquear una página, añade esto (usando el ejemplo de la “Página de agradecimiento”):

User-agent: *
Disallow: /thank-you/

• Usa un archivo robots.txt separado para cada subdominio.
• Coloca el archivo en el directorio de nivel superior del sitio web.
• Puedes comprobar el archivo robots.txt mediante Google Search Console antes de subirlo a tu directorio raíz. La herramienta «Inspección de URL» te indicará si una URL concreta está bloqueada.
• Ten en cuenta que FandangoSEO es la mejor herramienta para comprobar archivos robots.txt. Úsala para supervisarlos.

Ya ves, no es tan difícil configurar tu archivo robots.txt y editarlo en cualquier momento. Solo ten en cuenta que el objetivo de esta acción es sacar el máximo partido a las visitas de los bots. Al impedir que accedan a páginas irrelevantes, te asegurarás de que el tiempo que pasan en la web sea mucho más provechoso.

Por último, recuerda que la mejor práctica de SEO para el archivo robots.txt consiste en asegurarte de que todo el contenido relevante sea indexable y esté listo para ser rastreado. Puedes consultar el porcentaje de páginas indexables y no indexables respecto al total de páginas de un sitio web mediante la herramienta « crawl » de FandangoSEO, así como las páginas bloqueadas por el archivo robots.txt.

 

Sintaxis avanzada de robots.txt

Los ejemplos anteriores abarcan los conceptos básicos, pero el archivo robots.txt admite algunas directivas y reglas de coincidencia de patrones más que conviene conocer cuando se gestiona un sitio web más grande o complejo.

Los comodines y el ancla de fin de cadena

El analizador de robots.txt de Google admite dos caracteres especiales: *, que coincide con cualquier secuencia de caracteres, y $, que indica el final de una URL. Esto te permite escribir reglas que abarquen un patrón en lugar de una ruta concreta.

User-agent: *

Prohibir: /*.pdf$

Prohibir: /*?sort=

La primera línea bloquea todas las URL que terminan en .pdf, independientemente de dónde se encuentre en la página. El segundo bloquea cualquier URL que contenga un ?sort= parámetro, que es una forma habitual de mantener las páginas de filtros por facetas u ordenadas fuera del índice sin tener que enumerarlas una por una.

 

Prioridad de «Permitir» y «Prohibir»

Cuando una regla de «Permitir» y una regla de «Prohibir» puedan aplicarse ambas a la misma URL, prevalecerá la regla más específica, independientemente de cuál aparezca primero en el archivo.

User-agent: *

Prohibir: /downloads/

Permitir: /downloads/catalog.pdf

Aquí, todo lo que hay en /downloads/ queda bloqueado, salvo ese archivo concreto, ya que la regla «Allow» es más específica que la regla «Disallow» más general que la precede.

La directiva «Sitemap»

Puedes indicar a los rastreadores que accedan directamente a tu mapa del sitio desde el archivo robots.txt, lo que ayuda a cualquier crawler a encontrarlo sin necesidad de enviarlo por separado:

Mapa del sitio: https://www.example.com/sitemap.xml

Esta línea puede aparecer en cualquier parte del archivo y funciona independientemente de cualquier grupo de User-agent.

La directiva « Crawl-delay»

Crawl-delay indica a un bot cuántos segundos debe esperar entre cada solicitud, con el fin de evitar la sobrecarga del servidor:

User-agent: *
Crawl -delay: 10

Es importante saberlo antes de confiar en ello: Googlebot ignora por completo la directiva « Crawl-delay». Si necesitas controlar la velocidad a la que Google rastrea tu sitio web, debes hacerlo a través de la configuración de la frecuencia de rastreo ( crawl ) en Google Search Console. Bing y Yandex sí respetan esta directiva, por lo que sigue siendo útil si te preocupa la carga que estos rastreadores suponen para el servidor.

El archivo robots.txt y los rastreadores de IA

El archivo robots.txt ya no es solo para los motores de búsqueda tradicionales. Herramientas como ChatGPT, Claude y Perplexity cuentan con sus propios rastreadores, y puedes controlar su acceso de la misma forma que lo harías con Googlebot, por su nombre.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

Algunas cosas que conviene saber sobre los principales:

• GPTBot es el « crawler » de OpenAI, que se utiliza para recopilar contenido que sirve de base a ChatGPT.
• ClaudeBot es el « crawler » de Anthropic, que se utiliza para generar el contenido que alimenta a Claude.
• PerplexityBot es el « crawler » de Perplexity, que se utiliza para ofrecer respuestas en tiempo real y con referencias.
• Google-Extended es independiente del Googlebot habitual. Controla si tu contenido puede utilizarse para entrenar los modelos de IA de Google. Bloquearlo no afecta a tu posicionamiento habitual en la Búsqueda de Google, ya que se trata de dos sistemas independientes.

Al igual que ocurre con cualquier crawler, el archivo robots.txt es una recomendación más que un bloqueo obligatorio; los rastreadores que se comportan correctamente lo respetan, pero el archivo en sí no dispone de ningún medio técnico para obligar a su cumplimiento. Para obtener una visión más completa sobre cómo optimizar tu sitio web específicamente para los rastreadores de IA, incluyendo la representación y los datos estructurados, consulta nuestra guía sobre SEO técnico para motores de búsqueda de IA.

Mejores prácticas SEO para Robots.txt

Sigue estos consejos para gestionar correctamente el archivo robots.txt:

No bloquees contenido que quieras que se rastree

Tampoco deberías bloquear secciones del sitio web que deberían ser rastreadas.

Ten en cuenta que los bots no seguirán los enlaces de las páginas bloqueadas por robots.txt

A menos que también estén enlazados desde otras páginas a las que los motores de búsqueda puedan acceder porque no han sido bloqueadas, los recursos enlazados no se rastrearán y podrían no indexarse.

Además, ningún valor de enlace puede pasar de la página bloqueada al destino del enlace. Si tienes páginas a las que quieres dar autoridad, debes utilizar un mecanismo de bloqueo distinto al robots.txt.

No uses robots.txt para evitar mostrar datos confidenciales en la página de resultados del motor de búsqueda

Otras páginas pueden enlazar directamente a la página que contiene información confidencial (evitando así las directrices de robots.txt en tu dominio raíz o página de inicio), por lo que aún puede indexarse.

Deberías utilizar un método diferente, como la protección con contraseña o la metaetiqueta noindex, para evitar que la página aparezca en los resultados de búsqueda de Google.

Recuerda que bloquear una página en el archivo robots.txt no la elimina del índice.

Esto confunde a la gente más a menudo de lo que cabría esperar. Si una página ya está indexada y la bloqueas con «Disallow», Google deja de rastrearla, pero eso por sí solo no la elimina de los resultados de búsqueda, ya que Google puede seguir mostrando la URL en función de los enlaces que apuntan a ella. Y si añades una etiqueta «noindex» a esa misma página con la esperanza de que se elimine, tampoco funcionará, porque una página bloqueada no puede rastrearse, lo que significa que Google nunca podrá ver realmente la etiqueta «noindex». Para eliminar una página del índice correctamente, utiliza primero «noindex» y deja que se rastree; después, bloquéala si aún así lo deseas.

Recuerda que algunos motores de búsqueda tienen múltiples user agents

Google, por ejemplo, utiliza GoogleBot para la búsqueda orgánica y GoogleBot-Image para la búsqueda de imágenes.

La mayoría de los agentes de usuario de un mismo motor de búsqueda siguen las mismas reglas, por lo que no es necesario especificar directrices para cada motor de búsqueda crawler; sin embargo, hacerlo te permite controlar cómo se rastreará el contenido del sitio.

El motor de búsqueda guarda en caché el contenido del archivo robots.txt, pero normalmente actualiza los datos almacenados en caché diariamente

Si cambias el archivo y quieres actualizarlo más rápido, puedes enviar la URL del robots.txt a Google.

No bloquees por error tus archivos CSS o JavaScript

Esto pasa fácilmente desapercibido, sobre todo en sitios web más antiguos con reglas «Disallow» muy generales para carpetas como /assets/ o /static/. Si Google, o cualquier e crawler a de IA que genere páginas, no puede recuperar el CSS y el JavaScript que necesita una página, no podrá verla tal y como la ve un visitante real, lo que puede afectar tanto a su indexación como a su comprensión. Comprueba siempre que tus reglas «Disallow» no bloqueen archivos de recursos junto con las páginas que realmente querías bloquear.

Limitaciones del archivo Robots.txt

Por último, vamos a ver qué aspectos limitan la función del archivo robots.txt:

Las páginas seguirán apareciendo en los resultados de búsqueda

Aquellas páginas que son inaccesibles para los motores de búsqueda debido al archivo robots.txt pero que tienen enlaces a ellas pueden seguir apareciendo en los resultados de búsqueda desde una página rastreable.

Solo contiene directivas

Google respeta mucho el archivo robots.txt, pero sigue siendo una directiva y no una obligación.

Tamaño del archivo

Google admite un límite de 500 KiB (aproximadamente 512 000 bytes) para los archivos robots.txt, y si el contenido supera este tamaño máximo, puede ignorar todo lo que haya más allá de ese punto. No sabemos si otros motores de búsqueda establecen el mismo límite para sus propios rastreadores.

El archivo robots.txt se almacena en caché durante un máximo de 24 horas

Según Google, el archivo robots.txt suele guardarse en caché hasta 24 horas. Algo a tener en cuenta al realizar cambios en el archivo.

No está del todo claro cómo gestionan otros motores de búsqueda el archivo almacenado en caché, pero es mejor evitar el almacenamiento en caché de tu robots.txt para que los motores de búsqueda no tarden más en detectar los cambios.

 

 

Errores de servidor 5xx Etiqueta Meta Robots