Robots.txt Le migliori pratiche

Anche se gli specialisti di SEO si impegnano al massimo per migliorare la visibilità delle pagine per le parole chiave corrispondenti, in alcuni casi è necessario nascondere alcune pagine dai motori di ricerca. Scopriamo un po' di più su questo argomento.

Cos'è un file robots.txt?

Robots.txt è un file che contiene le aree di un sito web in cui ai robot dei motori di ricerca è vietato il crawling. Elenca gli URL che il webmaster non vuole che Google o qualsiasi motore di ricerca indicizzi e impedisce loro di visitare e tracciare le pagine selezionate.
Quando un bot trova un sito web su Internet, la prima cosa che fa è controllare il file robots.txt per sapere cosa può esplorare e cosa deve ignorare durante la scansione.

Per fare un esempio di robots.txt, questa è la sua sintassi:

User-agent: *

# All bots - Old URLs

Allow: /

Disallow: /admin/*

 

Cos'è robot.txt in SEO

Questi tag sono necessari per guidare i bot di Google quando si trova una nuova pagina. Sono necessari perché:

- Aiutano a ottimizzare il budget di scansione, in quanto lo spider visiterà solo ciò che è veramente rilevante e farà un uso migliore del suo tempo di scansione di una pagina. Un esempio di una pagina che non vorresti che Google trovasse è una "pagina di ringraziamento".

- Il file Robots.txt è un buon modo per forzare l'indicizzazione delle pagine, indicando le pagine.

- I file Robots.txt controllano l'accesso crawler ad alcune aree del tuo sito.

- Possono mantenere al sicuro intere sezioni di un sito web, in quanto è possibile creare file robots.txt separati per domini root. Un buon esempio è -ha indovinato- la pagina dei dettagli di pagamento, naturalmente.

- È inoltre possibile bloccare le pagine interne dei risultati della ricerca che appaiono sulle SERP.

- Robots.txt può nascondere file che non dovrebbero essere indicizzati, come i PDF o alcune immagini.

 

Dove si trova robots.txt

I file Robots.txt sono pubblici. Puoi semplicemente digitare un dominio root e aggiungere /robots.txt alla fine dell'URL e vedrai il file....se ce n'è uno!

Attenzione: evitare di inserire informazioni private in questo file.

È possibile trovare e modificare il file nella directory principale sul vostro hosting, controllando i file admin o l'FTP del sito web.

 

Come modificare robots.txt

Puoi farlo da solo

- Creare o modificare il file con un editor di testo semplice

- Nominare il file "robots.txt", senza alcuna variazione come l'uso delle lettere maiuscole.

Dovrebbe assomigliare a questo se si vuole avere il sito strisciato:


User-agent: *
Disallow:

- Notare che abbiamo lasciato vuoto "Disallow", il che indica che non c'è nulla che non è permesso di essere scansionato.

Se vuoi bloccare una pagina, aggiungi questo (usando l'esempio della pagina di ringraziamento):


User-agent: *
Disallow: /thank-you/

- Utilizzare un file robots.txt separato per ogni sottodominio.

- Posizionare il file nella directory di primo livello del sito web.

- È possibile testare i file robots.txt utilizzando Google Webmaster Tools prima di caricarli nella directory principale.

- Si noti che FandangoSEO è l'ultimo robot.txt checker. Usatelo per controllarli!

Vedere che non è così difficile configurare il file robots.txt e modificarlo in qualsiasi momento. Basta tenere a mente che tutto ciò che si vuole veramente da questa azione è quello di sfruttare al meglio le visite dei bot. Bloccando loro di vedere pagine irrilevanti, ti assicurerai che il loro tempo trascorso sul sito web sarà molto più redditizio.

Infine, ricordate che la migliore pratica del SEO per robots.txt è garantire che tutti i contenuti rilevanti siano indicizzabili e pronti per essere scansionati! Potete vedere la percentuale di pagine indicizzabili e non indicizzabili tra le pagine totali di un sito utilizzando la scansione di FandangoSEO, così come le pagine bloccate dal file robots.txt.

 

Hai già aggiunto un file robots.txt?

Controllare i robot ora

 

Arrow-up