Avete problemi con l'indicizzazione di Google? Questo problema può portare a un calo del traffico e dei tassi di conversione.

È necessario controllare le pagine indicizzate e non indicizzate del vostro sito per risolvere rapidamente qualsiasi problema. Qui spieghiamo passo per passo come farlo con Google Search Console - Rapporto sulla copertura dell'indice.

Con il seguente metodo, siamo riusciti a risolvere i problemi di copertura dell'indice su centinaia di siti web con milioni o miliardi di pagine escluse. Utilizzatelo per far sì che nessuna delle vostre pagine rilevanti perda visibilità nei risultati di ricerca e aumentate il vostro traffico SEO!

Fase 1: controllare il rapporto di copertura dell'indice

Il rapporto di copertura di Search Console indica quali pagine sono state carrellate e indicizzate da Google e perché gli URL si trovano in quel particolare stato. È possibile utilizzarlo per individuare eventuali errori riscontrati durante il processo di crawling e indicizzazione.

Per controllare il rapporto di copertura dell'indice, vai su Google Search Console e clicca su Coverage (appena sotto l'indice). Una volta aperto, vedrete un riepilogo con quattro diversi stati che categorizzano i vostri URL:

• Errore: Queste pagine non possono essere indicizzate e non appaiono nei risultati di ricerca a causa di alcuni errori.
• Valido con avvertenze: Queste pagine possono essere visualizzate o meno nei risultati di ricerca di Google.
• Valido: Queste pagine sono state indicizzate e possono essere visualizzate nei risultati di ricerca. Non è necessario fare nulla.
• Escluso: Queste pagine non sono state indicizzate e non appariranno nei risultati di ricerca. Google ritiene che non si voglia indicizzarle o che il contenuto non valga la pena di essere indicizzato.

È necessario controllare tutte le pagine trovate nella sezione Errori e correggerle il prima possibile, perché potreste perdere l'opportunità di portare traffico al vostro sito.

Se avete tempo, date un'occhiata alle pagine incluse nello Stato Valido con avviso perché potrebbero esserci pagine di importanza vitale che non dovrebbero in nessun caso non apparire nei risultati di ricerca.

Infine, assicuratevi che le pagine escluse siano quelle che non volete siano indicizzate.

Prima di entrare nel dettaglio di come risolvere i problemi di copertura, vale la pena di fare alcune precisazioni sugli URL validi.

URL validi

Possiamo distinguere due tipi di URL validi:

• Inviato e indicizzato
• Indicizzato, non inserito nella sitemap

Gli URL nella categoria degli inviati e indicizzati sono quelli che avete incluso nella sitemap XML e che, di conseguenza, Google ha indicizzato. In questo caso non è necessario intraprendere alcuna azione.

D'altra parte, gli URL elencati come "indicizzati, non inseriti nella sitemap" sono quelli che Google ha trovato e indicizzato, anche se non sono stati inclusi nella sitemap XML.

Azioni da intraprendere:

• Assicuratevi di voler indicizzare queste pagine e, in tal caso, aggiungetele alla sitemap XML. In caso contrario, dovrete assegnare il tag meta robots noindex.

Fase 2: Come risolvere i problemi riscontrati in ciascuno degli stati di copertura dell'indice

Una volta aperto il rapporto di copertura dell'indice, selezionare lo stato desiderato (Errori, Valido con avvertimenti, o Escluso) e vedere i dettagli forniti in fondo alla pagina. Troverete un elenco di tipi di errore in base alla sua gravità e il numero di pagine interessate, quindi si consiglia di iniziare a indagare i problemi dall'inizio del tavolo.

Vediamo ognuno degli errori in diversi stati e come è possibile correggerli. 

Stato di errore

 

Errori del server (5xx):

Si tratta di URL che restituiscono a Google un codice di stato di errore del server 5xx.

Azioni da intraprendere:

• Controlla quale tipo di codice di stato 500 sta tornando . Qui avete un elenco completo con la definizione di ogni codice di stato di errore del server.
• Ricaricare l'URL per vedere se l'errore persiste. 5xx errori sono temporanei e non richiedono alcuna azione.
• Verificare che il server non sia sovraccarico o configurato in modo errato. In tal caso, chiedete aiuto ai vostri sviluppatori o contattate il vostro fornitore di hosting.
• Eseguire un'analisi dei file di registro per controllare i registri degli errori del vostro server. Questa pratica fornisce ulteriori informazioni sul problema.
• Esaminate le modifiche che avete apportato recentemente al vostro sito web per vedere se qualcuna di esse può essere la causa principale. ex) plugin, nuovo codice backend, ecc.

Reindirizzare gli errori:

GoogleBot ha riscontrato un errore durante il processo di reindirizzamento che non consente di effettuare il crawling della pagina. Uno dei seguenti motivi è spesso causa di errori di reindirizzamento.

• Una catena di reindirizzamento troppo lunga
• Un loop di reindirizzamento
• Un URL di reindirizzamento che supera la lunghezza massima dell'URL
• C'era un URL errato o vuoto nella catena di reindirizzamento

Azioni da intraprendere:

• Eliminare le catene e i loop di reindirizzamento. Fate in modo che ogni URL esegua un solo reindirizzamento. In altre parole, un reindirizzamento dal primo all'ultimo URL.

URL inviato bloccato da Robots.txt:

Si tratta di URL che avete inviato a Google caricando una Sitemap XML su Google Search Console ma che sono stati bloccati dal file Robots.txt.

Azioni da intraprendere:

Verificate se volete che i motori di ricerca indicizzino o meno la pagina in questione.

• Se non si vuole che venga indicizzato, caricare una mappa del sito XML rimuovendo l'URL.
• Al contrario, se volete che sia indicizzato, modificate le linee guida nel Robots.txt. Ecco una guida su come modificare robots.txt.

Inserito l'URL contrassegnato con "noindex":

Queste pagine sono state inviate a Google attraverso una mappa del sito XML, ma hanno una direttiva 'noindex' sia in tag meta robot che in intestazioni HTTP.

Azioni da intraprendere:

• Se si desidera che l'URL venga indicizzato, è necessario rimuovere la direttiva noindex
• Se ci sono URL che non si desidera che Google indicizzi, eliminarli dalla Sitemap XML

L'URL inviato sembra essere un Soft 404:

L'URL che avete inviato attraverso una Sitemap XML a scopo di indicizzazione è un soft 404. Questo errore si verifica quando il server restituisce un codice di stato 200 a una richiesta, ma Google ritiene che dovrebbe visualizzare un 404. In altre parole, la pagina appare a Google come un errore 404. In alcuni casi, potrebbe essere perché la pagina non ha contenuto, sembra sbagliata, o di bassa qualità a Google. 

Azioni da intraprendere:

• Verificare se questi URL devono restituire un codice di stato (reale) 404. In tal caso, rimuoverli dalla mappa del sito XML.
• Se trovate che non dovrebbero restituire un errore, assicuratevi di fornire contenuti appropriati su queste pagine. Evitate contenuti sottili o duplicati. Verificate che se ci sono reindirizzamenti, siano corretti.

L'URL inviato restituisce la richiesta non autorizzata (401):

L'URL inviato a Google attraverso una Sitemap XML restituisce un errore 401. Questo codice di stato indica che non si è autorizzati ad accedere all'URL. Potresti aver bisogno di un nome utente e di una password, o forse, ci sono restrizioni di accesso basate sull'indirizzo IP.

Azioni da intraprendere:

• Verificare se gli URL devono restituire un 401. In tal caso, eliminarli dalla mappa del sito XML.
• Se non si vuole che visualizzino un codice 401, rimuovere l'eventuale autenticazione HTTP. 

URL inviato non trovato (404):

Avete inviato l'URL per l'indicizzazione a Google Search Console, ma Google non può eseguire il crawl a causa di un problema diverso da quelli sopra menzionati. 

Azioni da intraprendere:

• Vedi se vuoi che la pagina sia indicizzata o meno. Se la risposta è sì, correggila, in modo da restituire un codice di stato di 200. È anche possibile assegnare un reindirizzamento 301 all'URL, in modo da visualizzare una pagina appropriata. Ricordate che se optate per un redirect, dovete aggiungere l'URL assegnato alla mappa del sito XML e rimuovere quello che dà un 404.   
• Se non volete che la pagina sia indicizzata, rimuovetela dalla mappa del sito XML.

L'URL inviato ha un problema di crawl: 

L'URL è stato inviato all'SGC a fini di indicizzazione, ma non può essere ricercato da Google a causa di un problema diverso da quelli sopra menzionati. 

Azioni da intraprendere:

• Utilizzare l'URL Inspection Tool per ottenere maggiori informazioni su cosa sta causando il problema.
• A volte questi errori sono temporanei, quindi non richiedono alcuna azione.

Valido con stato di avviso

Queste pagine sono indicizzate, anche se sono bloccate da robots.txt. Google cerca sempre di seguire le direttive indicate nel file robots.txt. Tuttavia, a volte si comporta in modo diverso. Questo può accadere, ad esempio, quando qualcuno si collega all'URL indicato.

Trovate gli URL in questa categoria perché Google dubita che vogliate bloccare queste pagine sui risultati della ricerca. 

Azioni da intraprendere: 

• Google non consiglia di utilizzare il file robots.txt per evitare l'indicizzazione delle pagine. Se invece non volete vedere queste pagine indicizzate, utilizzate il noindex nei metarobot o un header di risposta HTTP.
• Un'altra buona pratica per impedire a Google di accedere alla pagina è l'implementazione di un'autenticazione HTTP.
• Se non si desidera bloccare la pagina, apportare le necessarie correzioni nel file robots.txt.
• È possibile identificare quale regola sta bloccando una pagina utilizzando l'opzione robot.txt tester.

Natzir Turrado,
Consulente FandangoSEO
Tecnico SEO Freelance @ Natzir Turrado

In occasione di una grande migrazione verso SalesForce, abbiamo chiesto agli sviluppatori di rendere inaccessibili (offuscati) i filtri che non volevamo indicizzare. Quando il sito web di SalesForce è entrato in funzione, tutto è stato un successo. Ma quando una nuova versione è stata rilasciata mesi dopo, l'offuscamento è stato accidentalmente interrotto. Questo ha fatto scattare tutti gli allarmi poiché, in soli sette giorni, ci sono state ~17,5 milioni di richieste di Googlebot-Mobile e ~12,5 milioni di Googlebot/2.1, oltre a una cache con il 2% di hit rate. Qui sotto potete vedere in Search Console come sono aumentate le pagine indicizzate ma bloccate dai robot.

Per questo motivo raccomando di monitorare continuamente i registri e di rivedere il Rapporto di copertura dell'SGC (anche se qualsiasi problema verrà rilevato prima di controllare i registri). E ricordate che il robots.txt non impedisce l'indicizzazione delle pagine. Se volete che Google non cerchi un URL, è meglio rendere l'URL inaccessibile!

Stato escluso

Queste pagine non vengono indicizzate nei risultati di ricerca e Google ritiene che sia la cosa giusta. Ad esempio, potrebbe essere perché si tratta di pagine duplicate di pagine indicizzate o perché sul vostro sito web date indicazioni ai motori di ricerca di non indicizzarle.

Il rapporto di copertura mostra 15 situazioni in cui la vostra pagina può essere esclusa.

 

Escluso dal tag 'noindex': 

Stai dicendo ai motori di ricerca di non indicizzare la pagina dando una direttiva "noindex". 

Azioni da intraprendere: 

• Verificare se effettivamente non si vuole indicizzare la pagina. Se volete che la pagina venga indicizzata, rimuovete il tag "noindex". 
• Potete confermare la presenza di questa direttiva aprendo la pagina e cercando "noindex" sul corpo di risposta e sull'intestazione della risposta.

Bloccato dallo strumento di rimozione della pagina: 

Yo hanno presentato una richiesta di rimozione dell'URL per queste pagine su GSC.

Azioni da intraprendere:

• Google frequenta questa richiesta solo per 90 giorni, quindi se non vuoi indicizzare la pagina, usa le direttive "noindex", implementa un'autenticazione HTTP o rimuovi la pagina.

Bloccato da robots.txt: 

State bloccando l'accesso a Googlebot a queste pagine con il file robots.txt. Tuttavia, potrebbe comunque essere indicizzato se Google potesse trovare informazioni su questa pagina senza caricarla. Forse Google ha indicizzato la pagina prima di aggiungere il disallow in robots.txt

Azioni da intraprendere: 

• Se non volete che la pagina sia indicizzata, utilizzate una direttiva "noindex" e rimuovete il blocco robots.txt.

Bloccato a causa di una richiesta non autorizzata (401): 

Bloccate l'accesso a Google utilizzando un'autorizzazione di richiesta (risposta 401). 

Azioni da intraprendere: 

• Se vuoi permettere a GoogleBot di visitare la pagina, rimuovi i requisiti di autorizzazione. 

Anomalia di strisciata: 

La pagina non è stata indicizzata a causa di un codice di risposta all'errore 4xx o 5xx.

Azioni da intraprendere: 

• Utilizzare lo strumento di ispezione URL per ottenere maggiori informazioni sui problemi.

Strisciato - Attualmente non indicizzato

La pagina con lo stato "strisciata - attualmente non indicizzata" è stata strisciata da GoogleBot ma non indicizzata. Potrebbe essere indicizzata o meno in futuro. Non è necessario inviare questo URL per il crawling.. 

Azioni da intraprendere:

• Per una pagina "crawlata - attualmente non indicizzata", se volete che venga indicizzata nei risultati di ricerca, assicuratevi di fornire informazioni preziose.

Scoperto - Attualmente non indicizzato:

Google ha trovato questa pagina, ma non è ancora riuscito a strisciare. Questa situazione di solito accade perché quando GoogleBot ha cercato di crawlarla, il sito era sovraccarico. Il crawl è stato programmato per un'altra volta.

Non è richiesta alcuna azione.

 

Pagina alternativa con l'apposito tag canonico:

Questa pagina indica una pagina canonica, quindi Google capisce che non si vuole indicizzarla.

Azioni da intraprendere:

• Se si desidera indicizzare questa pagina, è necessario modificare il parametro rel=attributi canonici per dare a Google le linee guida desiderate.

Duplicare senza canonici selezionati dall'utente: 

La pagina con lo stato "duplicato senza canonico selezionato dall'utente" ha dei duplicati, ma nessuno di essi è contrassegnato come canonico. Google ritiene che questa non sia quella canonica. 

Azioni da intraprendere:

• Utilizzate i tag canonici per chiarire a Google quali sono le pagine canoniche (che devono essere indicizzate) e quali sono i duplicati. È possibile utilizzare lo strumento di ispezione degli URL per vedere quali pagine sono state selezionate come canoniche da Google. In questo modo, potrete evitare il problema dei duplicati senza canonici selezionati dall'utente.

Duplicato, Google ha scelto un canonico diverso dall'utente: 

Avete contrassegnato questa pagina come canonica, ma Google, invece, ha indicizzato un'altra pagina che pensa funzioni meglio come canonica. 

Azioni da intraprendere:

• Potete seguire la scelta di Google. In questo caso, contrassegnare la pagina indicizzata come canonica e questa come un duplicato dell'URL canonica.
• In caso contrario, scopri perché Google preferisce un'altra pagina a quella che hai scelto, ed effettua le modifiche necessarie. Utilizzate l'URL Inspection Tool per scoprire la "pagina canonica" selezionata da Google.

Ferran Gavin,
SEO Manager @ Softonic

Uno dei "fallimenti" più curiosi che abbiamo sperimentato con l'Index Coverage Report è stato scoprire che Google non elaborava correttamente i nostri canonici (e noi lo facevamo male da anni!). Google indicava sulla console di ricerca che il canonico specificato non era valido quando la pagina era perfettamente formattata. Alla fine, si è rivelato essere un bug di Google stesso, confermato da Gary Ilyes.

 

Non trovato (404): 

La pagina restituisce un codice di stato di errore 404 quando Google fa una richiesta. GoogleBot non ha trovato la pagina attraverso una mappa del sito, ma probabilmente attraverso un altro sito web che si collega all'URL. È anche possibile che questo URL sia esistito in passato e che sia stato rimosso. 

Azioni da intraprendere:

• Se la risposta 404 è intenzionale, potete lasciarla così com'è. Non danneggerà le vostre prestazioni SEO. Tuttavia, se la pagina si è spostata, implementare un reindirizzamento 301.

Pagina rimossa a causa di una denuncia legale: 

Questa pagina è stata eliminata dall'indice a causa di un denuncia legale.

Azioni da intraprendere: 

• Indagate su quali norme legali potreste aver violato e prendete le misure necessarie per correggerle.

Pagina con il reindirizzamento: 

Questo URL è un redirect e quindi non è stato indicizzato.

Azioni da intraprendere:

• Se l'URL non doveva reindirizzare, rimuovere l'implementazione del reindirizzamento. 

Morbido 404: 

La pagina restituisce quella che Google ritiene essere una risposta soft 404. La pagina non è indicizzata perché, sebbene dia un codice di stato di 200, Googles pensa che dovrebbe restituire un 404. 

Azioni da intraprendere:

• Esaminate se dovreste assegnare un 404 alla pagina, come suggerisce Google.
• Aggiungete contenuti preziosi alla pagina per far sapere a Google che non si tratta di un Soft 404.

Duplicato, URL inviato non selezionato come canonico: 

Avete inviato l'URL all'SGC per l'indicizzazione. Tuttavia, non è stato indicizzato perché la pagina ha dei duplicati senza tag canonici, e Google ritiene che ci sia un candidato migliore per il canonico. 

Azioni da intraprendere:

• Decidete se volete seguire la scelta di Google per la pagina canonica. In questo caso, assegnare il rel=attributi canonici per puntare alla pagina selezionata da Google.
• È possibile utilizzare l'URL Inspection Tool per vedere quale pagina è stata scelta da Google come canonica.
• Se volete questo URL come canonico, analizzate il motivo per cui Google preferisce l'altra pagina. Offrite più contenuti di alto valore sulla pagina di vostra scelta.

Fase 3. Rapporto di copertura dell'indice Problemi più comuni

Ora conoscete i diversi tipi di errori che potete trovare nel rapporto di copertura dell'indice e quali azioni intraprendere quando li incontrate. Di seguito trovate una breve panoramica dei problemi che si presentano più frequentemente.

Più Esclusi di Pagine Valide

A volte si possono avere più pagine escluse di quelle valide. Questa circostanza di solito è data su siti di grandi dimensioni che hanno subito un significativo cambiamento di URL. Si tratta probabilmente di un vecchio sito con una lunga storia, oppure il codice web è stato modificato.

Se avete una differenza significativa tra il numero di pagine dei due stati (Escluso e Valido), avete un problema grave. Iniziate a rivedere le pagine escluse, come vi spieghiamo sopra. 

 

Esteve Castells,
Responsabile SEO di Gruppo @ Adevinta

Il problema più grande che ho visto nel Coverage Report è uno dei siti web che gestisco, che ha finito per avere 5 miliardi di pagine escluse. Sì, l'hai letto correttamente, 5 miliardi di pagine. La navigazione sfaccettata è andata completamente fuori di testa, e per ogni pageview, stavamo creando 20 nuovi URL da far strisciare su Googlebot.

Questo ha finito per essere l'errore più costoso in termini di strisciare, in assoluto. Abbiamo dovuto disconoscere completamente tramite robots.txt gli URL di navigazione sfaccettati, perché Googlebot stava eliminando il nostro server con più di 25 milioni di visite al giorno.

 

Picchi di errore

Quando il numero di errori aumenta in modo esponenziale, è necessario controllare l'errore e correggerlo al più presto. Google ha rilevato qualche problema che danneggia gravemente le prestazioni del vostro sito web. Se non correggete il problema oggi, avrete problemi significativi domani.

Errori del server

Assicurarsi che questi errori non siano 503 (Servizio non disponibile). Questo codice di stato significa che il server non è in grado di gestire la richiesta a causa di un sovraccarico temporaneo o di una manutenzione. All'inizio l'errore dovrebbe scomparire da solo, ma se continua a verificarsi, è necessario esaminare il problema e risolverlo.

Se avete altri tipi di errori 5xx, vi consigliamo di controllare la nostra guida per vedere le azioni da intraprendere in ogni caso.

404 errori

Sembra che Google abbia rilevato un'area del vostro sito web che genera 404 pagine non trovate. Se il volume cresce notevolmente, consultate la nostra guida per trovare e riparare i link rotti.

Pagine o siti mancanti

Se non è possibile visualizzare una pagina o un sito nel report, può essere per diversi motivi.

1. Google non l'ha ancora scoperto. Quando una pagina o un sito è nuovo, potrebbe volerci un po' di tempo prima che Google lo trovi. Presentare una richiesta di ricerca per la mappa del sito o per la scansione delle pagine per accelerare il processo di indicizzazione. Inoltre, assicuratevi che la pagina non sia orfana e che non sia collegata dal sito web.
2. Google non può accedere alla tua pagina a causa di una richiesta di accesso. Rimuovere i requisiti di autorizzazione per consentire a GoogleBot di strisciare la pagina.
3. La pagina ha un tag noindex o è stata eliminata dall'indice per qualche motivo. Rimuovere il tag noindex e assicurarsi di fornire contenuti preziosi sulla pagina.

Errori ed esclusioni "Presentato ma/sottoposto e".

Questo problema si verifica quando c'è incongruenza. Se si invia una pagina attraverso una mappa del sito, bisogna assicurarsi che sia valida per l'indicizzazione e che sia collegata al sito.

Il vostro sito dovrebbe essere composto per lo più da pagine di valore che vale la pena di collegare. 

Sommario

Ecco un riassunto in tre fasi dell'articolo "Come trovare e correggere gli errori di copertura dell'indice".  

• La prima cosa che si vuole fare quando si utilizza il rapporto di copertura dell'indice è correggere le pagine che appaiono nello stato di errore. Questo deve essere 0 per evitare le penalità di Google.
• Insecondo luogo, controllate le pagine escluse e vedete se si tratta di pagine che non volete indicizzare. In caso contrario, seguite le nostre linee guida per risolvere i problemi.
• Se avete tempo, vi consigliamo vivamente di controllare le pagine valide con un avvertimento. Assicuratevi che le linee guida che fornite nel robots.txt siano corrette e che non ci siano incongruenze.

Speriamo che lo troviate utile! Fateci sapere se avete domande sul rapporto di copertura dell'indice. Ci farebbe piacere ricevere suggerimenti da voi nei commenti qui sotto.

Ultimo aggiornamento il 27 ottobre 2022 da Hannah Dango