Heeft u problemen met Google-indexering? Dit probleem kan ertoe leiden dat het verkeer en de conversiepercentages dalen.

Het is noodzakelijk om de geïndexeerde en niet-geïndexeerde pagina's van uw site te controleren om eventuele problemen snel op te lossen. Hier leggen we stap voor stap uit hoe u dat doet met de Google Search Console - Index Coverage Report.

Met de volgende methode zijn we erin geslaagd om indexdekkingproblemen op honderden websites met miljoenen of miljarden uitgesloten pagina's op te lossen. Gebruik het zodat geen van uw relevante pagina's hun zichtbaarheid in de zoekresultaten verliezen en geef uw SEO-verkeer een boost!

Stap 1: Controleer het verslag over de indexdekking

Het Search Console Coverage Report vertelt u welke pagina's door Google zijn gecrawld en geïndexeerd en waarom de URL's zich in die specifieke status bevinden. U kunt het gebruiken om eventuele fouten op te sporen die tijdens het crawlen en indexeren zijn gevonden.

Om het indexdekkingsrapport te controleren, gaat u naar de Google Search Console en klikt u op Coverage (net onder Index). Zodra u deze opent, ziet u een overzicht met vier verschillende statussen voor het categoriseren van uw URL's:

• Fout: Deze pagina's kunnen niet worden geïndexeerd en verschijnen niet in de zoekresultaten als gevolg van enkele fouten.
• Geldig met waarschuwingen: Deze pagina's worden al dan niet getoond in de zoekresultaten van Google.
• Geldig: Deze pagina's zijn geïndexeerd en kunnen worden getoond in de zoekresultaten. Je hoeft niets te doen.
• Uitgesloten: Deze pagina's zijn niet geïndexeerd en verschijnen niet in de zoekresultaten. Google denkt dat u ze niet wilt indexeren of vindt dat de inhoud het indexeren niet waard is.

U moet alle pagina's in de sectie Fouten controleren en ze zo snel mogelijk corrigeren, omdat u misschien de kans verliest om verkeer naar uw site te leiden.

Als je tijd hebt, kijk dan naar de pagina's in de staat Geldig met waarschuwing omdat er enkele vitale pagina's kunnen zijn die in geen geval mogen ontbreken in de zoekresultaten.

Zorg er tenslotte voor dat de uitgesloten pagina's de pagina's zijn die u niet wilt laten indexeren.

Voordat we in detail ingaan op hoe de dekkingsproblemen kunnen worden opgelost, is het de moeite waard een paar dingen te vermelden over de geldige URL's.

Geldige URL's

We kunnen twee soorten geldige URL's onderscheiden:

• Ingediend en geïndexeerd
• Geïndexeerd, niet opgenomen in de sitemap

De URL's in de categorie ingediend en geïndexeerd zijn de URL's die u hebt opgenomen in de XML-sitemap en die Google dus heeft geïndexeerd. U hoeft in dit geval geen actie te ondernemen.

Aan de andere kant zijn de URL's die vermeld staan als "geïndexeerd, niet ingediend in sitemap" de URL's die Google heeft gevonden en geïndexeerd, ook al heeft u ze niet opgenomen in de XML-sitemap.

Acties te ondernemen:

• Controleer of u wilt dat deze pagina's worden geïndexeerd, en zo ja, voeg ze dan toe aan de XML sitemap. Zo niet, dan moet u de meta robots noindex tag toekennen.

Stap 2: Hoe de problemen op te lossen die zich voordoen in elk van de Index Coverage Status

Zodra u het Index Coverage Report opent, selecteert u de gewenste status (Fouten, Geldig met waarschuwingen, of Uitgesloten) en zie de details onderaan de pagina. U vindt een lijst met fouttypes door de ernst ervan en het aantal betrokken pagina's, dus we raden aan om te beginnen met het onderzoeken van de problemen vanaf de bovenkant van de tafel.

Laten we eens kijken naar elk van de fouten in verschillende statussen en hoe je ze kunt herstellen. 

Foutstatus

 

Serverfouten (5xx):

Dit zijn URL's die een 5xx-serverfoutstatuscode naar Google terugsturen.

Acties te ondernemen:

• Controleer wat voor soort 500-statuscode er terugkomt . Hier heeft u een volledige lijst met de definitie voor elke serverfoutstatuscode.
• Herladen van de URL om te zien of de fout blijft bestaan. 5xx fouten zijn tijdelijk en vereisen geen actie.
• Controleer of uw server niet overbelast of verkeerd geconfigureerd is. Vraag in dat geval uw ontwikkelaars om hulp, of neem contact op met uw hostingprovider.
• Voer een logbestandanalyseuit om de foutlogs voor uw server te controleren. Deze praktijk geeft u extra informatie over het probleem.
• Bekijk de wijzigingen die u recentelijk in uw website heeft aangebracht om te zien of een van deze wijzigingen de hoofdoorzaak kan zijn. ex) plugins, nieuwe backend code, etc.

Omleidingsfouten:

GoogleBot is tijdens het omleidingsproces een fout tegengekomen waardoor de pagina niet kan worden gecrawld. Een van de volgende redenen veroorzaakt vaak omleidingsfouten.

• Een te lange omleidingsketen
• Een omleidingslus
• Een redirect URL die de maximale URL-lengte overschrijdt
• Er was een verkeerde of lege URL in de omleidingsketen

Acties te ondernemen:

• Elimineer de omleidingsketens en -lussen. Laat elke URL slechts één omleiding uitvoeren. Met andere woorden, een redirect van de eerste URL naar de laatste.

Ingediende URL geblokkeerd door Robots.txt:

Dit zijn URL's die u bij Google hebt ingediend om een XML Sitemap te uploaden naar de Google Search Console, maar die geblokkeerd zijn door het bestand Robots.txt.

Acties te ondernemen:

Controleer of u wilt dat zoekmachines de betreffende pagina indexeren of niet.

• Als u niet wilt dat het wordt geïndexeerd, upload dan een XML-sitemap waarbij de URL wordt verwijderd.
• Integendeel, als je wilt dat het wordt geïndexeerd, verander dan de richtlijnen in de Robots.txt. Hier is een handleiding voor het bewerken van robots.txt.

Ingediende URL gemarkeerd met "noindex":

Deze pagina's zijn bij Google ingediend via een XML-sitemap, maar ze hebben een 'noindex' richtlijn in meta-robots tag of HTTP-headers.

Acties te ondernemen:

• Als u wilt dat de URL wordt geïndexeerd, moet u de noindex richtlijn verwijderen.
• Als er URL's zijn waarvan u niet wilt dat Google ze indexeert, verwijder ze dan uit de XML-sitemap.

De ingediende URL lijkt een Soft 404 te zijn:

De URL die u via een XML-sitemap voor indexeringsdoeleinden heeft ingediend, geeft een zachte 404 terug. Deze fout treedt op wanneer de server een 200-statuscode terugstuurt naar een aanvraag, maar Google vindt dat deze een 404 moet weergeven. Met andere woorden, de pagina ziet er voor Google uit als een 404-fout. In sommige gevallen kan het zijn dat de pagina geen inhoud heeft, verkeerd lijkt of van lage kwaliteit is voor Google. 

Acties te ondernemen:

• Onderzoek of deze URL's een (echte) 404-statuscode moeten opleveren. Verwijder ze in dat geval uit de XML-sitemap.
• Als u vindt dat ze geen fout moeten terugsturen, zorg er dan voor dat u de juiste inhoud op deze pagina's vermeldt. Vermijd dunne of dubbele inhoud. Controleer of er omleidingen zijn, die correct zijn.

Ingediende URL retourneert onbevoegd verzoek (401):

De URL die via een XML Sitemap bij Google is ingediend, geeft een 401-fout weer. Deze statuscode geeft aan dat u niet bevoegd bent om de URL te openen. Mogelijk heeft u een gebruikersnaam en wachtwoord nodig, of misschien zijn er toegangsbeperkingen op basis van het IP-adres.

Acties te ondernemen:

• Controleer of de URL's een 401 moeten teruggeven. Verwijder ze in dat geval uit de XML-sitemap.
• Als u niet wilt dat ze een 401-code weergeven, verwijder dan de HTTP-authenticatie als die er is. 

Ingediende URL niet gevonden (404):

U hebt de URL voor indexeringsdoeleinden ingediend bij Google Search Console, maar Google kan deze niet crawlen vanwege een ander probleem dan de hierboven genoemde. 

Acties te ondernemen:

• Kijk of u wilt dat de pagina wordt geïndexeerd of niet. Als het antwoord ja is, maak het dan in orde, zodat het een 200-statuscode retourneert. U kunt ook een 301-redirect naar de URL toewijzen, zodat er een geschikte pagina wordt weergegeven. Vergeet niet dat als u kiest voor een redirect, u de toegewezen URL moet toevoegen aan de XML-sitemap en de URL die een 404 geeft moet verwijderen.   
• Als u niet wilt dat de pagina wordt geïndexeerd, verwijder deze dan uit de XML-sitemap.

Ingediende URL heeft crawl-probleem: 

U hebt de URL voor indexeringsdoeleinden ingediend bij het SGR, maar deze kan niet door Google worden gecrawled vanwege een ander probleem dan de hierboven genoemde. 

Acties te ondernemen:

• Gebruik de URL Inspection Tool om meer informatie te krijgen over de oorzaak van het probleem.
• Soms zijn deze fouten tijdelijk, zodat er geen actie hoeft te worden ondernomen.

Geldig met Waarschuwingsstatus

Deze pagina's zijn geïndexeerd, hoewel ze worden geblokkeerd door robots.txt. Google probeert altijd de richtlijnen in het robots.txt bestand te volgen. Soms gedraagt het zich echter anders. Dit kan bijvoorbeeld gebeuren wanneer iemand naar de opgegeven URL linkt.

U vindt de URL's in deze categorie omdat Google twijfelt of u deze pagina's wilt blokkeren bij de zoekresultaten. 

Acties te ondernemen: 

• Google raadt het gebruik van het robots.txt-bestand niet aan om pagina-indexering te vermijden. Als u deze pagina's niet geïndexeerd wilt zien, gebruik dan de noindex in de meta robots of een HTTP-responsehead.
• Een andere goede praktijk om te voorkomen dat Google toegang krijgt tot de pagina is door het implementeren van een HTTP-authenticatie.
• Als je de pagina niet wilt blokkeren, voer dan de nodige correcties uit in het robots.txt bestand.
• Je kunt zien welke regel een pagina blokkeert met behulp van de robots.txt tester.

Natzir Turrado,
FandangoSEO Adviseur
Technische SEO Freelance @ Natzir Turrado

Bij een grote migratie naar SalesForce hebben we de ontwikkelaars gevraagd om de filters die we niet wilden indexeren ontoegankelijk te maken (verdoezeld). Toen de Salesforce-website live ging, was alles een succes. Maar toen er maanden later een nieuwe versie werd uitgebracht, was de verdoezeling per ongeluk kapot. Dit heeft alle alarmen doen afgaan omdat er in slechts zeven dagen tijd ~17,5 miljoen Googlebot-Mobile verzoeken waren en ~12,5 miljoen Googlebot/2.1, evenals een 2% hit rate cache. Hieronder kunt u in Search Console zien hoe de pagina's geïndexeerd maar geblokkeerd werden door robots.

Daarom adviseer ik om de logboeken voortdurend te controleren en het GSC Coverage Report te bekijken (hoewel u elk probleem eerder zult ontdekken bij het controleren van de logboeken). En vergeet niet dat de robots.txt niet verhindert dat pagina's worden geïndexeerd. Als u wilt dat Google geen URL crawlt, kunt u de URL het beste ontoegankelijk maken!

Uitgesloten status

Deze pagina's worden niet geïndexeerd in de zoekresultaten, en Google vindt dat terecht. Dit kan bijvoorbeeld zijn omdat het dubbele pagina's zijn van geïndexeerde pagina's of omdat u op uw website richtlijnen geeft aan zoekmachines om ze niet te indexeren.

Het Coverage-rapport toont u 15 situaties waarin uw pagina kan worden uitgesloten.

 

Uitgesloten door 'noindex' label: 

U vertelt zoekmachines dat ze de pagina niet moeten indexeren door een "noindex" richtlijn te geven. 

Acties te ondernemen: 

• Controleer of u de pagina niet wilt indexeren. Als u wilt dat de pagina wordt geïndexeerd, verwijder dan de tag "noindex". 
• U kunt de aanwezigheid van deze richtlijn bevestigen door de pagina te openen en te zoeken naar "noindex" op het antwoordorgaan en de antwoordkop.

Geblokkeerd door paginaverwijderingsgereedschap: 

YU heeft een URL-verwijderingsverzoek ingediend voor deze pagina's op GSC.

Acties te ondernemen:

• Google neemt slechts 90 dagen deel aan dit verzoek, dus als u de pagina niet wilt indexeren, gebruik dan "noindex" richtlijnen, implementeer een HTTP-authenticatie of verwijder de pagina.

Geblokkeerd door robots.txt: 

U blokkeert de toegang tot Googlebot tot deze pagina's met het robots.txt bestand. Het kan echter nog steeds geïndexeerd worden als Google informatie over deze pagina zou kunnen vinden zonder deze te laden. Misschien heeft Google de pagina geïndexeerd voordat u de disallow in robots.txt heeft toegevoegd.

Acties te ondernemen: 

• Als u niet wilt dat de pagina wordt geïndexeerd, gebruik dan een "noindex" richtlijn en verwijder het robots.txt-blok.

Geblokkeerd door onbevoegd verzoek (401): 

U blokkeert de toegang tot Google met behulp van een aanvraagautorisatie (401 antwoord). 

Acties te ondernemen: 

• Als u GoogleBot toestemming wilt geven om de pagina te bezoeken, verwijder dan de autorisatievereisten. 

Kruipanomalie: 

De pagina is niet geïndexeerd vanwege een 4xx of 5xx foutreactiecode.

Acties te ondernemen: 

• Gebruik de URL-inspectietool om meer informatie te krijgen over de problemen..

Gekropen - Momenteel niet geïndexeerd

De pagina met de status "gecrawld - momenteel niet geïndexeerd" is gecrawld door GoogleBot maar niet geïndexeerd. Deze kan in de toekomst al dan niet worden geïndexeerd. Het is niet nodig om deze URL aan te melden voor crawling. 

Acties te ondernemen:

• Voor een "gecrawled - momenteel niet geïndexeerd" pagina geldt dat als je wilt dat deze wordt geïndexeerd in de zoekresultaten, je ervoor moet zorgen dat je er waardevolle informatie op geeft.

Ontdekt - Momenteel niet geïndexeerd:

Google heeft deze pagina gevonden, maar het is nog niet gelukt om hem te kruipen. Deze situatie gebeurt meestal omdat wanneer GoogleBot de pagina probeerde te crawlen, de site overbelast was. De crawl is een andere keer ingepland.

Er hoeft geen actie te worden ondernomen.

 

Wissel de pagina af met de juiste canonieke tag:

Deze pagina wijst naar een canonieke pagina, zodat Google begrijpt dat u deze niet wilt indexeren.

Acties te ondernemen:

• Als u deze pagina wilt indexeren, moet u de rel=canonieke kenmerken om Google de gewenste richtlijnen te geven.

Dupliceren zonder door de gebruiker geselecteerde canoniek: 

De pagina met de status "duplicaat zonder door de gebruiker geselecteerde canonical" heeft wel duplicaten, maar geen enkele is gemarkeerd als canonical. Google is van mening dat deze niet de canonieke is. 

Acties te ondernemen:

• Gebruik canonical tags om Google duidelijk te maken welke pagina's de canonieke zijn (moeten worden geïndexeerd) en welke de duplicaten zijn. U kunt de URL Inspection Tool gebruiken om te zien welke pagina's door Google als canonical zijn geselecteerd. Zo kunt u het probleem van duplicaten zonder door de gebruiker geselecteerde canonical voorkomen.

Dupliceren, Google koos voor een andere canonieke dan de gebruiker: 

U hebt deze pagina gemarkeerd als canoniek, maar Google heeft in plaats daarvan een andere pagina geïndexeerd die beter denkt te functioneren als canoniek. 

Acties te ondernemen:

• U kunt de keuze van Google volgen. Markeer in dat geval de geïndexeerde pagina als canoniek en deze als een duplicaat van de canonieke URL.
• Zo niet, zoek dan uit waarom Google een andere pagina verkiest boven de door u gekozen pagina en breng de nodige wijzigingen aan.. Gebruik de URL Inspection Tool om de door Google geselecteerde "canonieke pagina" te ontdekken.

Ferran Gavin,
SEO Manager @ Softonic

Een van de meest merkwaardige "mislukkingen" die we hebben meegemaakt met het Index Coverage Report was dat Google onze canonicals niet correct verwerkte (en we hadden het al jaren verkeerd gedaan!). Google gaf op de zoekconsole aan dat de opgegeven canoniek ongeldig was als de pagina perfect geformatteerd was. Uiteindelijk bleek het een bug van Google zelf te zijn, bevestigd door Gary Ilyes.

 

Niet gevonden (404): 

De pagina geeft een 404-foutstatuscode terug wanneer Google een verzoek indient. GoogleBot heeft de pagina niet gevonden via een sitemap, maar waarschijnlijk via een andere website die naar de URL linkt. Het is ook mogelijk dat deze URL in het verleden heeft bestaan en is verwijderd. 

Acties te ondernemen:

• Als het antwoord van de 404 opzettelijk is, kunt u het laten zoals het is. Het zal je SEO prestaties niet schaden. Echter, als de pagina is verplaatst, implementeer dan een 301 redirect.

Pagina verwijderd vanwege een juridische klacht: 

Deze pagina is uit de index verwijderd vanwege een juridische klacht.

Acties te ondernemen: 

• Onderzoek welke wettelijke regels u mogelijk hebt overtreden en neem de nodige maatregelen om dit te corrigeren.

Pagina met de omleiding: 

Deze URL is een redirect en werd daarom niet geïndexeerd.

Acties te ondernemen:

• Als de URL niet bedoeld was om te redirecten, verwijder dan de redirect-implementatie. 

Zacht 404: 

De pagina geeft wat Google denkt dat een zachte 404-respons is. De pagina wordt niet geïndexeerd, omdat Googles vindt dat hij een 404 moet teruggeven, ook al geeft hij een 200-statuscode. 

Acties te ondernemen:

• Beoordeel of u een 404 moet toewijzen aan de pagina, zoals Google suggereert.
• Voeg waardevolle inhoud toe aan de pagina om Google te laten weten dat het geen Soft 404 is.

Duplicaat, ingediende URL niet geselecteerd als canoniek: 

U heeft de URL aan het SGR voorgelegd voor indexeringsdoeleinden. Toch is het niet geïndexeerd omdat de pagina duplicaten heeft zonder canonieke tags, en Google is van mening dat er een betere kandidaat voor canoniek is. 

Acties te ondernemen:

• Beslis of u de keuze van Google voor de canonieke pagina wilt volgen. Wijs in dat geval de rel=canonieke kenmerken om naar de door Google geselecteerde pagina te wijzen.
• U kunt de URL Inspection Tool gebruiken om te zien welke pagina door Google is gekozen als de canoniek.
• Als u deze URL als de canoniek wilt, analyseer dan waarom Google de voorkeur geeft aan de andere pagina. Bied meer hoogwaardige content aan op de pagina van uw keuze.

Stap 3. Index Indexdekkingrapport Meest voorkomende problemen

Nu kent u de verschillende soorten fouten die u kunt vinden in het Index Coverage rapport en welke acties u moet ondernemen wanneer u elk van hen tegenkomt. Hieronder vindt u een kort overzicht van de meest voorkomende problemen.

Meer uitgesloten dan geldige pagina's

Soms kunt u meer uitgesloten pagina's hebben dan geldige pagina's. Deze omstandigheid wordt meestal gegeven op grote sites die een aanzienlijke URL-wijziging hebben ondergaan. Het is waarschijnlijk een oude site met een lange geschiedenis, of de webcode is gewijzigd.

Als u een significant verschil heeft tussen het aantal pagina's van de twee statussen (Exclusief en Geldig), heeft u een ernstig probleem. Begin met het bekijken van de uitgesloten pagina's, zoals we hierboven hebben uitgelegd. 

 

Esteve Castells,
Groep SEO Manager @ Adevinta

Het grootste probleem dat ik ooit heb gezien in het Coverage Report is een van de websites die ik beheer, die uiteindelijk 5 miljard uitgesloten pagina's heeft. Ja, je leest het goed, 5 miljard pagina's. De gefacetteerde navigatie ging helemaal uit zijn dak, en voor elke pageview maakten we 20 nieuwe URL's voor Googlebot om te crawlen.

Dat werd uiteindelijk de duurste fout in termen van kruipen, ooit. We moesten via de robots.txt de gefacetteerde navigatie-URL's helemaal niet toestaan, omdat Googlebot onze server met meer dan 25 miljoen hits per dag platlegde.

 

Foutpieken

Wanneer het aantal fouten exponentieel toeneemt, moet u de fout controleren en zo snel mogelijk verhelpen. Google heeft een probleem ontdekt dat de prestaties van uw website ernstig schaadt. Als u het probleem vandaag niet corrigeert, zult u morgen grote problemen hebben.

Server fouten

Zorg ervoor dat deze fouten niet 503 (Service Niet beschikbaar) zijn. Deze statuscode betekent dat de server de aanvraag niet kan afhandelen vanwege een tijdelijke overbelasting of onderhoud. In het begin zou de fout vanzelf moeten verdwijnen, maar als deze zich blijft voordoen, moet u het probleem bekijken en oplossen.

Als u andere soorten 5xx-fouten hebt, raden wij u aan onze gids te raadplegen om te zien welke acties u in elk geval moet ondernemen.

404 fouten

Het lijkt erop dat Google een deel van uw website heeft gedetecteerd dat 404 - niet gevonden pagina's genereert. Als het volume aanzienlijk toeneemt, bekijk dan onze gids om gebroken links te vinden en te repareren.

Ontbrekende pagina's of sites

Als u een pagina of een site niet kunt zien in het rapport, kan dit om verschillende redenen zijn.

1. Google heeft het nog niet ontdekt. Wanneer een pagina of site nieuw is, kan het enige tijd duren voordat Google deze vindt. Dien een sitemap of paginacrawl-verzoek in om het indexeringsproces te versnellen. Zorg er ook voor dat de pagina geen verweesde pagina is en dat er een link naar de website wordt geplaatst.
2. Google heeft geen toegang tot uw pagina vanwege een loginaanvraag. Verwijder de autorisatievereisten om GoogleBot toe te staan de pagina te crawlen.
3. De pagina heeft een noindex-tag of is om een of andere reden uit de index verdwenen. Verwijder het noindex label en zorg ervoor dat u waardevolle inhoud op de pagina aanlevert.

"Ingediende maar/ingediende en" fouten en uitsluitingen

Dit probleem doet zich voor wanneer er sprake is van ongerijmdheid. Als u een pagina door een sitemap stuurt, moet u ervoor zorgen dat deze geldig is voor indexering, en dat deze gelinkt is aan de site.

Uw site moet vooral bestaan uit waardevolle pagina's die het waard zijn om te worden gekoppeld. 

Samenvatting

Hier is een driestaps samenvatting van het artikel "Hoe vind en repareer ik indexcijferfouten".  

• Het eerste wat u wilt doen bij het gebruik van het indexverslag is de pagina's die in de Foutstatus verschijnen, repareren. Dit moet 0 zijn om Google-boetes te voorkomen.
• Ten tweede, controleer de uitgesloten pagina's en kijk of dit pagina's zijn die u niet wilt indexeren. Als dit niet het geval is, volg dan onze richtlijnen om de problemen op te lossen.
• Als u tijd heeft, raden wij u aan om de geldige pagina's te controleren met een waarschuwing. Zorg ervoor dat de richtlijnen die u in de robots.txt geeft, correct zijn en dat er geen inconsistenties zijn.

We hopen dat u het nuttig vindt! Laat het ons weten als u vragen heeft over het indexverslag. We horen ook graag tips van u in de commentaren hieronder.

Laatst bijgewerkt op 27 oktober 2022 door Hannah Dango