Een website die niet geïndexeerd is, is alsof hij niet bestaat aangezien hij niet zal verschijnen in zoekopdrachten en geen organisch verkeer zal krijgen. Daarom kunnen we niet toestaan dat Google onze website niet indexeert. Helaas is dit een vrij vaak voorkomend probleem.
Geen paniek! In dit bericht zullen we de belangrijkste technieken uitleggen om uw Website door Google geïndexeerd te krijgen.
Hoe werkt Google indexeren?
Google is gebaseerd op enigszins complexe algoritmen, maar het proces dat wordt gevolgd om een pagina te indexeren is eenvoudig. De zoekmachine vertrouwt op een reeks codes die we kennen als web spiders, crawlers, of bots.
Deze spiders inspecteren webpagina's om nieuwe en bijgewerkte inhoud te vinden. Dit kan een nieuwe pagina op een bestaande site zijn of een volledig nieuwe website. De bots beginnen met het crawlen van een paar webpagina's en volgen dan de links van die pagina's om nieuwe URL's te vinden.
Een tijdje geleden waren de Google SERP's gemakkelijk te "manipuleren", en konden we Google een website laten indexeren op basis van trefwoorden en links.
Vandaag is de situatie helemaal anders. Hoewel die zoekwoorden nog steeds belangrijk zijn, hecht Google ook veel belang aan de ervaring van de gebruiker en de intentie achter de zoekopdracht. We kunnen zeggen dat de spiders nu slimmer zijn.
Google-indexering verwijst naar de manier waarop de spiders de gegevens verwerken die op een pagina worden gevonden terwijl ze die crawlen.
Hoe uw website snel door Google geïndexeerd kan worden
Zoals we al zeiden, komt het vaak voor dat Google een pagina niet indexeert, maar de oorzaken zijn meestal dezelfde.
U kunt ze oplossen door de volgende oplossingen toe te passen:
Controleer of u de juiste robots.txt-richtlijnen hebt
Een reden waarom Google uw site misschien niet indexeert, kan zijn dat er richtlijnen in het robots.txt-bestand staan.
Om het te controleren, ga naar yourdomain.com/robots.txt, en zoek naar een van deze twee codes:
User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: /
Beide geven aan GoogleBot aan dat hij geen enkele pagina van de site mag crawlen. U moet ze verwijderen om het probleem zonder meer op te lossen.
Verwijder de noindex Tags
Google zal uw pagina niet indexeren als u zegt dat niet te doen. Dit kan nuttig zijn om de privacy van bepaalde webpagina's te handhaven.
Er zijn twee manieren om de zoekmachine te vertellen een site niet te indexeren:
Meta-tags
Google does not index pages with any of these meta tags in the <head> of the HTML:
<meta name=“robots” content=“noindex”>
<meta name=“googlebot” content=“noindex”>
U moet de "noindex" tags verwijderen die zich bevinden in de pagina's waarvan u wilt dat Google ze indexeert. Om dit te doen, kunt u gebruik maken van een SEO Crawler zoals FandangoSEO om alle pagina's met de noindex tag snel te identificeren.
X-Robots-Tag
GoogleBot respecteert ook de X-Robots Tag richtlijn. U kunt controleren of Google een pagina niet kan crawlen als gevolg van deze richtlijn met behulp van de URL Inspection tool van Google Search Console.
U moet uw ontwikkelaar vragen om de pagina's die u wilt indexeren uit te sluiten, zodat ze deze header niet terugsturen.
Gebruik Google's Indexing API of GSC
Sites met veel pagina's met weinig inhoud (advertenties, vacatures, enz.) kunnen Google's Indexing API gebruiken om automatisch nieuwe inhoud en inhoudswijzigingen aan te vragen om te worden gecrawld en geïndexeerd.
Met de API kunnen individuele URL's worden ingediend. Het is gunstig zodat Google de index van uw pagina up-to-date houdt. Dankzij deze API zult u in staat zijn om:
- Een URL bijwerken: Breng Google op de hoogte van een nieuwe of bijgewerkte URL om te crawlen.
- Een URL verwijderen: Informeer de zoekmachine dat een verouderde pagina van de site is verwijderd.
- Controleer de status van een verzoek: Kijk wanneer GoogleBot voor het laatst de URL heeft gecrawld.
Dit is iets wat u ook kunt doen met FandangoSEO. Met deze tool kunt u Google verzoeken om maximaal 200 URL's in één keer te indexeren.
Een andere manier om de indexatie van uw webpagina's te versnellen is via Google Search Console. Gebruik de URL-inspectietool van GSC om Google te vragen uw pagina's te recrawlen. Dit is handig voor het aanvragen van het crawlen van individuele URL's. Er kunnen maximaal 12 URL's per dag worden opgevraagd, dus als u er meer moet indienen, kunt u beter een XML-sitemap gebruiken.
Om te beginnen moet u de URL's inspecteren met de URL Inspection Tool. Selecteer vervolgens Indexering aanvragen. De tool zal eerst controleren of er indexeringsproblemen zijn. Als dit niet het geval is, zal de URL in de wachtrij worden geplaatst voor crawling.
Elimineer onjuiste canonieke tags
De canonical tag vertelt Google welke versie van een pagina de voorkeur heeft. De meeste pagina's bevatten deze tag niet, dus gaan zoekmachines ervan uit dat ze deze moeten indexeren. Als uw pagina echter een onjuiste canonical tag heeft , kan deze een fout veroorzaken doordat Google wordt geïnformeerd over een voorkeursversie die niet bestaat.
Als u de canonieke tags op een website wilt controleren, gebruikt u de Google URL Inspection Tool of een SEO Crawler. Als u een pagina ontdekt die de canonieke tag niet zou moeten bevatten, verwijdert u de tag van de pagina.
Neem de relevante pagina's op in uw sitemap
Uw sitemap vertelt Google welke pagina's essentieel zijn en welke niet. Vandaar het belang van het verstrekken van een sitemap aan Google.
De waarheid is dat de zoekmachine in staat zou moeten zijn om pagina's op uw website te vinden, ongeacht of ze op de sitemap staan of niet, maar het is een goed idee om ze op te nemen omdat het 'dingen makkelijker maakt' voor Google.
U kunt de URL Inspectie tool van SGR gebruiken om te controleren of een pagina is opgenomen in de sitemap.
Opsporen verweesde pagina's
Een verweesde pagina is een pagina zonder interne links. Google ontdekt nieuwe inhoud wanneer het het web crawlt, maar logischerwijs kan het verweesde pagina's niet vinden als er geen links naar zijn. En bezoekers van de site kunnen dat ook niet.
U kunt detecteren of er weespagina's op een website staan door een SEO Crawler te gebruiken. Lees meer in onze Wees Pagina's Gids.
Interne links met nofollow-attribuut herstellen
Nofollow-links zijn links die een rel="nofollow"-tag bevatten en worden gebruikt om de overdracht van PageRank naar de bestemmings-URL te voorkomen. Google hield dit soort links niet bij tot de Nofollow-update van 1 maart 2020, toen ze verklaarden dat dit attribuut nu alleen nog als een hint werkt.
U moet uw interne links controleren om na te gaan welke een nofollow-attribuut bevatten. Als u wilt dat de doelpagina wordt geïndexeerd, moet u de nofollow-richtlijnen verwijderen.
Krachtige interne links toevoegen
Als je wilt dat Google een pagina snel indexeert, kun je laten zien hoe waardevol deze pagina is door er een flinke hoeveelheid link juice (of autoriteit) aan toe te voegen. U kunt dit doen door de pagina zo dicht mogelijk bij uw startpagina te linken. Het aantal inlinks dat de pagina heeft, verraadt ook het gewicht ervan op uw site.
Leer meer over hoe u een sterke interne linking creëert in onze Gids.
Duplicate inhoud vermijden
Google bots raken in de war als er sprake is van dubbeleinhoud. De zoekmachine indexeert in eerste instantie slechts één URL voor elke unieke set content, dus gelijksoortige content maakt het moeilijk voor hen om te beslissen welke versie geïndexeerd moet worden.
Als pagina's met gelijkaardige inhoud met elkaar "concurreren", heeft dit een negatieve invloed op de prestaties van al deze pagina's. Daarom moet u duplicate content vermijden.
Zorg ervoor dat uw pagina waarde heeft
Het is niet waarschijnlijk dat Google pagina's van lage kwaliteit zal indexeren, omdat ze geen waarde bieden voor de gebruiker. Als er dus geen technisch probleem is dat het mislukken van de indexering verklaart, zou de reden het gebrek aan waarde van de inhoud kunnen zijn.
Vraag uzelf af of de pagina waardevol is en of het de moeite waard is erop te klikken. Zo niet, dan zou het nodig zijn om de inhoud te verbeteren. Houd altijd de bedoeling van de gebruiker in gedachten.
Zoals u ziet, gaat het erom te controleren of er geen technische problemen zijn die de indexering van de pagina in de weg staan. En als dit eenmaal is uitgesloten, moet u kijken of de pagina waarde biedt voor de gebruiker.
Laatst bijgewerkt op 7 juni 2021 door Hannah Dango
