Wat betekent crawlen en indexeren?
Crawlen is het bezoeken en lezen van je pagina’s door een zoekmachine; indexeren is het opnemen van die pagina’s in de zoekindex, zodat ze in de resultaten kunnen verschijnen. Zonder crawl geen index, zonder index geen ranking.
Van vinden naar vertonen
Crawlen
Google volgt links en sitemaps en haalt de pagina op. Wat niet bereikbaar is, bestaat voor Google niet.
Renderen
De pagina wordt uitgevoerd zoals een browser dat doet, inclusief JavaScript, om te zien wat de bezoeker ziet.
Indexeren
De inhoud wordt begrepen en opgeslagen. Pas hier wordt bepaald waar de pagina over gaat.
Vertonen
Bij een zoekopdracht wordt uit de index gekozen welke pagina het beste antwoord geeft.
Waarom een pagina niet geïndexeerd wordt
De meest voorkomende oorzaken: een noindex-instructie die (per ongeluk) aanstaat, een blokkade in robots.txt, een canonical die naar een andere pagina wijst, te dunne of dubbele inhoud, of simpelweg te weinig interne links waardoor Google de pagina onbelangrijk vindt. In Google Search Console zie je per URL precies wat de status is en waarom.
Indexatie versnellen
Zorg dat elke belangrijke pagina vanaf je homepage binnen enkele klikken bereikbaar is, zet hem in je sitemap, link er vanuit relevante bestaande pagina’s naartoe en vraag in Search Console eenmalig indexatie aan. Structurele snelheid komt daarna vanzelf: een site die vaak goede nieuwe inhoud publiceert, wordt vaker gecrawld.
