Wat is crawlbaarheid?
Hoe zoekmachines pagina's ontdekken en benaderen, en hoe je voorkomt dat content onvindbaar blijft.
Crawlbaarheid is de mate waarin zoekmachines en andere crawlers je pagina's kunnen ontdekken en benaderen. Het is het technische fundament onder zichtbaarheid: een pagina die niet gecrawld kan worden, kan ook niet geïndexeerd of geciteerd worden. Dit artikel hoort bij onze pillar Technical SEO.
Crawling en crawlbaarheid
Crawling is het proces waarbij een bot pagina's opvraagt en links volgt om nieuwe pagina's te ontdekken. Crawlbaarheid beschrijft hoe makkelijk dat lukt: zijn pagina's bereikbaar, snel genoeg en vrij van blokkades die de bot tegenhouden?
Interne links en wees-pagina's
Crawlers ontdekken pagina's grotendeels via links. Een interne linkstructuur die elke belangrijke pagina bereikbaar maakt, is essentieel. Een wees-pagina (orphan page) waarnaar geen enkele interne link wijst, wordt moeilijk of niet ontdekt.
Robots.txt en HTTP-statuscodes
Het robots.txt-bestand stuurt welke delen crawlers mogen opvragen; een verkeerde regel kan onbedoeld hele secties blokkeren. HTTP-statuscodes vertellen de crawler wat er met een URL aan de hand is: 200 (ok), 301 (permanent verplaatst), 404 (niet gevonden), 5xx (serverfout). De robots-kant werken we verder uit in Wat doet een robots.txt-bestand?
JavaScript-rendering
Content die alleen client-side met JavaScript verschijnt, kan onvindbaar blijven als de crawler de pagina niet of pas later rendert. Server-side rendering maakt content direct beschikbaar, een principe dat we behandelen in SEO voor AI-gebouwde websites en Lovable en SEO.
Sitemap
Een sitemap is een lijst van je belangrijke URL's die crawlers helpt pagina's te ontdekken, vooral op grote of slecht gelinkte sites. Een sitemap vervangt geen goede interne links, maar vult ze aan en geeft hints over wijzigingsdatums.
Crawl budget in context
Crawl budget, de hoeveelheid pagina's die een bot in een periode opvraagt, is vooral relevant voor zeer grote sites met honderdduizenden URL's. Voor de meeste kleine en middelgrote sites is crawl budget zelden het probleem; daar gaat het eerder om bereikbaarheid en blokkades. Presenteer crawl budget dus alleen waar het echt speelt.
Crawlbaarheid-checklist
- Zorg dat belangrijke pagina's via interne links bereikbaar zijn.
- Controleer robots.txt op onbedoelde blokkades.
- Gebruik correcte HTTP-statuscodes en redirects.
- Render belangrijke content server-side.
- Houd een actuele sitemap bij.
- Spoor wees-pagina's op en verbind ze.
