Een sitemap verzamelt alle toegankelijke URL’s op een domein in een gestructureerd bestand. Voor zoekmachines fungeert dit bestand als een inventaris: het lijst op wat er bestaat, geeft aan wat er is veranderd en maakt het mogelijk om pagina’s te vinden die zonder dit bestand onzichtbaar zouden blijven. Voor bezoekers biedt de HTML-versie een overzicht van de architectuur van de site. Twee verschillende functies, die vaak door elkaar worden gehaald, maar die afzonderlijk moeten worden bekeken.
Sitemap XML en crawl: wat Google echt gebruikt
De meest voorkomende verwarring betreft de exacte rol van de XML-sitemap. Veel inhoud suggereert dat een sitemap de indexering automatisch versnelt. De werkelijkheid, zoals gedocumenteerd door Google, is genuanceerder: een sitemap helpt bij het ontdekken van URL’s, maar dwingt hun indexering niet af. Het onderscheid tussen ontdekking, verkenning en indexering is fundamenteel.
Een Googlebot die een URL in een sitemap vindt, kan besluiten deze niet te verkennen (onvoldoende crawlbudget, waargenomen kwaliteit te laag) of deze te verkennen zonder te indexeren (gedupliceerde inhoud, noindex-richtlijn). De sitemap omzeilt geen van deze stappen.
Een ander punt dat zelden wordt genoemd: de lastmod-tag is alleen nuttig als deze een echte wijziging van de hoofdinhoud, gestructureerde gegevens of interne links weerspiegelt. Het kunstmatig bijwerken van deze datum om versheid te simuleren kan het vertrouwen dat Google aan het bestand hecht, verminderen. De tags priority en changefreq worden door Google niet meer in overweging genomen.
Een concreet voorbeeld om het sitemap van Referencement Consulting te ontdekken, dat illustreert hoe een XML-sitemap kan worden gestructureerd voor een SEO-georiënteerde site.
Sitemap-notificatie: het einde van de ping en de huidige alternatieven
Tot 2023 was er een endpoint waarmee Google automatisch kon worden geïnformeerd over de update van een sitemap. Dit mechanisme is verwijderd. De belangrijkste reden: de meerderheid van de niet-geauthenticeerde indieningen genereerde spam, waardoor het systeem onbetrouwbaar werd.
De drie huidige indienmethoden zijn de verklaring in het robots.txt-bestand, de indiening via Google Search Console en het gebruik van de Search Console API. Elke methode heeft verschillende beperkingen.
- De verklaring in robots.txt (regel Sitemap: gevolgd door de URL van het bestand) is passief: Google leest deze tijdens het verkennen van robots.txt, zonder garantie op tijd.
- Google Search Console maakt handmatige indiening mogelijk met visuele feedback over leesfouten en het aantal ontdekte URL’s, maar vereist geverifieerde toegang tot het domein.
- De Search Console API automatiseert de indiening in een implementatieworkflow, wat geschikt is voor sites waarvan de inhoud vaak verandert (e-commerce, media).
Het IndexNow-protocol, aangenomen door Bing en Yandex, biedt een alternatief door zoekmachines in realtime te informeren bij de publicatie of wijziging van een pagina. Google heeft IndexNow tot nu toe niet aangenomen, maar sommige CMS’en en hostingproviders integreren het standaard voor de zoekmachines die het ondersteunen.
HTML-sitemap en gebruikersnavigatie: een vaak verkeerd begrepen rol
De HTML-sitemap beantwoordt aan een andere behoefte dan de XML. Het richt zich op menselijke bezoekers en presenteert de structuur van de site in de vorm van een navigeerbare pagina. De nuttigheid ervan hangt sterk af van de grootte en complexiteit van de site.
Op een site van minder dan twintig pagina’s maakt een goed ontworpen menu de HTML-sitemap overbodig. Aan de andere kant, op een site met meerdere honderden pagina’s verdeeld over diepe categorieën, compenseert de HTML-sitemap de beperkingen van een hoofdmenu dat niet alles kan weergeven.
Een vaak verwaarloosd punt: de HTML-sitemap creëert interne links naar pagina’s die mogelijk weespagina’s worden. Een weespagina (alleen toegankelijk via directe URL, zonder interne link die naar haar wijst) heeft zeer weinig kans om door zoekmachines te worden verkend. De HTML-sitemap verhelpt dit probleem op mechanische wijze, hoewel de ideale oplossing een goed doordachte boomstructuur vanaf het ontwerp blijft.
Website-structuur en sitemap: twee niveaus van structuur die niet verward moeten worden
De structuur verwijst naar de logische organisatie van inhoud: categorieën, subcategorieën, inhoudspagina’s. De sitemap, of het nu XML of HTML is, is een weerspiegeling van deze structuur, geen vervanging.
Een sitemap corrigeert geen slechte architectuur. Als de categorieën inconsistent zijn, als de klikdiepte meer dan drie of vier niveaus bedraagt om strategische inhoud te bereiken, zal de sitemap deze wanorde trouw opsommen zonder deze op te lossen. De sitemap documenteert de structuur, vervangt deze niet.
De feedback uit de praktijk verschilt hierover: sommige SEO-experts beschouwen het indienen van een goed gefilterde sitemap (exclusief pagina’s van lage waarde) als voldoende om de crawl te sturen. Anderen zijn van mening dat zonder een solide interne linkstructuur de sitemap slechts een pleister blijft. De beschikbare gegevens maken het niet mogelijk om definitief te oordelen, omdat de impact varieert afhankelijk van de grootte van de site, de frequentie van publicatie en het crawlbudget dat door Google is toegewezen.
Wat gedocumenteerd is: een XML-sitemap accepteert tot 50.000 URL’s per bestand. Daarboven is een index van sitemaps nodig. Voor grote sites vergemakkelijkt segmentatie op type inhoud (artikelen, productbladen, afbeeldingen, video’s) het diagnosticeren in Search Console en stelt het in staat snel te identificeren welke categorieën ondergeëxploreerd zijn.
De sitemap blijft een diagnostisch hulpmiddel net zo goed als een SEO-hulpmiddel. Het analyseren van de verhouding tussen ingediende URL’s en geïndexeerde URL’s in Search Console geeft een directe lees van de waargenomen kwaliteit van de site door Google. Een groot verschil tussen deze twee cijfers wijst op een probleem met inhoud, structuur of technische richtlijnen, dat de sitemap alleen niet zal oplossen.
