Crawl budget

‘‘Crawl Budget is het moment waarop Google besluit te investeren in het indexeren en scannen van de pagina’s van een site.’’

Dit klinkt moeilijk, maar als we deze definitie ontleden dan is het gemakkelijk te volgen.

Crawl Budget is het moment waarop Google besluit te investeren

Op het moment dat een pagina indexeerbaar is (voor Google mogelijk om door te lopen) dan maakt Google gebruik van de Googlebot om deze pagina langs te gaan. Er wordt gekeken naar de structuur van de pagina, de hyperlinks die aanwezig zijn, de opbouw van het menu, de afbeeldingen, de zoekwoorden, etc. Dit proces van indexeren gebeurt automatisch door Google met enige regelmaat.

Crawl Budget is het moment waarop Google besluit te investeren in het indexeren en scannen van de pagina’s van een site.

Google heeft besloten de pagina te indexeren en scannen en laat zijn Googlebot over de pagina gaan. Hierbij rapporteert de Googlebot alle data terug aan Google, waarna Google de pagina kan gaan plaatsen in haar systeem en algoritme. Het is dus van belang zo veel mogelijk relevante informatie aan deze Googlebot door te geven, zodat je op de juiste plek terecht komt.

Bovenstaand proces doet Google niet voor 1 pagina, maar voor miljoenen websites met honderden pagina’s. Je kan je voorstellen dat dit dus megabestanden met data oplevert, die allemaal gerangschikt moeten worden in een fractie van een seconde. Dit maakt Google uniek en is een van de hoofdredenen waarom Google zo groot is.

Wat is dan een crawlbudget?

Een crawlbudget is dus het totale budget dat jij krijgt van Google voor je website. Dit budget is niet onbeperkt en het aantal pagina’s dat je hebt is van invloed. Hoe goed je website presteert is van invloed op je crawlbudget. Als je vaak, goede content publiceert zal er meer crawlbudget aan je website besteed worden.

Belangrijk onderscheidt dat gemaakt kan worden is dat als Google vindt dat er geen toegevoegde waarde aan de pagina zit of Google kan niet bij deze pagina, de pagina niet wordt geïndexeerd en dus niet naar voren komt binnen de zoekresultaten.

Om de activiteiten van Google bij te houden, kun je gebruik maken van tools. Een gratis en de belangrijkste tool van Google is Google Search Console. Deze tool is een handig hulpmiddel voor de indexatie van jouw website. Om deze tool te kunnen gebruiken moet je inloggen met je Google-account.

1. Log in en ga naar instellingen
2. Onder het kopje ‘crawlen’ staat rapport openen, klik erop

Als het goed is krijg je een overzicht met de volgende informatie:

• Het totale aantal crawlverzoeken is de blauwe lijn
• De totale downloadgrootte van bronnen en bestanden tijdens de scan is de paarse lijn
• De gemiddelde reactietijd van de pagina op de Googlebot is de oranje lijn

Een hoog aantal crawlverzoeken is beter voor je website. Dit betekent namelijk dat Google vaker over je pagina gaat. De totale downloadgrootte en gemiddelde reactietijd zijn beter als ze lager zijn, want zo kan Google sneller door jouw pagina’s heen.

Nadat Google langs je pagina’s is geweest kan het een tijdje duren voordat Google weer langskomt. Er zijn wel enkele manieren waardoor Google je website vaker langsgaat:

• Upload regelmatig nieuwe content: Door regelmatig content toe te voegen die kwalitatief goed in elkaar zit, zal Google vaker pagina’s van de website indexeren.
• Update je content: Ook het updaten van content kan ervoor zorgen dat Google vaker pagina’s indexeert.
• Houdt je sitemap goed bij: Je sitemap is een routekaart voor Google en kan je binnen Google Search Console opgeven. Deze sitemap hoef je niet zelf te maken en kan automatisch gegenereerd worden. Door dit correct te doen zorg je ervoor dat Googlebots geen tijd verliezen met het uitzoeken waar ze heen moeten navigeren. Vergeet niet je site te synchroniseren in Google Search Console!
• Optimaliseer je afbeeldingen en video’s: Dit past bij het tweede punt en kan ook een manier zijn om Google te laten weten dat je met de website bezig bent.

Maak gebruik van interne links voor al je pagina’s, anders kan het zijn dat Googlebot op een ‘doodlopende weg’ terecht komt.