Google crawlt websites op twee verschillende manieren

Moet je je zorgen maken wanneer Google je website plots minder frequent komt crawlen? Het is een vraag die tal van webmasters en SEO-specialisten bezig houdt.

Tijdens een Google SEO hangout kreeg John Mueller, zoekspecialist bij Google, diezelfde vraag voorgelegd. Mueller legt uit dat Google websites crawlt op twee verschillende manieren. De ene focust zich op het ontdekken van nieuwe content. De tweede methode zoekt naar bestaande content die een update kreeg.

Merk je dat Google je website minder bezoekt, dan is dat niet per se een slecht teken.

Twee manieren van crawlen

Via Google Search Console kan je zien hoe vaak Googlebot je website komt crawlen. Het kan voorvallen dat Google je website een tijdje minder frequent crawlt. Schommelingen in die frequentie zijn niet abnormaal.

Google crawlt eigenlijk geen volledige website, maar individuele pagina’s. Daarvoor gebruikt de zoekmachine twee methodes, met een onderscheid tussen nieuwe en bestaande content.

De ene crawlmethode houdt zich alleen bezig met nieuwe pagina’s op een website (‘discover’), terwijl de andere pagina’s crawlt die Google al kent, op zoek naar updates (‘refresh’).

De frequentie waaraan Google je website bezoekt kan van pagina tot pagina verschillen. Wijzig je de content op je homepagina vaak, dan zal je merken dat Googlebot je homepagina ook vaker komt bezoeken. Is een pagina eerder statisch, dan komt Googlebot die pagina ook minder vaak bezoeken.

Verschil in crawlfrequentie

Een nieuwswebsite die elk uur geüpdatet wordt, zal dus vaker een crawlbezoek van Google krijgen. Wanneer crawlers nieuwe links op een pagina ontdekken, dan gaan ze die volgen om nieuwe pagina’s te ontdekken.

Merkt Google dat je een pagina minder frequent wijzigt, dan zal ze die ook niet zo vaak komen bezoeken. Google-crawlers kunnen die patronen snel herkennen. De frequentie waaraan Googlebot naar je website komt, wordt daaraan aangepast.

Slecht signaal?

Is een lagere crawlfrequentie dan een slecht signaal? Volgens John Mueller hoef je je daar geen zorgen over te maken. Het kan gebeuren dat Google je website is komen crawlen om nieuwe content te ontdekken, maar niet om updates op te sporen in bestaande content.

Hoe vaak Googlebot naar je website komt, is geen reflectie van de kwaliteit van de content op je website. De frequentie hangt mee af van hoe vaak je bestaande content updatet of nieuwe pagina’s toevoegt.

Bekijk je graag de volledige hangout? Hieronder vind je het volledige filmpje terug.