Crawlen en crawlfouten

Wat is crawlen?

Crawlen is iets wat zoekmachines regelmatig doen bij alle websites die ze kunnen vinden. Als je website niet door zoekmachines gecrawld wordt, dan kom je ook niet in de zoekresultaten te staan. Het is dus best belangrijk maar je hoeft er eigenlijk niets voor te doen. Zoekmachines crawlen het hele internet af op zoek naar nieuwe content, dus ze komen ook vanzelf bij jouw website. Tenzij je aangeeft dat je je website niet geïndexeerd wilt hebben natuurlijk.

Tijdens het crawlen kan het zijn dat zoekmachines fouten ontdekken in je website. Deze worden getoond in Google Search Console. Het kan bijvoorbeeld zijn dat je bepaalde pagina’s niet meer actief hebt staan, maar dat er nog wel externe bronnen zijn die daarheen verwijzen. Bezoekers krijgen dan een 404 pagina niet gevonden bericht, iets wat natuurlijk niet de bedoeling is, en wat Google ook niet fijn vindt.

Het is dus belangrijk om periodiek deze crawlfouten op te lossen. Zo zorg je dat de binnenkomende links nog bij relevante pagina’s uitkomen. Je kunt bijvoorbeeld een 301 redirect maken als de betreffende pagina niet meer bestaat. Je steekt veel tijd en moeite in het krijgen van links van andere websites, dan is het toch zonde om die zomaar te laten vallen?

Door een goede sitemap door te sturen naar Google kun je het aantal crawlfouten verminderen en maak je het ook makkelijker voor zoekmachines om je website snel en goed te crawlen en te indexeren.

SEO Kennisbank