Een crawler, ook wel Spider genoemd, kan je zien als een ‘spin’ die pagina’s binnen een website crawlt en indexeert. Elke zoekmachine heeft een eigen crawler, zo heeft Google “GoogleBot” en heeft Bing “BingBot”.

De zoekmachine stuurt de crawlers het wereldwijde web op om pagina’s af te struinen en de content op die pagina’s te indexeren. Een crawler gaat de content regel voor regel af.

Komt een crawler een link tegen, dan volgt de crawler de desbetreffende link. Het belang van een goede interne linkstructuur en de aanwezigheid van een sitemap is daarom groot.

Hoe kan een crawler worden beïnvloed?

Een crawler gaat alle pagina’s van een website af en indexeert deze. Elke website heeft een aantal pagina’s van lage kwaliteit waarbij er geen toegevoegde waarde aanwezig is om het te laten indexeren door een zoekmachine. Om te zorgen dat deze pagina’s niet worden geïndexeerd zijn er een aantal mogelijkheden om een crawler te beïnvloeden:

• Robots.txt bestand
• Meta Robot
• Canonical tag

Onze SEO tekstschrijver zorgt ervoor dat jouw content wordt opgepakt door de crawler. Wij zorgen voor online zichtbaarheid. Vraag nu een gratis consult aan.