Vrijdag 22 april jl. vond een van de grootste SEO congressen van Groot-Brittannië plaats in Brighton. De Brighton Dome in het centrum van de stad bood een prachtig decor voor alweer het zesde achtereenvolgende jaar dat het SEO-congres werd georganiseerd. Samen met mijn collega Bas zijn we naar Engeland afgereisd om een aantal presentaties te volgen omtrent de nieuwste ontwikkelingen op het gebied van internet marketing. Tijdens het congres zijn er diverse disciplines van online marketing besproken. Het verbeteren van de techniek van een website wordt vaak ondergewaardeerd. Graag deel ik onderstaande tien technische takeaways van BrightonSEO!

#1: Crawl optimalisatie

Crawl optimalisatie houdt in dat de spiders van de zoekmachines zo min mogelijk tijd spenderen aan het crawlen van de juiste URL’s op de website. Waarom is dit belangrijk? Omdat elke website is gebonden aan een crawl budget. Je wil niet dat het crawl budget wordt verspild aan minder belangrijke URL’s (crawl waste). Het is wenselijk dat de meest relevante en belangrijke pagina’s binnen een website regelmatig worden gecrawld.

Volgens Dawn Anderson hebben crawlers een crawling schema. Dit schema bestaat uit drie rangen:

  1. Real time crawling
    De URL’s die zijn ingedeeld in deze rang worden meerdere keren per dag bezocht door de crawlers van de zoekmachines
  2. Dagelijks crawls
    In deze rang worden de URL’s elke dag óf om de dag gecrawld
  3. Basis crawls
    Alle URL’s die hieronder vallen worden onderverdeeld in verschillende segmenten. Deze segmenten worden vervolgens om de beurt gecrawld. Hier wordt de lijst per segment afgewerkt, wanneer het einde is bereikt begint het crawlen pas weer opnieuw.

Het verschilt per website welke URL’s onder welke rank in het schema vallen. Zo kunnen de belangrijkste URL’s van een website onder de eerste of tweede rang vallen, maar de minder belangrijke URL’s onder rang drie. Anderson vertelde ook dat als er een nieuwe URL wordt gevonden de crawler niet direct de nieuwe pagina crawlt, maar eerst in een rang indeelt en daarna pas terug komt.

#2: Optimaliseer XML Sitemaps

Om ervoor te zorgen dat de crawlers zo min mogelijk tijd kwijt zijn aan het crawlen van de verkeerde pagina’s is het optimaliseren van de XML sitemap een goede zet. Zorg dat de XML sitemap alleen URL’s bevat die ‘final’ zijn. Minimaliseer 301 redirects en andere statuscodes die niet 200 zijn. Test bij welke URL’s er veel crawl waste aanwezig is. Dit kan door middel van het aanmaken van meerdere sitemaps en deze toe te voegen aan Google Search Console. In GSC kan je zien hoeveel pagina’s er zijn gecrawld en hoeveel er zijn geïndexeerd.

Sitemaps optimaliseren GSC

– Zit hier een groot verschil tussen?
– Zie je hier 20.000 verzonden en 11.000 geïndexeerd?

Dan is het belangrijk om verder onderzoek te doen naar welke pagina’s voor zoveel waste zorgen. Als blijkt dat er te weinig URL’s worden geïndexeerd, controleer dan de statuscodes van alle pagina’s. Het kan voorkomen dat er teveel