Tegenwoordig zijn we altijd online. We zoeken niet alleen via de desktop maar ook via smartphones of tablets. Per dag worden er miljoenen zoekopdrachten uitgevoerd en resultaten getoond aan de gebruiker. Hoe genereren zoekmachines die gigantische lijsten met zoekresultaten? Het antwoord hierop is kort samen te vatten in de volgende zin: door alle pagina’s te crawlen en te indexeren.

Crawlen en indexerenhoofdstuk-1-crawlen-en-indexeren

De zoekmachines speuren het gehele internet af op zoek naar websites en pagina’s. Dit wordt crawlen genoemd. Het crawlen
wordt gedaan door een zogenaamde crawler. Een crawler moet je zien als een spin, de bijnaam van een crawler is ook spider. Elke zoekmachine heeft een eigen crawler, zo heeft Google “GoogleBot” en heeft Bing “Bingbot”.

Het proces van crawlen moet je als volgt zien. De crawler is een spin in een gigantisch spinnenweb(het internet). De spin kan alleen maar over een lijn bewegen van knooppunt naar knooppunt. De knooppunten zijn in dit geval de websites/pagina’s en de lijnen zijn in dit geval links die naar een andere website of pagina op het web leiden.

Links zijn de verbindingspunten tussen verschillende websites voor de crawlers. Hoe meer inkomende links jouw website heeft vanaf andere websites, hoe groter de kans dat crawlers je website vaker bezoeken. Als een crawler je website bezoekt dan leest het niet de website zoals jij dit zelf ziet. Een crawler leest de broncode van de website. Als een crawler een website bezoekt dan kijkt het eerst naar het robot.txt bestand, hier kan het lezen wat het wel en niet mag crawlen en indexeren.

In de broncode vinden crawlers alle informatie die ze gebruiken om te bepalen waar de pagina over gaat. Denk hierbij aan:

  • Meta tags
  • Content
  • Alt tags van afbeeldingen

De zoekmachines slaan deze informatie vervolgens op in hun database, dit heet indexeren. Indexeren is dus simpel gezegd het registeren van pagina’s in de gigantische database van de zoekmachines. De zoekresultaten die een gebruiker te zien krijgt, zijn dus geen real time resultaten, maar resultaten vanuit de database van de zoekmachine.

Zoekopdrachten beantwoorden

Zoekmachines kan je zien als grote antwoordmachines. Als een gebruiker een zoekopdracht uitvoert dan is het eerste wat de zoekmachine doet door de gigantische database spitten om uiteindelijk twee cruciale acties uit te voeren:

  • Een lijst met resultaten opleveren die relevant zijn voor de zoekopdracht
  • De lijst die het oplevert rangschikken naar een zoekresultaat dat het meest waardevol is in de ogen van de zoekmachine

Dit zijn ook gelijk de punten waar je met hoger scoren in Google het meeste invloed op kunt én wilt hebben. Laten zien dat de pagina’s relevant én waardevol zijn voor de zoekmachine. Doe je dit als beste van je concurrenten? Dan eindig je bovenaan in de rankings.

Maar hoe bepalen de zoekmachines welke pagina’s het meest relevant en waardevol zijn voor een zoekopdracht? Dit doen zij door middel van een algoritme die bestaat uit meer dan 200 verschillende factoren. De meeste factoren zijn niet bekend. Sommige factoren zijn door de zoekmachines zelf bekend gemaakt en andere factoren zijn ontdekt door uitgebreide testen. De factoren die wel bekend zijn, kan je gebruiken om de website/pagina’s relevanter en waardevoller te maken voor bepaalde zoekintenties.

De richtlijnen van de zoekmachines

Zoals gezegd hebben de zoekmachines zelf een aantal ranking factoren bekendgemaakt in de richtlijnen.

Vanuit de Google en Bing webmaster richtlijnen zijn de volgende factoren bekend:

  • Schrijf pagina’s voor de gebruiker en niet voor de zoekmachine. Houd focus op de doelgroep!
  • Vermijd ‘cloaking’! Dit houdt in dat je een bezoeker van je website opzettelijk andere content laat zien, dan de crawlers van de zoekmachine zien. Bijvoorbeeld door witte tekst te schrijven bij een witte achtergrond
  • Maak een website met een duidelijke site architectuur
  • Schrijf waardevolle content
  • Zorg voor een natuurlijk zoekwoord/tekstgrootte ratio
  • Produceer regelmatig nieuwe content
  • Zorg dat de meta tags relevant zijn
  • Zorg dat de ALT tags bij afbeeldingen zijn ingevuld, anders kunnen de crawlers dit niet lezen
  • Gebruik zoekwoorden
  • Creëer een duidelijke URL structuur
  • Voorkom duplicate content (dubbele content) door middel van 301 redirects of de rel=”canonical” tag. Hier komen we later in de gids op terug
  • Zorg dat de content op jouw website niet verborgen zit achter zogeheten rich media (Adobe Flash Player, Javascript, Ajax)

Daarnaast zijn er nog andere ranking factoren bekend, denk hierbij aan:

  • Het aantal inkomende links naar de website of pagina
  • De tekst waarmee wordt gelinkt, de zogeheten anchor tekst
  • De laadsnelheid van de pagina
  • De mate van gebruiksvriendelijkheid
  • De interne linkstructuur van de website
  • Mobielvriendelijkheid

Los van bovenstaande factoren zijn er nog veel meer factoren die tot op de dag van vandaag onduidelijk of onbekend zijn.