Zie een zoekmachine als een bibliotheek vol met informatie. Eerst moet deze informatie gearchiveerd worden. Vervolgens wordt de waarde van de informatie bepaald en gepresenteerd in de bibliotheek. Voor de zoekmachines geldt hetzelfde principe. De crawlers detecteren (nieuwe) pagina’s en vervolgens wordt deze informatie geïndexeerd. Tevens wordt er een waarde indicatie, lees: relevantie ten opzichte van een zoekwoord, toegekend aan een pagina. Hoe relevanter, hoe hoger de positie in de zoekmachine.

Hoe werkt het crawlen en indexeren?

We leggen dit weer uit met het voorbeeld van de bibliotheek. Een bibliotheek medewerker zoekt naar boeken en bepaalt vervolgens de waarde hiervan. Als de bibliotheek medewerker ziet dat de boeken allemaal van dezelfde auteur zijn dan zullen de boeken meeliften op elkaars autoriteit. Een auteur met veel toonaangevende boeken zal veel autoriteit genieten en de bibliotheek medewerker zal bij vragen over boeken waarover de auteurs schrijft als eerste naar de collectie van een specifieke auteur verwijzen.

Bovenstaande uitleg is een stuk verdieping met een bibliotheek als voorbeeld. In werkelijkheid werkt Google nagenoeg hetzelfde alleen is de bewoording anders. De crawler van Google zoekt naar nieuwe pagina’s (crawlen) en bepaalde vervolgens de waarde hiervan. De crawler vindt (nieuwe) pagina’s door de linkstructuur op een website.

Stel: pagina A op website Z verwijst naar pagina B, pagina C en pagina D binnen website Z. Dan crawlt de spider alle links (lees: pagina’s) en stuurt de informatie vervolgens naar Google om hier een bepaalde waarde aan te hangen. De interne linkstructuur zorgt ervoor dat Google de pagina’s herkent en dat de pagina’s horen bij één domein. Google geeft ook een waardeoordeel aan deze pagina’s.

Stel website Z heeft 50 pagina’s met zeer waardevolle content dan zal dit een positief effect hebben op alle pagina’s. De pagina’s worden opgenomen in de database van Google (geïndexeerd) en getoond in Google.nl. Als de pagina vervolgens relevante informatie biedt voor een bepaalde zoekintentie dan zal deze pagina getoond worden in Google.

Hoe bepalen zoekmachines relevantie en populariteit van websites?

Relevantie is voor de zoekmachines het toverwoord. Zonder relevantie gaan gebruikers van zoekmachine naar een andere bron om verder te zoeken naar relevante informatie. Door de jaren heen slagen de algoritmes van de zoekmachines er steeds beter in om relevante antwoorden te geven op de zoekvragen van de gebruikers van een zoekmachine. Naar schatting zijn er meer dan honderd factoren die meewegen of een pagina relevant of populair is.

In het algemeen geldt voor zoekmachines: hoe hoger de populariteit van een pagina, hoe waardevoller de informatie op deze pagina moet zijn. De beoordeling of een pagina populair of relevant is, gebeurt niet handmatig. Hiervoor hebben de zoekmachines algoritmes ontwikkeld om te bepalen of een pagina relevant is en, zo ja, of een pagina populair is bij de gebruikers. Naar schatting zijn er in totaal meer dan 100 factoren.

100+ factoren…

Uiteindelijk weet niemand 100% zeker hoe het algoritme precies werkt. Door de jaren heen blijkt uit tests dat bepaalde aanpassingen voor een verhoogde zichtbaarheid zorgen in de zoekmachine. Op het internet zijn er tal van blogs waar je gedetailleerde informatie kan vinden. Ook zijn er diverse congressen in het buitenland zoals MozCon, SMX of SearchLove of recentelijk ook Friends of Search in Nederland. Tijdens deze congressen zijn er vaak ook medewerkers van de zoekmachines aanwezig om het een en ander uit te leggen over bepaalde onderwerpen.