Een Meta Robot is een tag die is geplaatst in de header section van een HTML webpagina die vertelt wat crawlers moeten indexeren en volgen van de website.
De meest gebruikte Meta Robots tags zijn NoFollow en NoIndex. Met de NoIndex tag wordt voorkomen dat een webpagina wordt geïndexeerd door de zoekmachines. Met NoFollow wordt voorkomen dat de links op de pagina worden gevolgd.
Sommige websites wil je niet geïndexeerd hebben omdat ze geen toegevoegde waarde hebben voor Google of de bezoeker van de website.
Meta robot tag: Hoe en wat
De meta robot tag wordt dus geplaatst in de header sectie van een webpagina. Wanneer de tag is geplaatst kan deze gevonden worden in de broncode van de webpagina. In de broncode ziet een meta robot tag er als volgt uit:
Achter content in het <value> vak kunnen verschillende waarden worden ingevuld:
- Follow, NoFollow – Vertelt de crawler of de links op de pagina wel of niet gevolgd moet worden
- Index, NoIndex – Vertelt de crawler of de pagina wel of niet geïndexeerd moet worden
- NoArchive, NoCache – Voorkomt dat de zoekmachines een gecachte versie van de website laten zien
- NoSnippet – Voorkomt dat de zoekmachines een snippet laten zien van de pagina én voorkomt dat er de pagina wordt gecacht
- Noodp – Voorkomt dat zoekmachines de description van DMOZ gebruiken(odp) als snippet in de zoekresultaten
Veel voorkomende fouten met de meta robot tag
De meta robot tag is een zeer nuttige manier om zelf de crawlers te beïnvloeden op een website, maar fouten met grote gevolgen zijn snel gemaakt. Zo kan een verkeerde implementatie van de NoIndex waarde ervoor zorgen dat de gehele website of directories niet worden geïndexeerd.
Een meta robot tag hoeft nooit de waarden Index of Follow te bevatten. Deze waarden zijn de standaard en zijn altijd van toepassing (behalve natuurlijk als er een NoFollow of NoIndex waarde is toegevoegd).
Na het implementeren van de meta robot tag moet er zorgvuldig gecontroleerd worden of alles klopt.
Gerelateerde begrippen: Meta tags, robots.txt, NoFollow, NoIndex.
Vakgebied(en): Zoekmachine optimalisatie.
➥ Terug naar Woordenboek
