NoIndex is een Meta Robots tag die de crawlers van zoekmachines vertelt welke pagina’s op de website zij wel of niet mogen indexeren. Deze tag wordt gebruikt in de meta robot tag, deze wordt geplaatst in de header van de website. Om te controleren of een website of pagina gebruik maakt van een NoIndex tag, is dat te controleren in de broncode van de website.

Waarom wordt de NoIndex tag gebruikt?

NoIndex wordt vaak gebruikt op webpagina’s die geen toegevoegde waarde hebben voor de bezoeker of Google. Oftewel pagina’s met een lage waarde die niet in de zoekresultaten moeten terugkomen. Dit kunnen pagina’s zijn zoals de interne zoekresultaten pagina, gepagineerde pagina’s of filterpagina’s.

NoIndex tag toegevoegd, maar de pagina komt nog steeds voor in Google: Hoe komt dan?

Het kan voorkomen dat een pagina nog steeds terugkomt in de zoekresultaten nadat de NoIndex is toegevoegd. Dit komt omdat Google een pagina moet crawlen om de NoIndex tag op te merken, het kan dus zijn dat deze over het hoofd wordt gezien. Wanneer een pagina dus nog tevoorschijn komt in de zoekresultaten komt dit omdat Google de pagina’s nog niet heeft gecrawld. Google heeft daarom een tool gemaakt genaamd ‘Fetchen’, daarmee kan een verzoek worden ingediend om de pagina opnieuw te crawlen.

Een andere reden waarom de NoIndex tag over het hoofd wordt gezien kan zijn door het robots.txt bestand, dit bestand kan de crawlers blokkeren om de pagina te crawlen. Om te zorgen dat dit niet gebeurd is het mogelijk om de pagina te deblokkeren voor Google, het robots.txt bestand moet hiervoor bewerkt worden. Nadat het bestand is bewerkt is het mogelijk om de pagina te testen met behulp van robots.txt-tester tool.