Een robots.txt bestand kan meerdere functies hebben. Het bestand vertelt de crawlers van zoekmachines welke websites zij wel of niet mogen indexeren. Afhankelijk van de regels in het robots.txt bestand kan de toegang tot specifieke pagina’s worden geweigerd. Daarnaast moet de XML sitemap worden toegevoegd aan het bestand, hierdoor wordt deze altijd gecrawled wanneer de website wordt bezocht. Een robots.txt bestand wordt geplaatst in de root directory van een website.
Robots.txt bestand en reeds geïndexeerde pagina’s
Het is belangrijk om te weten, dat een robots.txt bestand een pagina niet verwijdert die reeds geïndexeerd is. Het voorkomt alleen dat een pagina wordt geïndexeerd door de crawlers. Staat een pagina al een tijd online voordat het robot.txt bestand is toegevoegd, dan staat deze versie nog altijd in de database van de zoekmachine.
Lees en leer meer over het robots.txt bestand in onze uitgebreide blogartikel.
Gerelateerde begrippen: Crawlers, Indexeren.
Vakgebied(en): Zoekmachine optimalisatie.
➥ Terug naar Woordenboek
