Een robots.txt is een bestand in je website wat instructies bevat voor zoekmachines. In dit bestand wordt aangegeven hoe deze jouw website kunnen en mogen indexeren. Op het moment dat deze correct is ingesteld, dan weten zoekmachines dus welke pagina’s wel en welke pagina’s niet geïndexeerd moeten worden. Een robot.txt bestand is uiterst belangrijk voor de vindbaarheid van je website. Je kunt het zien als een instructiebestand voor zoekmachines. Is deze er niet, dan kunnen zoekmachines niet goed je website doorzoeken en indexeren. In een robots.txt bestand verwijs je door naar de sitemap van de website.
Waarom is het gebruik van een robots.txt bestand belangrijk?
Zoals ik hierboven al aangaf kun je dus door middel van het robots.txt bestand aangeven welke pagina’s wel en welke pagina’s niet geïndexeerd mogen worden door zoekmachines, zoals bijvoorbeeld Google. Dit is belangrijk, omdat je soms pagina’s op je website hebt waarvan je niet wilt dat deze op Google gevonden kunnen worden. Doormiddel van het robots.txt bestand kun je dit aangeven. Het is alleen niet zo dat deze informatie verborgen is en niet te vinden is. Dit geld alleen voor wat betreft de zoekmachines. Als iemand de link van een pagina deelt, dan heeft dit niks te maken met het robots.txt bestand.
Er zijn heel veel websites die niet gebruik maken van dit bestand. Dit komt omdat alle pagina’s van deze websites geïndexeerd mogen worden door zoekmachines. Wij zelf hebben wel een aantal pagina’s die niet geïndexeerd mogen worden, zoals bijvoorbeeld:
- succesvol aangemeld pagina’s
- download pagina’s
- bedankt pagina’s
Het is belangrijk dat deze niet gevonden worden, omdat mensen dan zomaar op pagina’s kunnen komen, waarvan wij vinden dat dit niet zomaar mag. Alle andere pagina’s mogen wel gevonden worden, dus wij geven niet aan dat deze niet geïndexeerd mogen worden.
Door een robots.txt bestand te hebben verbeter je de vindbaar van je website, omdat zoekmachines dan op de juiste/beste manier je website kunnen indexeren.