Een wat? Robots.txt is een bestand waarmee je kunt bepalen hoe een zoekmachine je site mag lezen. Je kunt bijvoorbeeld aangeven dat bepaalde pagina’s of zelfs mappen niet geïndexeerd mogen worden. Waarom zou je dat doen, vraag je dan af? Stel je hebt een bericht op je homepage staan en dit bericht staat ook weer […]