Een wat? Robots.txt is een bestand waarmee je kunt bepalen hoe een zoekmachine je site mag lezen. Je kunt bijvoorbeeld aangeven dat bepaalde pagina’s of zelfs mappen niet geïndexeerd mogen worden. Waarom zou je dat doen, vraag je dan af? Stel je hebt een bericht op je homepage staan en dit bericht staat ook weer op een subpagina of een overzichtspagina. Als Google de site bekijkt ziet Google 2 keer dezelfde content. Google vindt dat verdacht en als dit structureel blijkt te zijn kun je er hiervoor gestraft worden bijvoorbeeld door een lagere Pagerank te krijgen. Dit kun je voorkomen met robots.txt.

Een ander voordeel van robots.txt is dat je je pagerank beter kunt verdelen over je site. Even kort door de bocht gezegd wordt je pagerank verdeeld over je hele site. Dus hoe meer pagina’s je hebt des de meer je pagerank uitgesmeerd wordt over je site. Door bepaalde onbelangrijk delen uit te sluiten kun je belangrijkere delen meer pagerank geven.

Als laatste gebruik je robots.txt om bepaalde delen niet te laten indexeren gewoon omdat je dat niet wilt.

Google Webmaster Tools begint ondertussen een essentieel onderdeel te worden als je echt serieus met SEO bezig bent. En nu met de uitbreiding van de Robots.txt Generator wordt dit weer eens bevestigd.

Nog een handige tool van Google: Robots.txt gnerator