Også aktuelt mht denne tråd:
blokerede-webadresser
I Wordpress 3 Search Engine Optimization (forlaget PACKT publishing) anbefaler man denne robots.txt:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: /tag/
Disallow: */trackback
Disallow: */comments
Hvis man ikke vil have indexeret gamle sider kan man tilføje:
Disallow: /2006/
Disallow: /2007/
(altså årstallene)
Hvis man vil afvise "e-mail harvesting" og "worthless search engines" kan man tilføje:
User-agent: Sitesnagger
Disallow: /
User-agent: Webstripper
Disallow: /
-------
(spørgsmålet er om de adlyder)