Hej Pete
Nej, det er bestemt ikke et generelt råd. Det er kun fordi Thomas i dette tilfælde har en fil liggende, som ikke har noget indhold med funktion.
robots.txt er generelt set en meget nyttig ting, hvis den er indstillet rigtig. Fx kunne den let indstilles til at forhindre Google i at indeksere efter datoarkiverne og forfatterarkiverne og dermed tvinge søgemaskinen til kun at crawle sig frem via emne/kategori-oversigten.
Jeg har valgt ikke at gå i dybden med at det i Thomas tilfælde af flere grunde. En af grundene er, at der er der vigtigere ting at starte med (at åbne op for Google i indstillingen i hans seo-plugin). En anden er at det ikke er verdens mest afgørende ting. Det er ude i fintuningen. Og en tredie er at man skal passe på med tastefejl i robots.txt da man kan komme til at udelukke søgemaskinerne helt uden at noget kan ses på ens site. (Thomas mangler fx bare en skråstreg et bestemt sted i sin fil for at opnå det uheldige resultat.)
En blogpost om indstilling af robots.txt er på min arbejdsliste, så den kommer engang i fremtiden. :-) I mellemtiden har Grosen Friis en god guide liggende her ovre.
Hilsen Anders Saugtrup