Best Robots.txt File!

Un fichier robots.txt est une sorte de point d'information et une carte de visite deux en un pour les crawlers. Un administrateur de site peut donner des informations ou des directions aux robots des moteurs de recherche qui se baladent sur son site. Libre à lui de définir ce qu'il permet et ne permet pas aux robots.Ces fichiers sont utiles pour le référencement. Mais en général, ils ne sont pas des plus intéressants. Celui-ci est vraiment drôle. Les interdictions sous-entendent un réel sens de l'humour chez Last.fm!

Si vous voulez voir le fichier dans toute sa gloire, c’est par ici!

Peut-être qu’on devrait s’y mettre nous aussi. Vous avez des suggestions?

BuzzFeed]

Tags :
  1. Il faut avoir lu Asimov :-)

    Les 3 lois sont (dnas l’ordre de priorité) :

    1) Ne pas faire de mal aux humains
    2) Toujours obéir aux ordres des humains
    3) Tout faire pour conserver son intégrité physique

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Vous pouvez utiliser ces balises et attributs HTML : <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Publicité