Un fichier robots.txt est une sorte de point d’information et une carte de visite deux en un pour les crawlers. Un administrateur de site peut donner des informations ou des directions aux robots des moteurs de recherche qui se baladent sur son site. Libre à lui de définir ce qu’il permet et ne permet pas aux robots.Ces fichiers sont utiles pour le référencement. Mais en général, ils ne sont pas des plus intéressants. Celui-ci est vraiment drôle. Les interdictions sous-entendent un réel sens de l’humour chez Last.fm!
Si vous voulez voir le fichier dans toute sa gloire, c’est par ici!
Peut-être qu’on devrait s’y mettre nous aussi. Vous avez des suggestions?
Effectivement, c’est assez sympa de les voir détourner les 3 lois de la robotiques ainsi.
C’est très subtil, j’adhère !
vous pouvez expliquer pour ceux qui ne comprennent pas ???
@manpower : lis les trois derniers lignes de Disallow
http://fr.wikipedia.org/wiki/Trois_lois_de_la_robotique
Il faut avoir lu Asimov
Les 3 lois sont (dnas l’ordre de priorité) :
1) Ne pas faire de mal aux humains
2) Toujours obéir aux ordres des humains
3) Tout faire pour conserver son intégrité physique
Tiens,
si on fait la même chose sur le site de l’oreal
http://www.loreal.fr/robots.txt
La page liée au mécénat n’est plus indexée ! Fou non ?
Je m’aime
Trois lois de la robotique les gars vous sortez de I robot ou quoi?
Bravo pour l’oréal mdr!!!