Récupérer des infos sur le site

robots.txt

url: http://www.site.fr/robots.txt
Il peut contenir des informations sur l'arborescence de fichiers du site web.

url: http://www.site.fr/google-SiteMap.xml
Il contient la liste des pages du site web.