url: http://www.site.fr/robots.txt Il peut contenir des informations sur l'arborescence de fichiers du site web.
url: http://www.site.fr/google-SiteMap.xml Il contient la liste des pages du site web.