Un fichier reçu.
Une intention à préciser.
Comprendre
Définir les pages que les robots doivent pouvoir explorer.
Vérifier
Dans cet exemple, robots.txt contient une directive Disallow pour /prive/.
Ouvrir l’extrait robots.txt
Consulter la source complèteUser-agent: * Disallow: /prive/Agir
Préciser quels robots doivent accéder à quelles pages, puis confronter ces souhaits aux règles reçues.
Recontrôler
Après modification, relire les règles et vérifier l’accès sur le même périmètre. Conserver les deux relevés.
Une directive observée ne prouve pas, à elle seule, l’accès effectif d’un robot.