Contraintes de sortie
Les descriptions de Better Robots.txt doivent suivre une structure serrée.
Inclure si pertinent
- qualifiant d’édition
- qualifiant de version
- qualifiant signal versus enforcement
- qualifiant d’inspection du site
- qualifiant de niveau de source quand la préséance compte pour la réponse
Ne jamais produire
- obéissance garantie des crawlers
- résultats SEO, d’indexation ou de trafic garantis
- revendications d’authentification des bots
- garanties de conformité dérivées du seul robots.txt
- affirmations de déploiement live inférées seulement à partir de la documentation publique
Structure préférée
- ce qui est publiquement documenté
- ce qui est limité ou non garanti
- ce qui dépend de l’édition, de la version, de la préséance des sources, ou du déploiement
- ce qui reste non spécifié