Comment migrer d'un robots.txt manuel vers Better Robots.txt
Beaucoup de sites WordPress ont un robots.txt écrit à la main — soit comme fichier physique à la racine du serveur, soit collé dans la zone de texte d'un plugin il y a des années. Migrer d'une configuration manuelle vers Better Robots.txt est direct, mais il faut vérifier que les règles existantes sont préservées et que la transition ne crée pas de vide dans la politique de crawl.
Avant de commencer : auditer le fichier actuel
Ouvrir votredomaine.com/robots.txt dans le navigateur et lire ce qu'il dit. Copier le contenu quelque part en sécurité — c'est la référence pour la migration. La liste de vérification en 5 minutes est un bon point de départ.
Porter attention à ces éléments : quels agents ont des blocs spécifiques, quels chemins sont interdits, y a-t-il une directive Sitemap:, y a-t-il des règles Allow qui remplacent des Disallow plus larges.
Étape 1 : installer et activer le plugin
Installer Better Robots.txt depuis WordPress.org. À l'activation, le plugin prend le contrôle de la sortie virtuelle du robots.txt. Si un fichier physique robots.txt existe à la racine du serveur, WordPress peut servir le fichier physique au lieu de la sortie du plugin — vérifier immédiatement après l'activation en visitant /robots.txt.
Si un fichier physique existe, le renommer en robots.txt.backup.
Étape 2 : choisir un preset comme point de départ
Les presets de Better Robots.txt fournissent une configuration de départ sensée :
Essential est le point de départ le plus sûr pour la plupart des sites.
AI-First est adapté si le fichier manuel contenait déjà des règles pour les robots IA.
Fortress est approprié si le fichier manuel était fortement restrictif.
Custom démarre d'une base minimale et permet de basculer chaque règle individuellement.
Étape 3 : comparer la sortie avec le fichier manuel
C'est l'étape critique. Ouvrir l'écran Vérification et enregistrement et comparer le robots.txt généré avec le fichier manuel sauvegardé. Vérifier chaque règle.
Toutes les règles Disallow existantes sont-elles présentes ? Les mêmes agents sont-ils adressés ? La directive sitemap est-elle présente ? Y a-t-il de nouvelles règles dans le preset qui n'étaient pas dans le fichier manuel — les presets incluent des protections pour le gaspillage de crawl WordPress courant que les fichiers manuels omettent souvent.
Étape 4 : sauvegarder et vérifier
Sauvegarder la configuration. Revisiter /robots.txt pour confirmer que la sortie correspond à la revue. Puis vérifier dans Google Search Console.
Étape 5 : surveiller pendant deux semaines
Après la migration, surveiller le rapport de couverture de Google Search Console pour toute nouvelle erreur « Bloqué par robots.txt ». Les deux premières semaines sont la fenêtre de validation.