Choisir une posture
Commencez avec Essential, AI-First, Fortress ou Custom plutôt que de reconstruire les règles de mémoire.
Gouvernance du crawl pour WordPress
Générez robots.txt, séparez les familles de crawlers, publiez un llms.txt et des signaux d’usage IA optionnels, puis révisez le tout avant publication. Sans modifier le fichier à la main.
Gouvernance publique
Références canoniques
# Découverte par la recherche
User-agent: OAI-SearchBot
Allow: /
# Entraînement de modèles
User-agent: GPTBot
Disallow: /
Sitemap: https://exemple.com/sitemap.xmlUn seul parcours guidé
Better Robots.txt transforme la gouvernance des crawlers en séquence opérationnelle claire plutôt qu’en exercice fragile de modification textuelle.
Commencez avec Essential, AI-First, Fortress ou Custom plutôt que de reconstruire les règles de mémoire.
Distinguez recherche, entraînement, moteurs de réponse, agents déclenchés par l’utilisateur, archives, outils SEO et bots indésirables.
Ajoutez llms.txt et des signaux d’usage IA optionnels sans confondre guidage déclaratif et blocage technique.
Prévisualisez la politique générée, comprenez les règles gagnantes et gardez chaque décision réversible.
Voir le produit, pas une promesse
L’interface passe du choix d’un preset aux contrôles par crawler, puis à un aperçu final publiable. Le plugin demeure une couche d’une stratégie SEO et de visibilité IA plus large.
Voir le parcours guidéAuditer avant de configurer
Analysez robots.txt, llms.txt, la couverture des crawlers IA, les signaux lisibles par machine, l’hygiène WordPress et l’accès aux ressources publiques en environ 30 secondes.
Quatre modèles opératoires
Les presets sont des points de départ, pas des promesses opaques. Chaque choix reste vérifiable et modifiable.
Des fondations robots.txt propres et des valeurs par défaut plus sûres pour la plupart des sites WordPress.
Explorer le presetUne posture d’usage IA plus claire tout en gardant ouverte la découverte utile par la recherche et les moteurs de réponse.
Explorer le presetDes valeurs orientées protection pour le scraping, l’archivage, l’entraînement et les contextes plus sensibles.
Explorer le presetUn contrôle module par module pour les équipes qui connaissent déjà la politique exacte dont elles ont besoin.
Explorer le presetUtiliser le site comme système de décision
La documentation détaillée demeure accessible sans imposer à chaque visiteur un mur de cartes interchangeables.
Lisible par machine dès la conception
Better Robots.txt distingue directives de crawl, préférences d’usage post-crawl, guidage interprétatif et enforcement d’infrastructure. Publier un fichier ne garantit ni l’obéissance d’un crawler, ni le classement, ni la récupération, ni la citation.
Commencer par les preuves