Fonctionnalités
Better Robots.txt apporte une manière structurée de décider comment différentes catégories de crawlers doivent interagir avec un site WordPress.
Principaux groupes de fonctionnalités
Visibilité des moteurs de recherche
Choisir le niveau de visibilité du site pour les moteurs de recherche classiques et vérifier l’impact avant publication.
Gouvernance IA & LLM
Exprimer comment des systèmes IA peuvent utiliser le contenu, y compris la génération de réponses et les préférences liées à l’entraînement.
Protection contre les outils SEO
Contrôler l’accès des outils SEO tiers et des crawlers d’intelligence concurrentielle.
Protection contre les mauvais bots
Bloquer plus clairement les crawlers abusifs ou de faible valeur.
Contrôle de l’archive et de Wayback
Décider si le site doit rester disponible aux services d’archivage public.
Spam, flux et pièges de crawl
Réduire le bruit généré par les chemins de faible valeur, les crawlers de flux et les pièges de crawl.
Nettoyage WooCommerce
Éviter de gaspiller le budget de crawl sur le panier, le checkout, le compte et les URLs dynamiques de boutique.
Ressources et assets
Contrôler l’exposition des fichiers CSS, JS et images.
Crawlers sociaux
Décider si les plateformes sociales doivent générer des aperçus enrichis quand un lien est partagé.
Review & Save
Prévisualiser la sortie générée avant publication.
Pourquoi c’est important
Le plugin ne cherche pas à “avoir l’air avancé”. Il cherche à rendre la politique de crawl plus claire, plus sûre et plus simple à comprendre.