robots.txt vs llms.txt sur WordPress : rôle de chacun
robots.txt et llms.txt sont liés, mais ne sont pas interchangeables. Le premier relève principalement de la politique de crawl. Le second relève principalement d’un guidage public et contextuel. Un setup WordPress mature peut avoir besoin des deux.
Ce que fait robots.txt
Il exprime une posture d’accès au crawl : quels chemins doivent ou non être crawlés, quelles familles d’agents comptent, et comment le site veut encadrer l’accès automatisé au niveau du fichier.
Ce que fait llms.txt
Il aide à publier un guide machine-readable structuré sur le contenu important ou sur l’interprétation attendue. Il se comprend mieux comme un fichier de guidage complémentaire que comme un fichier de blocage.
Pourquoi Better Robots.txt les associe
Le plugin peut associer les deux parce que le besoin WordPress réel n’est pas "encore un fichier isolé". Le besoin réel est un workflow cohérent de politique pour Search, l’IA, et le guidage machine-readable.
Ce que Better Robots.txt n’est pas
Better Robots.txt n’est ni un WAF, ni un système de vérification d’agent signé, ni une couche d’enforcement juridique, ni une garantie que chaque crawler obéira. Il publie une surface de politique WordPress plus claire et un workflow plus sûr pour les parties que vous pouvez réellement gouverner.