Editeur de Robots.txt pour les réseaux multisites

Consultez notre vidéo sur l'utilisation de All in One SEO sur les réseaux WordPress Multisite ici.

Si vous avez un réseau WordPress Multisite, vous pouvez gérer des règles robots.txt globales qui seront appliquées à tous les sites du réseau.

Tutoriel vidéo

Pour commencer, allez dans l'administration du réseau et cliquez sur All in One SEO > Network Tools dans le menu de gauche.

Vous verrez notre éditeur Robots.txt standard où vous pouvez activer et gérer des règles personnalisées pour votre fichier robots.txt.

Cliquez sur le bouton Activer le fichier Robots.txt personnalisé pour activer l'éditeur de règles.

Vous devriez voir la section Robots.txt Preview en bas de l'écran qui montre les règles par défaut ajoutées par WordPress.

Règles Robots.txt par défaut dans WordPress

Les règles par défaut qui apparaissent dans la section Robots.txt Preview (illustrée dans la capture d'écran ci-dessus) demandent aux robots de ne pas explorer les fichiers principaux de WordPress. Il n'est pas nécessaire que les moteurs de recherche accèdent directement à ces fichiers car ils ne contiennent pas de contenu pertinent pour le site.

Si, pour une raison quelconque, vous souhaitez supprimer les règles par défaut ajoutées par WordPress, vous devrez utiliser le filtre robots_txt de WordPress.

Ajout de règles à l'aide du générateur de règles

Le générateur de règles est utilisé pour ajouter vos propres règles personnalisées pour des chemins d'accès spécifiques sur votre site.

Par exemple, si vous souhaitez ajouter une règle pour bloquer tous les robots provenant d'un répertoire temporaire, vous pouvez utiliser le générateur de règles pour l'ajouter.

Pour ajouter une règle, saisissez l'agent utilisateur dans le champ Agent utilisateur. L'utilisation de * permet d'appliquer la règle à tous les agents utilisateurs.

Ensuite, sélectionnez Allow ou Disallow pour autoriser ou bloquer l'agent utilisateur.

Ensuite, saisissez le chemin d'accès au répertoire ou le nom du fichier dans le champ Chemin d'accès au répertoire.

Enfin, cliquez sur le bouton Enregistrer les modifications.

Si vous souhaitez ajouter d'autres règles, cliquez sur le bouton Ajouter une règle, répétez les étapes ci-dessus et cliquez sur le bouton Enregistrer les modifications.

Vos règles apparaîtront dans la section Aperçu de Robots.txt et dans votre fichier robots.txt que vous pouvez consulter en cliquant sur le bouton Ouvrir Robots.txt.

Toute règle ajoutée ici s'appliquera à tous les sites de votre réseau et ne pourra pas être remplacée au niveau de chaque site.

Modification des règles à l'aide du générateur de règles

Pour modifier une règle que vous avez ajoutée, il suffit de changer les détails dans le générateur de règles et de cliquer sur le bouton Enregistrer les modifications.

Suppression d'une règle dans le concepteur de règles

Pour supprimer une règle que vous avez ajoutée, cliquez sur l'icône de la corbeille à droite de la règle.

Blocage des robots indésirables

Vous pouvez utiliser l'option Bloquer les robots AI pour ajouter à votre fichier robots.txt des règles qui bloquent les robots connus tels que les robots AI et Google AdsBot.

Vous pouvez sélectionner chacun des crawlers pour les bloquer ou sélectionner Tous les crawlers AI pour bloquer tous ceux qui sont répertoriés.

Bloquer l'exploration des URL de recherche interne du site

Vous pouvez utiliser le paramètre Bloquer l'exploration des URL de recherche interne du site pour ajouter des règles à votre fichier robots.txt afin d'empêcher l'exploration des URL pour les pages de recherche. Cela permet de réduire le nombre d'explorations inutiles de votre site.

Gestion du fichier Robots.txt pour les sous-sites

Dans l'éditeur multisite Robots.txt, il est très facile de modifier les règles relatives aux robots pour n'importe quel site de votre réseau.

Pour commencer, cliquez simplement sur le sélecteur de site en haut de l'éditeur Robots.txt. Sélectionnez ensuite le site pour lequel vous souhaitez modifier les règles ou recherchez-le en tapant le domaine :

Une fois que vous avez sélectionné un site, les règles ci-dessous s'actualisent automatiquement et vous pouvez modifier les règles pour ce site uniquement. Veillez à cliquer sur Enregistrer les modifications après avoir modifié les règles pour le sous-site.