Editor Robots.txt para redes de vários sites

Confira nosso vídeo sobre o uso do All in One SEO em redes multisite do WordPress aqui.

Se você tiver uma Rede Multisite do WordPress, poderá gerenciar regras globais do robots.txt que serão aplicadas a todos os sites da rede.

Vídeo tutorial

Para começar, acesse o Network Admin e clique em All in One SEO > Network Tools no menu à esquerda.

Você verá nosso Robots.txt Editor padrão, no qual é possível ativar e gerenciar regras personalizadas para o seu robots.txt.

Clique no botão Ativar Robots.txt personalizados para ativar o editor de regras.

Você deverá ver a seção Robots.txt Preview (Visualização do Robots.txt ) na parte inferior da tela, que mostra as regras padrão adicionadas pelo WordPress.

Regras padrão do Robots.txt no WordPress

As regras padrão exibidas na seção Robots.txt Preview (mostradas na captura de tela acima) solicitam que os robôs não rastreiem seus arquivos principais do WordPress. Não é necessário que os mecanismos de pesquisa acessem esses arquivos diretamente porque eles não contêm nenhum conteúdo relevante do site.

Se, por algum motivo, você quiser remover as regras padrão adicionadas pelo WordPress, precisará usar o gancho do filtro robots_txt no WordPress.

Adição de regras usando o Rule Builder

O construtor de regras é usado para adicionar suas próprias regras personalizadas para caminhos específicos em seu site.

Por exemplo, se você quiser adicionar uma regra para bloquear todos os robôs de um diretório temporário, poderá usar o construtor de regras para fazer isso.

Para adicionar uma regra, insira o agente do usuário no campo User Agent. O uso de * aplicará a regra a todos os agentes de usuário.

Em seguida, selecione Allow (Permitir ) ou Disallow (Não permitir ) para permitir ou bloquear o agente do usuário.

Em seguida, digite o caminho do diretório ou o nome do arquivo no campo Directory Path (Caminho do diretório ).

Por fim, clique no botão Save Changes (Salvar alterações ).

Se você quiser adicionar mais regras, clique no botão Add Rule (Adicionar regra ), repita as etapas acima e clique no botão Save Changes (Salvar alterações).

Suas regras aparecerão na seção Robots.txt Preview e no seu arquivo robots.txt, que pode ser visualizado clicando no botão Open Robots.txt.

Qualquer regra que você adicionar aqui será aplicada a todos os sites da sua rede e não poderá ser substituída no nível do site individual.

Edição de regras usando o Rule Builder

Para editar qualquer regra que você tenha adicionado, basta alterar os detalhes no construtor de regras e clicar no botão Salvar alterações.

Exclusão de uma regra no Rule Builder

Para excluir uma regra que você adicionou, clique no ícone da lixeira à direita da regra.

Bloqueio de rastreadores indesejados

Você pode usar a opção Block AI Crawlers para adicionar regras ao seu robots.txt que bloqueiam rastreadores conhecidos, como os rastreadores de IA e o Google AdsBot.

Você pode selecionar cada um dos rastreadores para bloqueá-los ou pode selecionar All AI Crawlers para bloquear todos os listados.

Bloquear o rastreamento de URLs de pesquisa interna do site

Você pode usar a configuração Block Crawling of Internal Site Search URLs (Bloquear rastreamento de URLs de pesquisa interna do site ) para adicionar regras ao seu robots.txt e impedir o rastreamento de URLs para páginas de pesquisa. Isso reduz o rastreamento desnecessário de seu site.

Gerenciamento do Robots.txt para subsites

No Editor Robots.txt para vários sites, é muito fácil editar as regras de robôs para qualquer site em sua rede.

Para começar, basta clicar no menu suspenso seletor de sites na parte superior do Robots.txt Editor. A partir daí, selecione o site para o qual deseja editar as regras ou pesquise-o digitando o domínio:

Depois de selecionar um site, as regras abaixo serão atualizadas automaticamente e você poderá modificar/alterar as regras apenas para esse site. Certifique-se de clicar em Save Changes (Salvar alterações) após modificar as regras do subsite.