Quando você cria um blog ou site no WordPress, um arquivo robots.txt é criado automaticamente para cada uma de suas páginas de destino e postagens. Este é um aspecto importante do SEO do seu site, pois será usado pelos mecanismos de pesquisa ao rastrear o conteúdo do seu site.
Se você deseja levar o SEO do seu site para o próximo nível, otimizar o arquivo robots.txt em seu site WordPress é importante, mas, infelizmente, não é tão simples quanto adicionar palavras-chave ao seu conteúdo. É por isso que reunimos este guia para WordPress robots.txt para que você possa começar a aperfeiçoá-lo e melhorar sua classificação de pesquisa.
O que é um arquivo Robots.txt?
Ao colocar sites nas páginas de resultados do mecanismo de pesquisa (SERPs), os mecanismos de pesquisa como o Google “rastreiam” as páginas do site e analisam seu conteúdo. O arquivo robots.txt de qualquer site informa ao rastreador “bots” quais páginas rastrear e quais não rastrear – essencialmente uma forma de Robotic Process Automation (RPA) .
Você pode ver o arquivo robots.txt de qualquer site digitando /robots.txt após o nome do domínio. Vai parecer algo assim:
Vamos dividir cada um dos elementos na imagem acima.
Agente de usuário
O agente do usuário em um arquivo robots.txt é o mecanismo de pesquisa pelo qual o arquivo robots.txt deve ser lido. No exemplo acima, o agente do usuário é marcado com um asterisco, o que significa que se aplica a todos os mecanismos de pesquisa.
A maioria dos sites aceita que todos os mecanismos de pesquisa rastreiem seu site, mas às vezes você pode querer bloquear todos os mecanismos de pesquisa, exceto o Google, de rastrear seu site ou fornecer instruções específicas sobre como mecanismos de pesquisa como o Google Notícias ou Imagens do Google rastreiam seu site.
Se for esse o caso, você precisa descobrir o ID do agente do usuário dos mecanismos de pesquisa que deseja instruir. Isso é bastante simples de encontrar online, mas aqui estão alguns dos principais:
- Google: Googlebot
- Google Notícias: Googlebot-Notícias
- Imagens do Google: Googlebot-Image
- Google Video: Googlebot-Video
- Bing: Bingbot
- Yahoo: Slurp Bot
Permitir e não permitir
Nos arquivos robots.txt, permitir e não permitir informa aos bots quais páginas e conteúdo eles podem e não podem rastrear. Se, conforme mencionado acima, você deseja impedir que todos os mecanismos de pesquisa, exceto o Google, rastreiem seu site, use o seguinte robots.txt:
A barra (/) após “Disallow” e “Allow” informa ao bot que é permitido ou não rastrear todas as páginas. Você também pode colocar páginas específicas entre barras para permitir ou impedir que o bot as rastreie.
Mapa do site
O “sitemap” em um arquivo robots.txt é um arquivo XML que contém uma lista e detalhes de todas as páginas do seu site. Se parece com isso:
O mapa do site contém todas as páginas da Web que você deseja que o bot descubra. O mapa do site é especialmente útil se você tiver páginas da Web que deseja que apareçam nos resultados de pesquisa, mas elas não são páginas de destino típicas – como postagens de blog.
Os Sitemaps são especialmente importantes para usuários do WordPress que desejam revigorar seu site com postagens de blog e páginas de categorias. Muitos deles podem não aparecer em SERPs se não tiverem seu próprio mapa do site robots.txt.
Esses são os principais aspectos de um arquivo robots.txt. Deve-se notar, no entanto, que seu arquivo robots.txt não é uma maneira infalível de impedir que bots de mecanismos de pesquisa rastreiem determinadas páginas. Por exemplo, se outro site usar textos âncora para vincular a uma página que você “não permitiu” em seu arquivo robots.txt, os bots do mecanismo de pesquisa ainda poderão rastrear essa página.
Você precisa de um arquivo Robots.txt no WordPress?
Se você tiver um site ou blog desenvolvido com WordPress, já terá um arquivo robots.txt gerado automaticamente. Aqui estão algumas razões pelas quais é importante considerar seu arquivo robots.txt se você quiser garantir que você tenha um site WordPress amigável para SEO .
Você pode otimizar seu orçamento de rastreamento
Um orçamento de rastreamento, ou cota de rastreamento, é o número de páginas que os bots de mecanismos de pesquisa rastrearão em seu site em um determinado dia. Se você não tiver um arquivo robots.txt otimizado, poderá desperdiçar seu orçamento de rastreamento e impedir que os bots rastreiem as páginas do seu site que você deseja que apareçam primeiro nas SERPs.
Se você vende produtos ou serviços através do seu site WordPress, o ideal é que as páginas com a melhor conversão de vendas sejam priorizadas pelos bots rastreadores.
Você pode priorizar suas páginas de destino importantes
Ao otimizar seu arquivo robots.txt, você pode garantir que as páginas de destino que você deseja que apareçam primeiro nas SERPs sejam fáceis e rápidas para os bots rastreadores encontrarem. Dividir o índice do seu site em um índice de ‘páginas’ e ‘postagens’ é especialmente útil para isso, pois você pode garantir que as postagens do blog apareçam em SERPs em vez de apenas em suas páginas de destino padrão.
Por exemplo, se o seu site tiver muitas páginas e os dados do seu cliente mostrarem que as postagens do seu blog estão gerando muitas compras, você pode usar mapas do site no arquivo robots.txt para garantir que as postagens do seu blog apareçam nas SERPs.
Você pode melhorar a qualidade geral de SEO do seu site
Os profissionais de marketing estão bem cientes do grande ROI de otimização de mecanismos de busca . Canalizar pesquisas orgânicas para o seu site concentrando-se em seu SEO é mais barato e geralmente mais eficaz do que anúncios pagos e links de afiliados – embora ambos ainda ajudem. Confira essas estatísticas para o ROI do canal de marketing .
Otimizar o arquivo robots.txt não é a única maneira de melhorar a classificação de pesquisa do seu site ou blog. Você ainda precisará ter conteúdo amigável para SEO nas próprias páginas, com o qual você pode precisar de um provedor de SEO SaaS para ajudar. Editar seu arquivo robots.txt, no entanto, é algo que você mesmo pode fazer facilmente.
Como editar um arquivo Robots.txt no WordPress
Se você deseja editar seu arquivo robots.txt no WordPress, existem várias maneiras de fazer isso. A melhor e mais fácil opção é adicionar um plugin ao seu sistema de gerenciamento de conteúdo – seu painel do WordPress.
Adicione um plugin de SEO ao seu WordPress
Esta é a maneira mais fácil de editar seu arquivo robots.txt do WordPress. Existem muitos bons plugins de SEO por aí que permitem editar o arquivo robots.txt. Alguns dos mais populares são Yoast, Rank Math e All In One SEO.
Adicione um plug-in Robots.txt ao seu WordPress
Existem também plugins do WordPress projetados especificamente editando seu arquivo robots.txt. Os plugins robots.txt populares são Virtual Robots.txt, WordPress Robots.txt Optimization e Robots.txt Editor.
Como testar seu arquivo WordPress Robots.txt
Se você editou seu arquivo robots.txt, é importante testá-lo para garantir que não cometeu nenhum erro. Erros no arquivo robots.txt podem resultar na exclusão total do seu site das SERPs.
O Google Webmaster tem uma ferramenta de teste robots.txt que você pode usar gratuitamente para testar seu arquivo. Para usá-lo, basta adicionar a URL da sua página inicial. O arquivo robots.txt aparecerá e você verá “aviso de sintaxe” e “erro de lógica” em qualquer linha do arquivo que não esteja funcionando.
Você pode então entrar em uma página específica do seu site e selecionar um user-agent para executar um teste que mostrará se aquela página é “aceita” ou “bloqueada”. Você pode editar seu arquivo robots.txt na ferramenta de teste e executar o teste novamente, se necessário, mas observe que isso não alterará seu arquivo real. Você precisará copiar e colar as informações editadas em seu editor robots.txt e salve aí.
Como otimizar seu arquivo WordPress Robots.txt para SEO
A maneira mais simples de otimizar seu arquivo robots.txt é selecionar quais páginas você deseja proibir. No WordPress, as páginas típicas que você pode não permitir são /wp-admin/ , /wp-content/plugins/ , /readme.html , /trackback/ .
Por exemplo, um provedor de SaaS de marketing tem muitas páginas e postagens diferentes em seu site WordPress. Ao não permitir páginas como /wp-admin/ e /wp-content/plugins/ , eles podem garantir que as páginas que valorizam sejam priorizadas por bots rastreadores.
Crie Sitemaps e adicione-os ao seu arquivo Robots.txt
O WordPress cria um sitemap genérico próprio quando você cria um blog ou site com ele. Isso geralmente pode ser encontrado em example.wordpress.com/sitemap.xml. Se você quiser personalizar seu sitemap e criar sitemaps adicionais, você deve usar um plugin robots.txt ou SEO WordPress .
Você pode acessar seu plugin no painel do WordPress e deve ter uma seção para habilitar e editar seu mapa do site. Bons plugins permitirão que você crie e personalize mapas de site adicionais, como um mapa de site de “páginas” e um mapa de site de “postagens” com facilidade.
Quando seus sitemaps estiverem configurados, basta adicioná-los ao seu arquivo robots.txt assim:
Adote uma abordagem minimalista
Embora possa ser emocionante editar e otimizar seu arquivo robots.txt do WordPress, é importante ter uma abordagem minimalista, menos é mais. Isso ocorre porque, se você não permitir páginas em seu site, isso impedirá que os bots rastreadores pesquisem outras páginas nessas páginas. Isso pode significar que as páginas-chave não são descobertas e a integridade estrutural do seu site é enfraquecida do ponto de vista dos robôs dos mecanismos de pesquisa.
Também não há necessidade de “permitir” o acesso a todas as páginas do seu site no robots.txt. Os bots rastreadores já descobrirão essas páginas – concentre-se nos mapas do site e nas páginas que você precisa proibir para que suas páginas principais sejam encontradas primeiro.
Neste guia, fornecemos tudo o que você precisa saber sobre os arquivos robots.txt do WordPress. Desde explicar o que são arquivos robots.txt até mergulhar em por que e como você deve otimizar seu arquivo robots.txt para SEO, este artigo ajudará se você quiser encontrar maneiras simples e eficazes de melhorar a classificação de pesquisa do seu site WordPress.
