Você está procurando uma maneira de impedir que spammers e golpistas roubem o conteúdo do seu blog WordPress usando raspadores de conteúdo?
É muito frustrante para um proprietário de site ver que alguém está roubando seu conteúdo sem permissão, monetizando-o, superando você no Google e roubando seu público.
Neste artigo, abordaremos o que é o scraping de conteúdo de blog, como você pode reduzir e evitar o scraping de conteúdo e até mesmo como tirar proveito do scraping de conteúdo para seu próprio benefício.
O que é a raspagem de conteúdo do blog?
A raspagem de conteúdo de blog é quando o conteúdo é retirado de várias fontes e republicado em outro site. Normalmente, isso é feito automaticamente através do feed RSS do seu blog .
A raspagem de conteúdo é tão fácil agora que qualquer pessoa pode iniciar um site WordPress , colocar um tema gratuito ou comercial e instalar alguns plugins que irão extrair conteúdo de blogs selecionados.
Por que os raspadores de conteúdo estão roubando meu conteúdo?
Alguns de nossos usuários nos perguntaram por que estão roubando meu conteúdo? A resposta simples é porque você é INCRÍVEL. A verdade é que esses raspadores de conteúdo têm segundas intenções. Abaixo estão apenas algumas razões pelas quais alguém iria raspar seu conteúdo:
- Comissão de afiliados – Existem alguns comerciantes de afiliados sujos por aí que só querem explorar o sistema para ganhar alguns dólares extras. Eles usarão seu conteúdo e o conteúdo de outros para trazer tráfego para o site deles por meio do mecanismo de pesquisa. Esses sites geralmente são direcionados para um nicho específico, então eles têm produtos relacionados que estão promovendo.
- Geração de Leads – Muitas vezes vemos advogados e corretores de imóveis fazendo isso. Eles querem parecer líderes da indústria em suas pequenas comunidades. Eles não têm largura de banda para produzir conteúdo de qualidade, então eles saem e extraem conteúdo de outras fontes. Às vezes, eles nem estão cientes disso porque estão pagando US $ 30/mês para adicionar conteúdo e ajudá-los a obter um SEO melhor. Encontramos alguns deles no passado.
- Receita de publicidade – Algumas pessoas querem apenas criar um “hub” de conhecimento. Um balcão único para usuários em um nicho específico. Muitas vezes notamos que o conteúdo do nosso site está sendo raspado. O raspador sempre responde, eu estava fazendo isso para o bem da comunidade. Exceto que o site está cheio de anúncios.
Estas são apenas algumas razões pelas quais alguém roubaria seu conteúdo.
Como capturar raspadores de conteúdo?
Capturar raspadores de conteúdo é uma tarefa tediosa e pode levar muito tempo. Existem algumas maneiras pelas quais você pode capturar raspadores de conteúdo.
Pesquise no Google com os títulos dos seus posts
Sim, isso é tão doloroso quanto parece. Este método provavelmente não vale a pena, especialmente se você estiver escrevendo sobre um tópico muito popular.
Trackbacks
Se você adicionar links internos em suas postagens, notará um trackback se um site roubar seu conteúdo. Desta forma, é praticamente o raspador dizendo que eles estão raspando seu conteúdo.
Se você estiver usando o Akismet, muitos desses trackbacks aparecerão na pasta SPAM. Novamente, isso só funcionará se você tiver links internos em suas postagens.
Ahrefs
Se você tiver acesso a uma ferramenta de SEO como o Ahrefs , poderá monitorar seus backlinks e ficar de olho em conteúdo roubado.
Como lidar com raspadores de conteúdo
Existem poucas abordagens que as pessoas adotam ao lidar com raspadores de conteúdo: a abordagem Do Nothing, Take Down ou Take Advantage of them.
Vamos dar uma olhada em cada um.
A abordagem não fazer nada
Esta é de longe a abordagem mais fácil que você pode tomar. Normalmente, os blogueiros mais populares recomendariam isso porque leva MUITO tempo lutando contra os raspadores.
Agora, obviamente, se for um blog conhecido como Smashing Magazine, CSS-Tricks, Problogger ou outros, eles não precisam se preocupar com isso. São sites de autoridade aos olhos do Google.
No entanto, conhecemos alguns bons sites que foram sinalizados como scrapers porque o Google pensou que seus scrapers eram o conteúdo original. Portanto, essa abordagem nem sempre é a melhor em nossa opinião.
Abordagem de desmontagem
Isso é exatamente o oposto da “abordagem não fazer nada”. Nessa abordagem, basta entrar em contato com o raspador e pedir que retirem o conteúdo.
Se eles se recusarem a fazê-lo ou simplesmente não responderem às suas solicitações, você arquiva uma DMCA (Digital Millennium Copyright Act) com o host deles.
Em nossa experiência, a maioria dos sites de raspagem não possui um formulário de contato disponível. Se o fizerem, então utilize-o. Se eles não tiverem o formulário de contato, você precisará fazer uma pesquisa Whois.
Você pode ver as informações de contato no contato administrativo. Normalmente o contato administrativo e técnico é o mesmo.
Ele também mostrará o registrador de domínio. As empresas de hospedagem e registradores de domínio mais conhecidas têm formulários ou e-mails DMCA. Você pode ver que essa pessoa específica está com o HostGator por causa de seus servidores de nomes. HostGator tem um formulário para reclamações de DMCA .
Se o servidor de nomes for algo como ns1.theirdomain.com, você terá que se aprofundar fazendo pesquisas de IP reversas e procurando por IPs.
Você também pode usar um serviço de terceiros para DMCA.com para remoções.
Jeff Starr em seu artigo sugere que você deve bloquear os IPs do bandido. Acesse seus logs para obter o endereço IP e bloqueie-o com algo assim em seu arquivo .htaccess raiz:
| 1 | Deny from 123.456.789 |
Você também pode redirecioná-los para um feed fictício fazendo algo assim:
| 12 | RewriteCond %{REMOTE_ADDR} 123\.456\.789\.RewriteRule .* http://dummyfeed.com/feed [R,L] |
Você pode ser realmente criativo aqui, como Jeff sugere. Envie-os para feeds de texto realmente grandes com Lorem Ipsum. Você pode enviar algumas imagens nojentas de coisas ruins. Você também pode enviá-los de volta ao seu próprio servidor, causando um loop infinito que travará o site.
A última abordagem que tomamos é aproveitá-los.
Como tirar proveito dos raspadores de conteúdo
Esta é a nossa abordagem de lidar com raspadores de conteúdo, e acaba muito bem. Isso ajuda nosso SEO e também nos ajuda a ganhar dinheiro extra.
A maioria dos raspadores usa seu feed RSS para roubar seu conteúdo. Então, essas são algumas das coisas que você pode fazer:
- Links Internos – Você precisa interligar muito os posts do seu blog. Quando você tem links internos em seu artigo, isso ajuda a aumentar as visualizações de página e reduzir a taxa de rejeição em seu próprio site . Em segundo lugar, você recebe backlinks das pessoas que estão roubando seu conteúdo. Por fim, permite que você roube o público deles. Se você é um blogueiro talentoso, então você entende a arte dos links internos. Você tem que colocar seus links em palavras-chave interessantes. Torná-lo tentador para o usuário clicar nele. Se você fizer isso, o público do raspador também clicará nele. Assim, você pegou um visitante do site e o trouxe de volta para onde deveria estar em primeiro lugar.
- Palavras-chave de link automático com links de afiliados – Existem alguns plugins como ThirstyAffiliates que substituirão automaticamente palavras-chave atribuídas por links de afiliados,
- Seja criativo com o RSS Footer – Você pode usar o All in One SEO Plugin para adicionar itens personalizados ao seu RSS Footer. Você pode adicionar praticamente tudo o que quiser aqui. Conhecemos algumas pessoas que gostam de promover seus próprios produtos para seus leitores de RSS. Então eles vão adicionar banners. Adivinha, agora esses banners aparecerão no site desses raspadores também. No nosso caso, sempre adicionamos um pequeno aviso na parte inferior de nossas postagens em nossos feeds RSS. Ao fazer isso, obtemos um backlink para o artigo original do site do scraper, o que permite que o Google e outros mecanismos de pesquisa saibam que somos autoridade. Também permite que seus usuários saibam que o site está roubando nosso conteúdo.
Confira nosso guia sobre como controlar o rodapé do seu feed RSS no WordPress para obter mais dicas e ideias.
Como você pode reduzir e evitar a raspagem do blog WordPress
Considerando que você adota nossa abordagem de muitos links internos, adicionando links de afiliados, banners RSS e tais chances são de que você reduzirá o scraping de conteúdo em boa medida. Se você aceitar a sugestão de Jeff Starr de redirecionar os raspadores de conteúdo, isso também impedirá esses raspadores. Além do que compartilhamos acima, existem alguns outros truques que você pode usar.
Feed RSS completo x resumido
Houve um debate na comunidade de blogs sobre se ter um feed RSS completo ou um feed RSS resumido. Não vamos entrar em muitos detalhes sobre esse debate, no entanto, uma das vantagens de ter um feed RSS de resumo apenas é que você evita a raspagem de conteúdo.
Você pode alterar as configurações acessando o painel de administração do WordPress e indo em Configurações »Leitura . Em seguida, altere a configuração Para cada artigo em um feed mostrar: Resumo.
Trackback SPAM
Trackbacks e Pingbacks definitivamente tiveram ótimos usos, no entanto, agora estão sendo constantemente abusados.
Muitas vezes, os temas exibem trackbacks e pingbacks sob ou entre os comentários. Isso dá ao spammer um incentivo para raspar seu site e enviar trackbacks. Se você aprovar por engano, eles receberão um backlink e uma menção do seu site. Aqui está como você pode desativar Trackbacks em todas as postagens futuras .
Aqui está um artigo que mostrará como desativar trackbacks e pings em postagens existentes do WordPress .
A raspagem de conteúdo é sempre boa?
Pode ser. Se você perceber que está ganhando dinheiro com o site do raspador, com certeza pode ser. Se você vir muito tráfego do site de um raspador, pode ser.
Na maioria dos casos, porém, não é. Você deve sempre tentar tirar seu conteúdo. Mas você perceberá que, à medida que seu blog fica maior, é quase impossível acompanhar todos os raspadores de conteúdo. Ainda enviamos reclamações de DMCA, mas sabemos que existem muitos outros sites que estão roubando nosso conteúdo e não conseguimos acompanhar.
Esperamos que este artigo tenha ajudado você a evitar a raspagem de conteúdo do blog no WordPress. Você também pode querer ver nosso guia sobre como prevenir o roubo de imagens no WordPress .
Se você gostou deste artigo, assine nosso canal do YouTube para tutoriais em vídeo do WordPress. Você também pode nos encontrar no Twitter e no Facebook .
