Conteúdo Duplicado – Casos e Soluções

Olá leitores da Agência Mestre,

A web é um conglomerado de informação, interconectado, e que em muitas vezes é repete-se como se fosse uma xerox de um livro. Pois bem, quando se encontram páginas em URLs (endereços) diferentes que possuem o mesmo conteúdo, diz-se, popularmente, que você encontrou um conteúdo duplicado.

De forma geral, o conteúdo duplicado refere-se a blocos substanciais de texto, seja dentro de um único domínio ou entre diferentes domínios, que são idênticos ou extremamente semelhantes. Embora muitos casos de duplicação não tenham uma origem maliciosa, eles podem ocorrer em situações como fóruns de discussão que geram versões para desktop e versões simplificadas para dispositivos móveis, itens de e-commerce que são exibidos por meio de várias URLs ou até versões específicas para impressão de páginas da web. Esses exemplos não intencionais de duplicação precisam ser gerenciados adequadamente para evitar problemas de SEO.

De forma geral, o conteúdo duplicado refere-se a blocos substanciais de texto, seja dentro de um único domínio ou entre diferentes domínios, que são idênticos ou extremamente semelhantes. Embora muitos casos de duplicação não tenham uma origem maliciosa, eles podem ocorrer em situações como fóruns de discussão que geram versões para desktop e versões simplificadas para dispositivos móveis, itens de e-commerce que são exibidos por meio de várias URLs ou até versões específicas para impressão de páginas da web. Esses exemplos não intencionais de duplicação precisam ser gerenciados adequadamente para evitar problemas de SEO.

O trabalho dos mecanismos de busca, tais como Google e Bing, é indexar todo o tipo de informação, tornando-a acessível através de seus websites de busca, mas e quando eles se deparam com a mesma “página” de um livro várias vezes? Neste caso, eles aplicam algortimos para eliminar duplicadas, limpando o seu índice de busca de resultados repetidos.

Meu site possui conteúdo duplicado?

Uma das maiores dúvidas quando você ler este artigo é “Meu site possuí conteúdo duplicado?”. Esta dúvida assola grande parte dos desenvolvedores web e profissionais de SEO pois detectar conteúdo duplicado não é uma tarefa simples, mas também não é impossível. Vejamos alguns casos clássicos, que cobrem cerca de 90% dos problemas de conteúdo duplicado:

Múltiplos Domínios – O mesmo conteúdo

É muito comum recebermos pedidos de ajuda em projetos, onde as empresas/donos compraram diversos domínios com finalidade de proteger a sua marca. Só que ao acessarmos as URLs que foram adquiridas, nos deparamos sempre com o mesmo conteúdo.

A pluralidade de domínios para proteção de marca é até que boa, mas não é correto disponibilizar o mesmo conteúdo em vários domínios. O Google e o usuário podem se confundir a respeito de qual é a original. Mais especificamente no que tange os mecanismos de busca, eles identificam todos os domínios como concorrentes, prejudicando a sua aparição nos resultados da busca.

A solução para este problema é simples: basta adicionar um redirecionamento 301 de todos os domínios para apenas um, assim ao acessar as URLs, o usuário e conseqüentemente todo o link juice será direcionado para o domínio correto.

Domínios com www vs Domínios sem www

Além das soluções já mencionadas, é importante implementar algumas outras boas práticas que podem evitar a duplicação de conteúdo de forma eficaz. Uma delas é o uso de redirecionamentos 301. Se o seu site passou por uma reestruturação e algumas páginas foram movidas, configurar redirecionamentos permanentes (301) garantirá que usuários e motores de busca sejam levados à URL correta, sem criar versões duplicadas do conteúdo. Manter consistência na estrutura de URLs também é fundamental, evitando situações em que o mesmo conteúdo está disponível em URLs com ou sem ‘www’ ou com variações como ‘index.html’.

Este é um dos casos mais comuns de problemas com conteúdo duplicado. Faça você o teste: tente acessar o seu domínio com e sem www na URL. Se você obtiver o mesmo conteúdo com as URLs diferentes então você corre o risco de estar com uma grande quantidade de conteúdo duplicado.

Isto acontece pois alguns usuários podem linkar para suas páginas com a URL meusite.com/pagina.html e outros podem linkar para suas páginas com a URL www.meusite.com/pagina.html. Qual é a correta?

Os mecanismos de busca identificam estas páginas como diferentes e assim decidem escolher uma das duas como o conteúdo original.

Para solucionar este problema, utilize-se novamente do redirecionamento 301, fazendo com que ao acessar o seu website, todas as páginas sejam direcionadas com OU sem www. É importante escolher apenas um modo.

Uma das maneiras mais eficazes de resolver problemas de conteúdo duplicado é o uso correto da canonicalização. A canonicalização é o processo de indicar ao Google qual é a URL preferida para uma determinada página. Isso pode ser feito através da tag `rel=”canonical”`, que ajuda os motores de busca a entender que, embora várias URLs possam exibir o mesmo conteúdo, uma delas é a versão oficial que deve ser indexada. Essa prática é essencial quando seu site possui páginas similares ou idênticas, como uma versão regular e outra para impressão, garantindo que apenas uma delas seja exibida nos resultados de busca.

Se você distribui seu conteúdo em outros sites por meio de syndication, é fundamental ter em mente como o Google lida com essas versões replicadas. O ideal é que cada site que utiliza seu conteúdo inclua um link de volta para o original, e, se possível, utilize a tag `noindex` para evitar que o conteúdo sindicado seja indexado. Dessa forma, você evita problemas de duplicação e garante que sua versão preferida seja exibida nos resultados de pesquisa, mantendo a autoridade da página original.

canonical tag. A canonicalização é o processo de indicar ao Google qual é a URL preferida para uma determinada página. Isso pode ser feito através da tag rel=”canonical”, que ajuda os motores de busca a entender que, embora várias URLs possam exibir o mesmo conteúdo, uma delas é a versão oficial que deve ser indexada. Essa prática é essencial quando seu site possui páginas similares ou idênticas, como uma versão regular e outra para impressão, garantindo que apenas uma delas seja exibida nos resultados de busca.

Se você distribui seu conteúdo em outros sites por meio de syndication, é fundamental ter em mente como o Google lida com essas versões replicadas. O ideal é que cada site que utiliza seu conteúdo inclua um link de volta para o original, e, se possível, utilize a tag `noindex` para evitar que o conteúdo sindicado seja indexado. Dessa forma, você evita problemas de duplicação e garante que sua versão preferida seja exibida nos resultados de pesquisa, mantendo a autoridade da página original.

Páginas com URLs diferentes mas conteúdo igual

Este tipo de problema é muito comum em sites de ecommerce, onde consegue-se acessar duas páginas que possuem o mesmo conteúdo, através de caminhos diferentes. Por exemplo:

Página Inicial > Televisores > 42″ > LG

Página Inicial > Televisores > LG > 42″

Imagine que fazendo os caminhos ilustrados acima, produzam as seguintes URLs:

http://www.meusite.com/televisores/42/LG

http://www.meusite.com/televisores/LG/42

Desta forma, podemos acessar o mesmo conteúdo através de duas URLs distintas, resultando em um conteúdo duplicado. O correto neste caso é fazer uso da Canonical Tag, que garante que os mecanismos de busca não irão caracterizar as duas páginas como iguais, mas sim identificar apenas uma como sendo o conteúdo original.

Títulos e Meta Tags duplicadas

Páginas com title tags e meta description idênticas, fato que além de poder ser interpretado como conteúdo duplicado também pode gerar competição desnecessária entre páginas de conteúdo diferente.

O Google possui uma área no Google Webmaster Tools que mostra os problemas com títulos e meta descriptions duplicadas. Para acessar esta área siga o caminho:

Nesta área o Google mostra a quantidade de meta descriptions duplicadas, além de mostrar quais são estas páginas. O mesmo é válido para títulos, onde ele indica ainda se existem títulos longos de mais.

Sites com traduções

Uma dúvida recente de um dos alunos do Mestre Academy me chamou atenção:

Pessoal, estou com uma dúvida sobre o módulo 3. Um site que publica algumas traduções de artigos, artigos que eram e estão publicados em português em um site x e que o site y pega essa artigo, traduz para o inglês e publica no site y. Isso é prejudicial em termos de SEO ? Isso deve ser avisado no início do artigo com um link para o artigo em pt-br, mesmo que seja irrelevante(visto que usuários do site em inglês não sabem pt-br. Ou não precisa se preocupar e não precisa fazer nada ?

Quando você tiver um projeto, onde existe uma página que é a tradução de outra, por exemplo, de português para espanhol, o ideal é você usar a tag de marcação rel=alternate hreflang=”x” como é mostrado neste guia do Google .

Esta abordagem também é recomendado também em casos onde o seu conteúdo apresenta pequenas variações regionais de idioma. Por exemplo, um conteúdo em inglês, voltado ao público dos Estados Unidos, e outro conteúdo voltado ao público da Grã-Bretanha. Ambos os países falam inglês, mas existem pequenas diferenças na escrita.

Ainda sobre a dúvida do nosso aluno do Academy, caso o site Y mencionado não seja detentor de direitos, pode ser que um dia o Google faça tal leitura e entenda como conteúdo duplicado. O ponto é que nunca os sites X e Y competirão no mesmo espaço, assim não é um “problemão”. A minha preocupação é que se qualquer um puder fazer a tradução do site X, então poderá haver uma série de cópias espalhadas no mundo.

Um exemplo simples do que me refiro são os sites de letras de músicas. Todo mundo copia a original e a tradução. O Google vê tudo como conteúdo duplicado e vai acabar escolhendo poucos para participar da sua listagem de sites.

Conteúdo Duplicado na Busca Interna

Basicamente, a busca interna do website é um recurso muito utilizado pelos usuários de um e-Commerce ou ainda um website comum para encontrar a informação que eles desejam. Através dela, o usuário espera encontrar uma informação relevante, pontual, ou no mínimo similar ao que deseja.

Pois bem, com uma busca interna bem robusta você consegue atender estes requisitos, mas estamos falando de SEO correto? E um problema bem comum quando se possui um sistema de busca interna é gerar conteúdo duplicado, ou melhor, criar páginas infinitas. Mas aí vem o seu pensamento, essas páginas indexam? Sim, se você não fizer um controle dessas páginas, você pode produzir uma página para cada termo diferente que os usuários digitarem no seu website.

Páginas Que Não Exibem Nada

Para entender o problema de conteúdo duplicado, vamos tomar como exemplo um dos maiores website de e-Commerce brasileiro: o Submarino.com.br. Com um sistema de busca incrível, o Submarino consegue encontrar em toda a sua base produtos que contenham a palavra-chave definida pelo usuário. Mas e quando ele não encontra? Um exemplo bem claro é quando pesquisamos pelo nosso termo favorito “nanuni kokoritu”.

Aqui entra o trabalho de um profissional de SEO, onde você deve reparar por padrões e de posse destes padrões, você deve tentar identificar problemas na página. Alguns me chamaram a atenção:

1. O diretório da URL de busca não é bloqueado no robots.txt, logo pode ser lida pelos mecanismos de busca;
2. A página não possui meta noindex, logo pode ser indexada;
3. O título se mantém o mesmo para qualquer busca não encontrada;
4. A única porção de conteúdo que se altera é “Sua pesquisa por * encontrou nenhum resultado;

Entenda a proporção do problema: caso alguém resolva criar uma série de links para os resultados não existentes do Submarino, a quantidade de conteúdo duplicado gerado será gigantesco.

Qual a Solução para a Busca Interna?

Na minha visão, uma solução simples para o caso é a utilização da meta tag noindex. Com essa meta tag, o mecanismo de busca irá ler a página e não irá exibi-la nos seus resultados de busca. Você pode ainda perguntar, mas e a canonical tag, não deveria ser utilizada nesse caso? Eu lhe afirmo que não, pois nesse caso, você não possui uma “versão” ou “página” que represente a versão única do conteúdo, mas sim um grupo de páginas que existem mas são tecnicamente independentes.

Ferramentas úteis para detectar conteúdo duplicado

Existem algumas boas ferramentas gratuitas, que podem ajudar a identificar se o seu site tem conteúdo duplicado:

1. Duplicate content tool: uma ferramenta gratuita bastando se cadastrar e usar. Com ela é possível determinar:

• A existência de versões com www e sem www da sua página;
• Verificar o cache do Google;
• Verificar o nível de similaridade entre as páginas do seu site;
• Checagem da dispersão do Pagerank ( se versões com www e sem www das suas páginas caso existam contém diferentes PRs );

2. Xenu: Verifica o seu site e retorna uma tabela contendo todas as URLs disponíveis no seu site, tudo o que você tem que fazer é verificar as meta tags e ver se elas não estão duplicadas.

3. Google Webmaster Tools: Também pode ser usado para encontrar e identificar títulos e meta tags duplicadas.

Guia Rápido para Detectar Conteúdo Duplicado

Vimos acima como o Google Webmaster Tools pode nos ajudar com isso, mas o próprio Google também é muito útil para isso e veremos agora como utiliza-lo para verificar se você tem um problema de conteúdo duplicado.

O que faremos é simplesmente olhar no index do Google para ver está indexado, identificando o que é duplicado.

Use seu bom senso

Comece fazendo uma busca do tipo site:exemplo.com.br.

Dica: após fazer a busca, adicione &filter=0 no fim da URL que foi gerada na barra de endereço do seu navegador para que o Google não omita nenhum resultado.

Preste atenção na quantidade de páginas indexadas. Você realmente tem esse número de páginas ou o número está muito alto? Se estiver, você tem conteúdo duplicado.

Percorra os resultados

Provavelmente foi a primeira coisa que você pensou, e se ainda não fez, percorra as páginas para ver os resultados.

Procure por URLs parecidas, mal formadas, com query strings (como ?=sessionid ou ?first_page etc.), que levem a páginas idênticas. Preste mais atenção nas ultimas páginas, é lá que geralmente ficam escondidos os erros. Veja se os títulos e descrições não são os mesmos.

Verifique os resultados suspeitos

Pegue alguma query string encontrada nos resultados, por exemplo:

?atributo_valor

Será que essa string vai te causar problema? Cheque o que está indexado (página no cache do Google) para ver se há algum problema.

Mesmo que a versão sem a string apresente um conteúdo diferente, ela pode ter as mesmas meta tags e title. Ou seja, conteúdo duplicado.

Descubra quantas páginas estão duplicadas

Não é muito difícil. Utilize o modelo para fazer uma busca:

site:exemplo.com.br inurl:atributo_valor (exemplo que vimos acima)

Aqui você vai ver exatamente quais páginas duplicadas estão sendo geradas por algum atributo.

Conteúdo Duplicado: É Punição ou Não?

Primeiro de tudo, no caso mais geral, quando uma página da web cai no filtro de conteúdo duplicado ela é colocada nos resultados similares (ou suplementares) do Google e não aparece no índice principal da busca, esta página somente seria acessada no link da mensagem:

Para mostrar os resultados mais relevantes, omitimos algumas entradas bastante semelhantes a 57 já exibidas.
Se quiser, você pode repetir a consulta, incluindo os resultados omitidos.

quando a mensagem aparece.

Conteúdo duplicado tem certa semelhança com indexação de conteúdo em flash. Como o Google não entende corretamente sites que são feitos inteiramente em flash, ele também não rankeia corretamente esses sites. Ele não aplica uma punição a esses sites, ele simplesmente não entende. No caso de conteúdo duplicado, o Google também não pune o site, ele simplesmente não repete na sua busca uma informação que já está lá – Isso seria bem chato.

Punição

Uma punição acontece quando um site que anteriormente possuia um bom posicionamento, comete algum erro (leia-se: webspam, técnicas black hat, link farm, …) e sofre o que o Google chama de “Ranking adjustment” (ajustes no ranking) – uma punição. Enquanto conteúdo duplicado simplesmente não é rankeado.

Um site que publique conteúdo duplicado não recebe punição. O site pode ser relevante, possuir conteúdo original (nem tudo precisa ser duplicado), não usar nenhuma técnica black hat e ainda assim, se lançar uma página que contenha conteúdo duplicado, não aparecer em uma busca pelo tema desta página, pois, obviamente, alguma outra página com a mesma informação (texto idêntico) já está rankeando, não faz sentido mostrar as duas.

Conteúdo Duplicado

O que pode levar alguém a acreditar que conteúdo duplicado seja de fato uma punição é a sensação que o dono de tal página fica em relação à sensação de ter uma página penalizada, ou seja, tanto para uma página penalizada, quanto para uma página filtrada por conteúdo duplicado, as visitas não vêm com tanta intensidade e a página não aparece no topo das buscas. Qual a diferença então?

Conteúdo Duplicado Não é Punição

Uma razão, entre outras, pela qual eu não considero que conteúdo duplicado seja uma punição é o que a Vanessa Fox (ex-Google, desenvolvedora do Webmasters Central) cita em um post do Blog do Webmasters Central:

“Bear in mind that you can add the “&filter=0″ parameter to the end of a Google web search URL to see additional results which might be similar.”

Tenha em mente que você pode adicionar ao final de uma URL de busca do Google o parâmetro ‘&filter=0’ para ver resultados adicionais que podem ser similares

Ou seja, usando este parâmetro, os resultados que foram considerados duplicados aparecem nas buscas. Contudo, não existe um parâmetro “&filter=-30” para que sejam mostrados os resultados que foram penalizados no seu posicionamento anterior à punição.

Outro ponto interessante é o citado no post Duplicate Content Due to Scrapers, por Sven Naumann (Search Quality Team), também no Webmaster Central Blog, sobre quando surge conteúdo duplicado porque alguém “roubou” o seu conteúdo, em especial, quando este conteúdo roubado faz com que o original vá para os resultados similares.

O Google, de certa forma, admite a falha e Sven Naumann escreveu que simplesmente existir uma cópia de um conteúdo não implica em uma violação de webmaster guidelines proposta pelo Google, e que casos assim requerem mais avaliação para definir qual realmente é o original:

“… identical content showing up on several sites in itself is not inherently regarded as a violation of our webmaster guidelines. This simply leads to further processes with the intent of determining the original source of the content.”

Neste mesmo post, ele também afirma que conteúdo duplicado somente é uma quebra das guidelines do Google se ficar caracterizada a intenção de causar algum prejuízo ou conseguir benefícios através do conteúdo que foi roubado, o que de fato pode levar a uma punição:

“Only when there are signals pointing to deliberate and malicious intent, occurrences of duplicate content might be considered a violation of the webmaster guidelines.”

Sim, punição sim, neste caso, pois o Google realizaria o seu “Ranking Adjustment”. Mas no caso geral, não se trata de punição.

Conteúdo Duplicado, Spam e Punição

Lançar conteúdo duplicado e não conseguir um bom ranking é a mesma coisa de lançar site spam e não rankear, ou seja, o site não será punido, pois o site nem sequer será indexado ou rankeado receberá um bom ranking (posicionamento) para ser punido. Já nasceu errado. O webmaster que copiou o conteúdo ou lançou um site spam terá sensação de estar punido, mas o google não fez isso, o webmaster é quem fez – lançou um site de baixa qualidade e não está rankeado. Melhore a qualidade do site e bons rankings virão em seguida.

Conclusões

Cada vez mais a web cresce em conteúdo, seja em conteúdo duplicado ou em conteúdo “original”. A questão é não dar abertura para que o seu website sofra de conteúdo duplicado, dividindo todo o seu juice e fazendo com que as suas páginas concorram entre si.

Inclua no seu Checklist de SEO a verificação de conteúdo duplicado, pois isto pode fazer com que você ganhe uma melhor visibilidade.

Um abraço!