Já vou logo dizendo: não se trata de black hat! O pessoal aqui do Agência Mestre é white hat e não recomenda o uso de black hat por razões óbvias e que não serão discutidas aqui neste post.
Porque então esconder páginas e/ou conteúdo das search engines você deve estar perguntando! A idéia de esconder páginas seria para bloquear conteúdo que não se deseja que seja indexado nas SERPs (páginas de resposta à uma busca). Isso é útil quando você não disponibiliza para todos os usuários o conteúdo do site, como o caso de ser necessário registrar-se no site, evitar de alguma forma conteúdo duplicado, controlar o PageRank e alguma outra necessidade que você possa vir a ter, que não seja de alguma forma black hat SEO.
Vamos às dicas:
- Robots.txt: Provavelmente é o jeito mais fácil de se bloquear o acesso de search engines à uma página. Você cria um arquivo .txt, configura algumas diretrizes neste e arquivo e o deixa na raiz do domínio. Porém, no meu post sobre indexação no google, é apontada uma possível falha no robots.txt. Mais informações sobre o robots.txt.
- Meta Robots Tag: ‘<meta name=”robots” content=”noindex” />’ – esta é a sintaxe a ser adotada no código html para que uma página não seja indexada nas SERPs. Detalhe: Mesmo mantendo fora das páginas de pesquisa, a search engine pode ler a página e seguir os links contidos nela.
- Iframes: como search engines não enxergam o iframe como conteúdo da página você pode colocá-lo em uma página e a search engine não irá ler o seu conteúdo. Claro, para isso, a URL do iframe deve ser bloqueado no robots.txt. Iframes também são interessantes para diminuir o tamanho da página para a search engine, diminuir o número de links, controlando o PageRank.
- Texto em Imagem: use com cuidado! Por enquanto, as search engines não são capazes de ler texto em imagens, portanto é uma forma de esconder conteúdo das search engines. Mas com cuidado para não acabar em black hat! Estou considerando aqui o texto dentro da imagem, compondo a imagem e não uma imagem escondendo um texto!
- JavaApplets/Javascript: Denovo, search engines não se dão bem com esses códigos, é possível esconder um conteúdo aí, mas é uma prática pouco recomendada. Não arrisque seu site em cima disso, use as outras dicas! =)
- Remoção de URL: as grandes search engines permitem que o webmaster indique diretamente no sistema das search engines quais URLs não devem ser indexadas. Por exemplo, pelo Site Explorer do Yahoo! ou a central de webmaster do google.
Pois bem, essas são algumas dicas para se restringir o acesso de search engines à partes do site as quais você não queira que sejam indexadas. Se você tiver mais alguma a acrescentar, deixe um comentário!
Abraços e até as próximas dicas de SEO!
————————————————-
Update: 26/02/2008
No meu blog, FrankMarcel.com, eu coloquei um vídeo do próprio Matt Cutts do google comentando algumas formas de remover conteúdo/páginas do google. Confira!
————————————————-
Update: 21/03/2008
Como foi muito bem lembrado pelo Gustavo ali nos comentários:
Fonte: SEOmoz.org
![Black Friday: Estratégias Para Vender Mais [2024]](https://www.agenciamestre.com/wp-content/webp-express/webp-images/doc-root/wp-content/uploads/2022/10/black-friday-guia-definitivo-270x173.jpg.webp)
Muito boa a dica Frank! realmente é muito bom quando nao queremos divulgar uma coisa ou outra para o buscador… muito eficiente!
Uma dúvida: quando os robôs de busca encontram um iframe em uma página, eles ignoram apenas o conteúdo presente dentro dele ou o conteúdo da página toda?
Vlw
Olá Frank,
bom artigo. No título eu pensei que fosse black hat de fato. hehehe
Já que você resolveu tocar no assunto de remoção de url’s gostaria de saber se você já conseguiu arrancar algumas com o Google Webmaster Central.
Esses dias estava tentando remover algumas e tive vários pedidos negados, aí então descobri que apenas se o bot não conseguir acessar as url’s novamente que a sua solicitação será atendida. Porém, eu já tinha bloqueado o acesso via robots.txt e não funcionou.
Já ouvi vários analistas de seo na gringa falando que o robots.txt nem sempre funciona. A minha experiência de alguma forma também dá indicios disso.
Gostaria saber de sua parte se já teve problemas nesse sentido, ou até mesmo do Fábio e o resto do pessoal aqui do seodicas.
Grande abraço a todos
Obrigado pela visita Aragão!
Às vezes, por um motivo ou outro, preferimos que a search engine não acesse todo o conteúdo site, é bom saber como bloquear!
Abraço!
Olá Leandro!
Nunca ouvi falar de bloquear toda a página por ela conter um iframe não! O que acontece é que eles não enxergam nem o link, nem o conteúdo que o iframe referencia como sendo conteúdo da página em que ele está inserido. Fui claro?
O fato é: robos de busca não consideram o conteúdo do iframe como parte da página em que ele está inserido. Para bloquear o acesso ao conteúdo do iframe é necessário bloquear a URL do iframe de alguma forma!
Esclareci a sua dúvida?
Obrigado pela visita!
Olá Maurício!
Ainda não passei pela experiência de tentar bloquear URL pela Google Webmaster Central. O que eu posso dizer é que tipicamente os serviços do google br são inferiores ao google.com. Sempre estão alguns passos atrás… =(
Quanto ao robos.txt, eu nunca tive uma experiência negativa com ele, mas no meu post sobre Mitos e Verdade da indexação do google, o grupo que realizou o teste do robots.txt mostrou uma URL bloqueada no robots.txt indexada no google. Mas foi para uma busca específica, com o comando “site:www.site.com”, e não sei dizer se a página estava indexada antes ou não. Acredito que isso também influencia.
É isso.
Obrigado pela visita! Abraços!
Blz! Ta entendido!
Obrigado.
Blz Leandro!
Obrigado pela visita mais uma vez!
Qualquer dúvida, entre em contato! =)
Frank,
Te dou todo o mérito pela ótima tradução e a adição das tuas próprias idéias ao artigo, ficou bem bacana, mas seria legal se tu desse um crédito (quem sabe apenas mencionar ou colocar um link para a página do original como é de praxe) ao Rand Fishkin que escreveu o artigo original.
Abraço,
Gustavo
Certíssimo Gustavo!
Update no post com a fonte!
Obrigado pelo comentário e pelo lembrete!
Abraços!
Ola Frank estou fazendo uma pagina e praticamente ela toda está baseada em iframes, tem alguma forma de fazer os buscadores lerem o conteudo que esta dentro do iframe? Li sua materia e achei muito boa mas fiquei com essa duvida.
Obrigado
Olá Tiziano!
A história é a seguinte: os buscadores podem sim ler o conteúdo do iframe, sem problemas, como qualquer outra URL. O que acontece é que eles não vão considerar o conteúdo do iframe como parte da página que ele está inserido.
Por exemplo:
meusite.com.br/index.html que fala sobre, SEO, “web design” e contém o iframe meusite.com.br/iframe.html que fala sobre “iframes e SEO”.
Quando um buscador passar pela index, o conteúdo do iframe não será considerado parte da index, ou seja, ele vai ver SEO e “web design” como parte da index, mas “iframes e SEO” não. “iframes e SEO” fará parte da URL iframes.html.
Daí, se alguém buscar “iframes e SEO”, não cairá na página inicial (index.html) que contém o iframe, mas na página iframe.html.
Entendeu?
Abraços!
Obrigado Frank eu entendi o que você quer dizer sim. Vou ver se acho alguma outra forma de colocar o conteudo que estou fazendo na minha página.
Tiziano,
é muito comum o pessoal colocar dentro de iframes as partes do site que são sempre iguais, como anúncios ou menus, para que não seja necessário copiar o código desses elementos em cada arquivo html criado. Em especial, porque se for necessária uma alteração, será necessário abrir arquivo por arquivo e repetir a alteração.
Uma solução melhor para isso é usar o “include” como em php. Assim, você faz um arquivo php “menu.php” e usa “include(menu.php)” em todas as páginas. Caso seja necessário mudar o código, você muda em um único arquivo – menu.php – e todas as páginas receberão as alterações.
De qualquer forma, evite frames, iframes, frameset, bem como jscripts, flash. Por enquanto os buscadores não se dão bem com esses formatos.
Abraços!
Olá Frank…
Minha dúvida é a seguinte:
Em meu site, para que eu não precise ficar editando todas as páginas, eu coloquei as metas tags em um único arquivo “Topo do site” e em cada págiana, eu chamei o topo atraves do comando “ionclude ” ou “Require” … será que isso afeta igual no caso do amigo acima que fez com Iframes???
Meu site:
http://www.americarros.com.br
Até mais..
Não Jean, com arquivos php utilizando includes não é a mesma coisa de usar frames/iframes. Na verdade, é a solução para não usar frames e iframes.
Olá Frank.
Iframes podem ser realmente armas poderosas.
Aumentar o numero de páginas vistas com mais links e não diminuir o numero de links.
Assim controlamos melhor o pagerank e evitamos muitos “nofollow”. Porém creio que muitos nofollow não prejudicam o site, caso sim, o Google nos mostra um mal exemplo no http://www.youtube.com
Um show de nofollow.
Frames também seguem esse mesmo caminho dos iframes?
Sim, é o mesmo princípio…
Olá, alguém sabe dizer se essas ações ainda estão em “vigor”?
Pergunto isso, já que o Google sempre muda as regras de indexação, etc.
o/