O Que é Crawl Budget?

Um termo que está sendo falado agora na comunidade de SEO é “Crawl Budget”. Se você for na tradução literal, vai ver como orçamento de rastejamento ou de rastreamento. Fica meio estranho, não é? Mas esse é um conceito muito antigo na área de SEO e, principalmente, quem trabalha com projetos de larga escala, como grandes e-commerces, grandes portais de conteúdo, e já está na área de SEO há um certo tempo, entende o Crawl Budget como sendo o tempo que o Google gasta pra poder investir em leitura das páginas do seu site em um determinado dia. Para entender mais sobre o assunto, dê o play no vídeo abaixo:

Como o Google lê as Páginas da WEB?

Essencialmente, e até nos cursos que o CEO da Mestre, Fábio Ricotta, ministra, ele sempre dá esse tipo de toque ou, em palestras, sempre fala da seguinte forma: na essência, o Google tem um certo tempo para gastar com você, é a mesma coisa no uso de máquinas, no processamento, tarefas de um computador nos dias de hoje. Ele tem que escolher quanto tempo ele vai gastar em cada um dos sites, e esse tempo é representado no Google por quantas conexões simultâneas que ele vai conseguir fazer pra poder ler as páginas do seu site.

O Google gasta um tempo para poder conectar no seu site, ler essas páginas e parar essa leitura. Ele repete isso ao longo do dia, mas existe sempre uma fração de tempo. Essa fração de tempo, normalmente é proporcional a autoridade que seu site tem, a quantidade de páginas novas e a relevância que ele tem frente ao Google. Isso é dado por qualidade do seu conteúdo e links que apontam para você, ou seja, se você tem muitos links de qualidade apontando para você, pode ser que o Google te entenda com mais qualidade e gaste mais tempo no seu site, desde que você tenha um volume maior de páginas.

No geral, o Crawl Budget não muda muita coisa para um site de 10, 50 ou 100 páginas, em poucas páginas não há uma grande diferença. Mas para sites de grande porte, se você imaginar que o Google tem um segundo para gastar para você no dia e você tem que definir para ele “Olha, existem tais páginas do meu site que eu acho que você deveria ler” isso acaba sendo mais útil. Mas é um conceito muito avançado, não é uma coisa simples de falar “olha, Google, eu quero que você leia só essas 5 páginas”, não é bem por aí. E como a gente define, então, na área de SEO, onde o Google vai gastar tempo?

Definição de Páginas Importantes

Primeiro a gente tem que desenhar uma arquitetura mais organizada da informação. Então temos que tirar páginas desnecessárias, não deixar ele indexar determinadas páginas através do controle do arquivo Robots.txt. O Google não deve gastar tempo na seção de busca do site ou, ainda, na seção onde há navegação de filtros, por exemplo, a escolha de tamanho de calçado, o tamanho do apartamento, ou quantos banheiros têm, que normalmente são filtros que a gente chama de Faced Navigation, filtros de navegação.

Nós, normalmente, tendemos a bloquear esses filtros e essas buscas no Robots, justamente para o Google não gastar tempo lendo essas páginas, porque elas, na verdade, são focadas no usuário que está buscando aquela experiência, são conteúdos que já estão disponíveis em outras páginas.

Outra linha é você economizar o tempo de leitura do Google em páginas que têm o conteúdo duplicado, como é o caso do Faced Navigation, ou, em alguns casos, você pode ver também em seções de busca ou artigos que tem parceria com outros portais e que você não quer que seja lido. Somente se algum usuário quiser ver, está lá. Mas o tempo não deve ser gasto nessas páginas. Você não quer rankear para elas e não faz a menor diferença na sua vida, mas elas têm que estar lá porque seu usuário, às vezes, quer consultar essa informação.

Funcionamento do Crawl Budget

No geral, o Crawl Budget é baseado em arquitetura. Você define quais links para quais páginas que o Google vai poder ler e prioriza usando a lógica de páginas importantes, como uma home, uma página de categoria. Afinal, os links que saem dessas páginas são os que, provavelmente, vão ser priorizados pelo Google. Então, vale a lógica de pensar muito bem na linkagem interna e na forma que você estrutura a sua página.

O Crawl Budget é o tempo que o Google gasta para poder ler, entender as informações sobre o site e avaliar itens como organização da arquitetura e bloqueio no Robots. Se usar tag nofollow em um link, você impede que o Google siga através daquele link. Por exemplo, se um link tiver um nofollow, mas, para chegar na página, o outro link não tiver, então o Google vai percorrer outro caminho.

Por isso, nós não gostamos muito do nofollow. Antigamente, a gente usava o siloing, o conceito de silo de tentar organizar por onde o robô do Google vai percorrer. Eu acho que é um conceito que, hoje em dia, não usamos tanto, não vai te ajudar tanto, por isso, preferimos uma organização da arquitetura, uma linkagem interna muito mais organizada, e aí acabamos resolvendo qualquer problema de Crawl Budget.

Quando Trabalhar com Crawl Budget?

Isso só deve ser seu alvo, realmente, se estiver trabalhando com sites de 10 mil páginas, 50 mil páginas, 100 mil páginas, 1 milhão de páginas, sites grandes. Se você tem um blog de 50 páginas, não é algo que, de verdade, você deva se preocupar.

Contudo, existem coisas que vão te ajudar, ainda, a ter mais páginas lidas no dia a dia e isso acreditamos ser útil para qualquer site. Por exemplo, se o seu servidor for mais rápido, o Google vai conseguir, nesse tempo, solicitar mais páginas, se sua página for compactada, o Google vai conseguir, nessas requisições, solicitar mais páginas, e se você tiver um código limpo e adequado, o Google também vai receber uma página mais compactada no final do dia, com melhores bites, vamos chamar assim, e ele vai conseguir requisitar mais informações suas. Ou seja, otimização do site, velocidade do site e do servidor, influenciam muito nessa questão de Crawl Budget.

Esperamos que você tenha gostado desse artigo, que tenhamos passado o conhecimento sobre essa área que pouca gente fala e que quisemos trazer aqui para você, tendo em vista que o Google fez esse anúncio para a comunidade de SEO pela primeira vez, oficialmente, em seu blog.