O que são crawlabilidade e indexabilidade de um site?

Por Filla • Comentários

Vamos pensar juntos – qual é a primeira coisa na qual você pensa quando falamos em ranqueamentos de um site? Conteúdo? Ou, talvez, backlinks? É verdade, ambos os fatores são cruciais para o bom posicionamento de um site, mas eles não são os únicos.

Existem mais dois fatores com papel muito importante para o SEO – crawlabilidade e indexabilidade. Mesmo problemas pequenos de indexabilidade e crawlabilidade podem influenciar o seu site a perder posições no Google independente do conteúdo incrível e perfil forte de backlinks.

O que são crawlabilidade e indexabilidade?

Para entender bem esses termos, vamos primeiro analisar como os motores de busca processam e analisam as páginas de um site.

Para descobrir uma página nova (ou avaliar as atualizações de uma página) eles usam crawlers – robôs de pesquisa, cujo objetivo é seguir os links com o objetivo de encontrar e indexar novos conteúdos online.

Como o próprio Google explica:

“Crawlers analisam as páginas e seguem os links que encontram nessas páginas, assim como qualquer usuário faria ao navegar na Internet. Eles passam de um link para o outro e trazem dados sobre essas páginas para os servidores do Google.”

Em poucas palavras, ambos os termos se referem à habilidade de um motor de busca em acessar e indexar as páginas de um site e adicioná-los à sua lista (indexá-los).

Crawlabilidade descreve a habilidade de uma máquina de busca em acessar e rastrear o conteúdo de uma página. Se uma página não possui problemas de crawlabilidade, os crawlers conseguem acessar o conteúdo de uma forma fácil e natural, seguindo os links e navegando entre as páginas do site.

Entretanto, links quebrados e páginas sem links podem apresentar problemas de crawlabilidade – o motor de busca não consegue acessar conteúdo específico e isso faz o seu site perder pontos.

Indexabilidade se refere à habilidade do motor de busca em analisar e adicionar a página à sua lista de páginas indexadas. Mesmo se o Google conseguir rastrear seu site nem sempre ele consegue adicionar a página na lista devido à problemas de indexabilidade.

Quais são os principais fatores que afetam crawlabilidade e indexabilidade?

1. Estrutura de site

A forma escolhida para estruturar as informações no seu site pode ter um papel crucial para sua crawlabilidade.

Por exemplo, se o seu site tiver páginas que não estão conectadas à nenhuma outra página através de links, os crawlers provavelmente terão dificuldades ao tentar acessar essas páginas.

Eles ainda conseguem encontrá-las através de links externos, caso alguém crie um link para essas páginas e disponibilize-os em seus próprios conteúdos. Mas, de maneira geral, estruturas fracas prejudicam o site e causam problemas de crawlabilidade.

2. Estrutura Interna de Links

Um crawler navega na Internet seguindo os links, assim como você faria. Por isso ele só consegue encontrar páginas que receberam um link em algum outro conteúdo.

Boa estrutura de links internas ajudará os crawlers a rapidamente acessar mesmo as páginas que ficam nos níveis mais profundos de estrutura de um site. Estrutura fraca, entretanto, pode enviá-los para uma página sem saída, forçando o crawler a sair e deixar de indexar algum conteúdo seu.

3. Redirecionamentos em Looping

Os redirecionamentos quebrados podem confundir o crawler e criar problemas de crawlabilidade.

4. Erros do Servidor

Os redirecionamentos quebrados do servidor e outros problemas causados por servidor podem impedir o crawler de acessar seu conteúdo ou uma parte dele.

5. Fatores Tecnológicos (Unsupported Scripts)

Problemas de crawlabilidade também podem ter origem no montagem do site em si. Por exemplo, como crawlers não conseguem acessar formulários, não é uma boa ideia disponibilizar algum conteúdo importante dentro de um script de formulários. Alguns scripts (entre eles Javascript e Ajax) podem bloquear o conteúdo impossibilitando o acesso dos crawlers.

6. Bloqueio de Acesso de Crawlers

Você pode deliberadamente impedir os crawlers de acessar e indexar as páginas do seu site. Existem algumas situações que justificam essa medida.

Por exemplo, quando você cria uma página que não é feita para acesso público. Impedir o acesso de crawlers é um dos passos para limitar ou bloquear o acesso de usuários. Portanto, tome cuidado! – é fácil bloquear o acesso à outras páginas por engano por meio de um simples erro no código.

Esses são alguns dos possíveis problemas de crawlabilidade. A lista completa pode ser encontrada neste artigo: 18 motivos de o seu site ser “user-unfriendly”: Guia de Problemas de Crawlabilidade.

Mas afinal, onde é feito esse bloqueio de acesso de crawlers? O arquivo responsável por isso é chamado de robots.txt, que é um arquivo inserido na raiz do seu site. O robots.txt é o primeiro arquivo visualizado pelos robôs dos mecanismos de busca para saber se têm ou não permissão para indexar as páginas daquele site.

Podemos dizer que o robots.txt funciona como um filtro para esse robôs, ou seja, se nesse arquivo estiver desabilitada a opção de indexação em algumas páginas, eles não farão a leitura delas e consequentemente elas não aparecerão nos motores de busca.

O mesmo acontece se você quer que seu site seja indexado. É preciso que você habilite essa opção por meio do robots.txt e, ao mesmo tempo, tenha cuidado para que arquivos confidenciais não fiquem à mostra.

Por isso, se você quer aparecer no Google, ou em qualquer site de busca, é muito importante configurar esse arquivo corretamente e ter certeza de que as páginas que você pretende ranquear estejam habilitadas para visitas.

Como facilitar o acesso de crawlers ao meu site?

Já listei alguns fatores que podem resultar em problemas de crawlabilidade e indexabilidade. Este é o primeiro passo para impedir que esses problemas aconteçam.

Entretanto, existem algumas outras coisas que você pode fazer para garantir que os crawlers tenham acesso facilitado ao seu site e consigam indexar as páginas com sucesso.

1. Enviar o mapa do seu site para o Google

Sitemap (mapa do site) é um arquivo que fica na pasta raiz do seu domínio e contém links diretos para cada página do seu site. Você pode enviá-lo para o motor de busca através do Google Console. O mapa do site apresenta o seu conteúdo para o Google e o avisa sobre as atualizações feitas.

2. Reforçar os Links Internos

Já falamos sobre como os links internos podem afetar a crawlabilidade. Portanto, para facilitar o caminho do crawler e para garantir que todo o seu conteúdo será encontrado, melhore os links entre as páginas e verifique para que todas estejam conectadas.

3. Fazer atualizações regulares e adicionar conteúdo novo

Conteúdo é a parte mais importante do seu site. Ele ajuda na atração de visitantes, apresenta o seu negócio e os converte em clientes.

Além de tudo, o conteúdo também ajuda a melhorar a crawlabilidade do site. Isso acontece porque os crawlers visitam com mais frequência os sites que constantemente atualizam o conteúdo deles. E isso significa que eles conseguem rastrear e indexar a sua página mais rapidamente.

4. Evitar conteúdo duplicado

Ter no seu site conteúdo duplicado (páginas com conteúdo igual ou muito parecido) pode resultar em ranqueamentos baixos.

Conteúdo duplicado também pode diminuir a frequência com qual os crawlers visitam seu site, por isso é tão importante inspecionar e resolver todos os casos desses conteúdos.

5. Melhore a velocidade da sua página

Os crawlers têm tempo limitado para rastrear e indexar o seu site. Isso é conhecido como “crawl budget” e assim que ele se esgotar, os crawlers abandonam a página. Portanto, quanto mais veloz sua página for, mais delas o crawler consegue visitar antes de se esgotar o tempo dele.

Ferramentas que podem ajudar a gerenciar Crawlabilidade e Indexabilidade.

Não se preocupe se tudo o que falamos te pareceu complicado. Existem muitas ferramentas que podem te ajudar a identificar e concertar os principais problemas de crawlabilidade e indexabilidade.

Google Search Console: sempre é bom para começar. A plataforma do motor de busca ajuda a monitorar e manter seu site no Google. Os relatórios também incluem informações sobre erros de indexação que os crawlers encontraram no seu site.

SEMrush Site Audit: uma das funcionalidades da plataforma SEMrush que permite escanear o site inteiro identificando erros e problemas que podem atrapalhar e prejudicar suas campanhas de SEO. O relatório inclui vários fatores que afetam a indexabilidade e crawlabilidade.

Screaming Frog SEO Spider: mais uma ferramenta bem conhecida de auditoria de sites. Ela consegue identificar os erros de SEO on page.

Google PageSpeed Insights: permite rapidamente verificar a velocidade de carregamento da sua página.

Conclusão

A maioria dos desenvolvedores sabe que para conseguir ranquear bem um site eles precisam de, pelo menos, um excelente conteúdo e backlinks fortes para aumentar a autoridade do site.

O que pode passar despercebido é que esses esforços podem ser feitos em vão se os crawlers dos motores de busca não conseguem rastrear e indexar o site. Por isso é tão importante monitorar constantemente a situação da sua página e possíveis erros de crawlabilidade e indexabilidade.

Além de adicionar palavras-chave otimizadas e acumular links, é necessário controlar se os crawlers conseguem acessar seu site e passar os relatórios para os motores de busca.