Esse relatório mostra as estatísticas do histórico de rastreamento do Google no seu site. Por exemplo, quantas solicitações foram feitas e quando, qual foi a resposta do servidor e todos os problemas de disponibilidade que foram encontrados. Você pode usar esse relatório para detectar se o Google tem problemas de exibição ao rastrear o site.
Este relatório destina-se a usuários avançados. Se você tiver um site com menos de mil páginas, não precisará usar este relatório nem se preocupar com este nível de detalhes do rastreamento.
Abrir o relatório de estatísticas de rastreamento
C<span/>rawl Budget and the Crawl Stats report - Google Search Console Training
Primeiros passos
Você precisa entender as seguintes informações antes de usar este relatório:
- Como a Pesquisa Google funciona
- Consulte os tópicos para usuários avançados, principalmente temas como rastreamento, indexação e sitemaps.
- Conheça vários tópicos sobre como gerenciar o acesso ao seu site, incluindo o bloqueio com robots.txt.
- Se você tiver um site grande (centenas de milhares de páginas), veja aqui um guia sobre como gerenciar e resolver problemas relacionados ao orçamento de rastreamento.
Sobre os dados
- Todos os URLs exibidos e contabilizados são os reais solicitados pelo Google. Os dados não são atribuídos aos canônicos, como é feito em outros relatórios.
- Se um URL tiver um redirecionamento do lado do servidor, cada solicitação na cadeia relacionada vai ser contabilizada separadamente. Ou seja, se page1 redirecionar para page2, que redireciona para page3, e o Google solicitar page1, você vai receber pedidos separados para page1 (retorna 301/302), page2 (retorna 301/302) e page3 (o esperado é retornar 200). Apenas as páginas no domínio atual são exibidas. Uma resposta de redirecionamento é do tipo de arquivo "Outro tipo de arquivo". Os redirecionamentos do lado do cliente não são contabilizados.
- Os rastreamentos considerados, mas não realizados porque o robots.txt estava indisponível, são contabilizados no total, mas o relatório talvez mostre poucos detalhes sobre essas tentativas. Saiba mais
- Recursos e escopo:
- Todos os dados são limitados ao domínio selecionado no momento. As solicitações para outros domínios não serão exibidas. Isso inclui solicitações para todos os recursos da página (como imagens) hospedados fora dessa propriedade. Portanto, se a página example.com/mypage incluir a imagem google.com/img.png, a solicitação de google.com/img.png não será exibida no relatório de estatísticas de rastreamento para a propriedade example.com.
- Da mesma forma, as solicitações para um domínio irmão (en.example e de.example) não serão exibidas. Portanto, se você estiver acessando o relatório de estatísticas de rastreamento para en.example, as solicitações para uma imagem em de.example não vão ser exibidas.
- No entanto, as solicitações entre subdomínios podem ser vistas no domínio principal. Por exemplo, se você acessar dados de example.com, poderá conferir todas as solicitações feitas para example.com, en.example, de.example.com e todos os domínios filhos em qualquer nível abaixo de example.com.
- Por outro lado, se os recursos da sua propriedade forem usados por uma página em outro domínio, você vai poder ver as solicitações de rastreamento associadas à página do host, mas não vai encontrar nenhum contexto indicando que o recurso está sendo rastreado porque é usado por uma página em outro domínio. Ou seja, você não vai saber que a imagem example.com/imageX.png foi rastreada porque está na página anotherexample.com/mypage.
- Os dados de rastreamento incluem protocolos http e https, mesmo para propriedades de prefixo de URL. Isso significa que o relatório de estatísticas de rastreamento para http://example.com inclui solicitações para http://example.com e https://example.com. No entanto, os URLs de exemplo para propriedades de prefixo de URL são limitados ao protocolo definido para a propriedade (http ou https).
Como navegar no relatório
O relatório mostra as seguintes informações de rastreamento sobre o site:
Clique em qualquer entrada de tabela para ver detalhes do item em questão, incluindo uma lista de URLs de exemplo. Clique em um URL para ver os detalhes dessa solicitação de rastreamento específica. Por exemplo, na tabela que mostra as respostas agrupadas por tipo, clique na linha HTML para ver as informações de rastreamento agregadas para todas as páginas HTML rastreadas no site, além de detalhes como horário do rastreamento, código e tamanho de resposta de alguns desses URLs.
Hosts e domínios filhos
Se a propriedade estiver no nível do domínio (example.com, http://example.com ou https://m.example.com) e tiver dois ou mais domínios filhos (como fr.example.com e de.example.com), será possível ver dados da principal, que inclui todos os filhos, ou com escopo definido para um único domínio filho.
Para ver o relatório no escopo de um filho específico, clique nele nas listas Hosts na página de destino do domínio principal. Somente os 20 principais domínios filhos que receberam tráfego nos últimos 90 dias são exibidos.
Exemplos de URL
Você pode clicar em qualquer uma das entradas de tipo de dados agrupados (resposta, tipo de arquivo, finalidade, tipo do Googlebot) para ver uma lista de URLs de exemplo desse tipo.
Não são exibidos todos os URLs, apenas uma amostra representativa. Se você não encontrar um URL listado, isso não significa que não o solicitou. O número de exemplos pode ser ponderado por dia, então é possível que alguns tipos de solicitações tenham mais deles do que outros. Isso deve se equilibrar com o tempo.
Total de solicitações de rastreamento
É o número total de solicitações de rastreamento emitidas para os URLs no seu site, sejam elas bem-sucedidas ou não. Inclui solicitações para recursos usados pela página, se esses recursos estiverem no site. As solicitações para recursos hospedados fora do site não são contabilizadas. Solicitações duplicadas para o mesmo URL são contadas individualmente. Caso o arquivo robots.txt esteja insuficientemente disponível, as possíveis buscas vão ser contadas.
As solicitações não concluídas que são contadas incluem o seguinte:
- As buscas nunca feitas porque o arquivo robots.txt estava insuficientemente disponível
- Buscas com erros de resolução de DNS
- Buscas com erros de conectividade do servidor
- Buscas abandonadas devido a loops de redirecionamento
Tamanho total do download
É o número total de bytes transferidos do site durante o rastreamento, no período especificado. Se o Google armazenar em cache um recurso de página usado por várias páginas, o recurso só será solicitado na primeira vez (quando estiver em cache).
Tempo médio de resposta
É o tempo médio de resposta para todos os recursos buscados no seu site durante o período especificado. Cada recurso vinculado a uma página é contabilizado como uma resposta separada.
Status do host
O Status do host descreve se o Google encontrou problemas de disponibilidade ao tentar rastrear o site. O status pode ter um dos seguintes valores:
O Google não encontrou problemas significativos de disponibilidade de rastreamento no site nos últimos 90 dias. Bom trabalho! Não é preciso fazer nada mais.
O Google encontrou pelo menos um problema de disponibilidade de rastreamento significativo nos últimos 90 dias no site, mas isso ocorreu há mais de uma semana. O erro pode ter sido um problema transitório ou já foi resolvido. Revise a tabela Resposta para ver quais foram os problemas e decidir se precisa tomar alguma medida.
O Google encontrou pelo menos um problema de disponibilidade de rastreamento significativo na última semana no site. Como o erro ocorreu recentemente, tente descobrir se o problema é recorrente. Revise a tabela Resposta para ver quais foram os problemas e decidir se precisa tomar alguma medida.
O ideal é que o status do host seja Verde. Se o status de disponibilidade for vermelho, clique para ver os detalhes de disponibilidade de robots.txt, resolução do DNS e conectividade do host.
Detalhes do status do host
O status de disponibilidade do host é avaliado nas categorias a seguir. Um erro significativo em qualquer categoria pode levar a um status de disponibilidade menor. Clique em uma categoria no relatório para saber mais detalhes.
Para cada categoria, você verá um gráfico de dados do rastreamento para o período. O gráfico tem uma linha vermelha pontilhada. Se a métrica estiver acima da linha pontilhada para essa categoria, por exemplo, se a resolução de DNS falhar em mais de 5% das solicitações em um determinado dia, ela vai ser considerada um problema para essa categoria, e o status vai refletir o tempo para retorno da última edição.
- Busca de robots.txt
O gráfico mostra a taxa de falha das solicitações de robots.txt durante um rastreamento. O Google solicita esse arquivo com frequência e, se a solicitação não retornar um arquivo válido (preenchido ou vazio) ou uma resposta 404 (arquivo não existe), o Google desacelerará ou interromperá o rastreamento do site até receber uma resposta de robots.txt aceitável. Veja detalhes abaixo - Resolução de DNS
O gráfico mostra quando o servidor DNS não reconheceu o nome do host ou não respondeu durante o rastreamento. Se houver erros, verifique com seu registrador se o site está configurado corretamente e o servidor conectado à Internet. - Conectividade do servidor
O gráfico mostra quando o servidor não respondeu ou não forneceu uma resposta completa para um URL durante o rastreamento. Consulte Erros de servidor para saber como corrigir esses erros.
Veja uma descrição mais detalhada de como o Google verifica os arquivos robots.txt e depende deles para rastrear seu site.
Seu site não precisa ter um arquivo robots.txt, mas tem que retornar uma resposta bem-sucedida (conforme definido abaixo) quando for solicitado. Caso contrário, o Google poderá parar de rastrear o site.
- Respostas bem-sucedidas de robots.txt
- Todas as opções a seguir são consideradas respostas bem-sucedidas:
- HTTP 200 e um arquivo robots.txt. O arquivo pode ser válido, inválido ou estar vazio. Se o arquivo apresentar erros de sintaxe, a solicitação ainda será considerada bem-sucedida, embora o Google possa ignorar qualquer regra com erro de sintaxe.
- HTTP 403/404/410 (o arquivo não existe). Seu site não precisa ter um arquivo robots.txt.
- Respostas malsucedidas de robots.txt
- HTTP 429/5XX (problema de conexão)
Veja como o Google solicita e usa arquivos robots.txt para rastrear um site:
- Antes de rastrear o site, o Google confere se há uma solicitação de robots.txt concluída com menos de 24 horas.
- Se houver uma resposta de robots.txt concluída com menos de 24 horas, o Google vai usar esse arquivo para rastrear seu site. O erro 404 "Não encontrado" foi concluído e não há um arquivo robots.txt. Isso significa que o Google pode rastrear todos os URLs do site.
- Se a última resposta não tiver sido concluída ou tiver mais de 24 horas, o Google vai solicitar o arquivo robots.txt:
- Quando a solicitação é concluída, o rastreamento pode ser iniciado.
- Caso não seja concluída, vai acontecer o seguinte:
- Nas primeiras 12 horas, o Google deixa de rastrear seu site, mas continua solicitando o arquivo robots.txt.
- De 12 horas a 30 dias, o Google usa o último arquivo robots.txt buscado e ainda solicita o seu.
- Veja o que ocorre após 30 dias:
- Quando a página inicial do site está disponível, o Google age como se não houvesse um arquivo robots.txt e rastreia sem restrições.
- Quando a página inicial não está disponível, o Google para de rastrear o site.
- Nos dois casos, o Google vai continuar solicitando o arquivo robots.txt periodicamente.
Respostas de rastreamento
Esta tabela mostra as respostas que o Google recebeu ao rastrear seu site, agrupadas por tipo, como uma porcentagem de todas as respostas de rastreamento. Os dados são baseados no total de solicitações, não por URL. Portanto, se o Google solicitou um URL duas vezes e recebeu o erro de servidor (500) na primeira vez, e OK (200) na segunda vez, a resposta seria de 50% com erro de servidor e 50%. OK.
Veja alguns códigos de resposta comuns e como lidar com eles:
Códigos de resposta adequados
Estas páginas estão bem e não causam problemas.
- OK (200): em circunstâncias normais, a grande maioria das respostas precisa ser do tipo 200.
- Movido permanentemente (301): sua página está retornando uma resposta HTTP 301 ou 308 (movido permanentemente), que provavelmente é o que você queria.
- Movido temporariamente (302): sua página está retornando uma resposta HTTP 302 ou 307 (movido temporariamente), que provavelmente é o que você queria. Se essa página tiver sido movida permanentemente, mude para 301.
- Movido (outro): indica uma meta-atualização.
- Não modificado (304): a página não teve mudanças desde a última solicitação de rastreamento.
Códigos de resposta possivelmente adequados
Talvez estas respostas sejam corretas, mas você pode conferir para garantir que tudo esteja certo.
- Os erros Não encontrado (404) podem ser causados por links corrompidos no site ou fora dele. Não é possível, válido nem desejável corrigir todos os erros 404 do site. Algumas vezes, o erro 404 é o que precisa ser retornado (por exemplo, se a página realmente não tiver uma substituição). Saiba como corrigir erros 404.
Códigos de resposta inválidos
Corrija as páginas que retornam esses erros para melhorar o rastreamento.
- Robots.txt não disponível: se o arquivo robots.txt ficar indisponível por um dia, o Google vai interromper o rastreamento por um tempo até receber uma resposta aceitável para uma solicitação desse tipo de arquivo. Não use técnicas de cloaking para o arquivo robots.txt no Google nem mude a página robots.txt para cada user agent.
Essa resposta não é o mesmo que retornar "Não encontrado (404)" para um arquivo robots.txt, o que é considerado uma boa resposta. Veja mais detalhes sobre o robots.txt. - Não autorizado (401/407): bloqueie o rastreamento dessas páginas com o robots.txt ou decida se elas devem ser desbloqueadas. Se essas páginas não tiverem dados seguros e você quiser indexá-las, considere mover as informações para páginas não seguras ou permitir a entrada no Googlebot sem login. No entanto, saiba que o Googlebot pode ser falsificado e permitir a entrada no Googlebot remove a segurança da página.
- Erro de servidor (5XX): esses erros causam avisos de disponibilidade e precisam ser corrigidos, na medida do possível. O gráfico em miniatura mostra quando esses erros ocorreram aproximadamente. Clique para ver mais detalhes e horários exatos. Decida se são problemas temporários ou se representam erros de disponibilidade mais profundos no seu site. Se o Google estiver rastreando seu site em excesso, você poderá solicitar uma taxa de rastreamento menor. Se for uma indicação de problema grave de disponibilidade, leia sobre picos de rastreamento. Consulte Erros de servidor para saber como corrigir esses erros.
- Outro erro do cliente (4XX): outro erro 4XX (no lado do cliente) não especificado aqui. É melhor corrigir esses problemas.
- DNS não responde: o servidor DNS não estava respondendo a solicitações de URLs no seu site.
- Erro de DNS: outro erro de DNS não especificado.
- Erro de busca: não foi possível buscar a página devido a um número de porta ou endereço IP inválido, ou a uma resposta não analisável.
- Não foi possível acessar a página: qualquer outro erro na recuperação da página, em que a solicitação nunca chegou ao servidor. Como essas solicitações nunca chegaram ao servidor, elas não aparecerão nos registros.
- Tempo limite da página: a solicitação da página expirou.
- Erro de redirecionamento: é um erro de redirecionamento da solicitação; por exemplo, muitos redirecionamentos, redirecionamento vazio ou redirecionamento circular.
- Outro erro: um erro que não se encaixa em nenhuma das categorias acima.
Tipos de arquivos rastreados
O tipo de arquivo retornado pela solicitação. O valor percentual de cada tipo é a porcentagem de respostas, não a de bytes recuperados.
Possíveis valores de tipo de arquivo:
- HTML
- Imagem
- Vídeo: um dos formatos de vídeo compatíveis
- JavaScript
- CSS
- Outro XML: um arquivo XML que não inclui RSS, KML ou qualquer outro formato com base em XML.
- JSON
- Distribuição: um feed RSS ou Atom
- Áudio
- Dados geográficos: KML ou outros dados geográficos
- Outro tipo de arquivo: qualquer um que não tenha sido especificado aqui. Os redirecionamentos estão incluídos nesse agrupamento.
- Desconhecido (com falha): se a solicitação falha, o tipo de arquivo é desconhecido.
Finalidade do rastreamento
- Descoberta: o URL solicitado nunca foi rastreado pelo Google.
- Atualização: um novo rastreamento de uma página conhecida.
Se você fizer muitas alterações em páginas que não estão sendo rastreadas com frequência suficiente, verifique se elas estão incluídas em um sitemap. Para páginas que são atualizadas com menos rapidez, talvez seja necessário solicitar um novo rastreamento. Se você adicionou recentemente bastante conteúdo ou enviou um sitemap, provavelmente verá um aumento nos rastreamentos de descoberta no seu site.
Tipo do Googlebot
O tipo de user agent usado para fazer a solicitação de rastreamento. O Google conta com vários user agents para diferentes usos e que têm comportamentos distintos.
Possíveis valores de tipo do Googlebot:
- Smartphone: Googlebot para smartphones
- Computador: Googlebot para computadores
- Imagem: é o Googlebot para imagens. Se a imagem for carregada como um recurso de página, o tipo de Googlebot será contabilizado como Carregamento da página, e não como Imagem.
- Vídeo: é o Googlebot para vídeos. Se o vídeo for carregado como um recurso de página, o tipo de Googlebot será contado como Carregamento de recurso da página, e não como Vídeo.
- Carregamento de recurso da página: é uma busca secundária de recursos usados pela sua página. Quando o Google rastreia a página, ele busca recursos vinculados importantes, como imagens ou arquivos CSS para renderizar a página antes de tentar indexá-la. É o user agent que faz essas solicitações de recursos.
- AdsBot: é um dos rastreadores do AdsBot. Se você notar um aumento nessas solicitações, talvez tenha criado recentemente várias novas segmentações para anúncios dinâmicos de pesquisa no site. Acesse Por que minha taxa de rastreamento sofreu um aumento repentino? O AdsBot rastreia URLs a cada duas semanas.
- StoreBot: é o rastreador de compras de produtos.
- Outro tipo de agente: outro rastreador do Google que não tenha sido especificado aqui.
Se você tiver picos de rastreamento, verifique o tipo de user agent. Se eles tiverem sido causados pelo rastreador AdsBot, consulte a seção Por que minha taxa de rastreamento sofreu um aumento repentino?.
Solução de problemas
Taxa de rastreamento muito alta
O Googlebot tem algoritmos para evitar o excesso de carregamento do site durante o rastreamento. No entanto, se por algum motivo você precisar limitar a taxa de rastreamento, saiba como fazer isso aqui.
Por que minha taxa de rastreamento sofreu um aumento repentino?
Se você adicionou novas informações ao site ou se o site contém alguma informação muito útil, o número de rastreamentos registrado poderá ultrapassar um pouco o desejado. Exemplo:
- Você desbloqueou uma grande parte do site para rastreamento.
- Você adicionou uma nova seção grande ao site.
- Você adicionou um grande número de novas segmentações para anúncios dinâmicos de pesquisa com novos feeds de páginas ou regras URL_Equals.
Veja como proteger o site se a frequência de rastreamento estiver causando problemas de disponibilidade:
- Determine qual rastreador do Google está acessando o site em excesso. Analise os registros do seu site ou use o Relatório de estatísticas de rastreamento.
- Solução rápida:
- Se quiser uma solução simples, use o robots.txt para bloquear o rastreamento do agente que causa a sobrecarga (googlebot, adsbot etc.). No entanto, isso pode levar até um dia para entrar em vigor. Não bloqueie por muito tempo, porque isso pode ter efeitos de longo prazo no rastreamento.
- Caso você consiga detectar e responder ao aumento na demanda de forma dinâmica, retorne o HTTP 503/429 quando estiver perto do limite de exibição. No entanto, não retorne 503 ou 429 por mais de dois ou três dias, porque isso pode fazer com que o Google rastreie o site com menos frequência a longo prazo.
- Dois ou três dias depois, quando a taxa de rastreamento do Google estiver adaptada, remova os bloqueios do robots.txt ou deixe de retornar os códigos de erro 503 ou 429.
- Se o site está sobrecarregado com os rastreamentos do AdsBot, é provável que você tenha criado muitas segmentações para anúncios dinâmicos de pesquisa usando
URL_Equalsou feeds de páginas. Caso seu servidor não tenha a capacidade necessária para lidar com esses rastreamentos, limite as segmentações de anúncio, adicione URLs em lotes menores ou aumente a capacidade de exibição. Como o AdsBot rastreia suas páginas a cada duas semanas, você precisa corrigir o problema para isso não acontecer novamente.
A taxa de rastreamento parece muito baixa
Não é possível pedir para o Google aumentar sua taxa de rastreamento. No entanto, é possível saber mais sobre como gerenciar o rastreamento para sites muito grandes ou atualizados com frequência.
Em sites pequenos ou médios, se você achar que o Google não está rastreando todo o site, tente atualizar os sitemaps e confirme que você não está bloqueando páginas.
Por que minha taxa de rastreamento caiu?
Em geral, sua taxa de rastreamento do Google deve aparecer relativamente estável durante o período de uma ou duas semanas. Se você detectar uma queda súbita, pode ser por um dos seguintes motivos:
- Você adicionou uma nova regra robots.txt (ou uma regra muito ampla). Certifique-se de que você só está bloqueando os recursos necessários. Se o Google precisar de recursos específicos, como CSS ou JavaScript, para compreender o conteúdo, não proíba o acesso do Googlebot a esses recursos.
- Caso seu site esteja respondendo às solicitações lentamente, o Googlebot vai limitar as solicitações para não sobrecarregar seu servidor. Verifique o relatório de estatísticas de rastreamento para ver se o site tem levado muito tempo para responder às solicitações.
- Caso sua taxa de erros do servidor tenha aumentado, o Googlebot vai limitar as solicitações para não sobrecarregar seu servidor.
- Se um site contém informações que mudam com menos frequência ou não é de alta qualidade, ele pode não ser rastreado com tanta frequência. Analise bem seu site, peça feedback neutro de pessoas não associadas a ele e pense em como ou onde fazer melhorias.
O número total de rastreamentos no relatório é muito maior do que o total exibido nos registros do servidor do seu site
A contagem total de rastreamentos mostrada neste relatório é muito maior do que as solicitações do Google nos registros do servidor. Isso pode ocorrer quando o Google não consegue rastrear o site porque o arquivo robots.txt está indisponível por muito tempo. Quando isso acontece, o Google conta os rastreamentos que poderiam ter sido feitos se o arquivo robots.txt estivesse disponível, mas não faz essas chamadas de fato. Confira o status de busca do robots.txt para confirmar se esse é o problema.
