Relatório de estatísticas de rastreamento

Esse relatório mostra as estatísticas do histórico de rastreamento do Google no seu site. Por exemplo, quantas solicitações foram feitas e quando, qual foi a resposta do servidor e todos os problemas de disponibilidade que foram encontrados. Você pode usar esse relatório para detectar se o Google tem problemas de exibição ao rastrear o site.

Este relatório destina-se a usuários avançados. Se você tiver um site com menos de mil páginas, não precisará usar este relatório nem se preocupar com este nível de detalhes do rastreamento.

Este relatório está disponível apenas para propriedades no nível raiz. Ou seja, é necessário ser uma propriedade de domínio (como example.com ou m.example.com) ou de prefixo de URL no nível raiz (https://example.com, http://example.com, http://m.example.com).

Abrir o relatório de estatísticas de rastreamento

 

Acesse o relatório no Search Console clicando em Configurações (Configurações da propriedade) > Estatísticas de rastreamento.

Primeiros passos

Você precisa entender as seguintes informações antes de usar este relatório:

Sobre os dados

  • Todos os URLs exibidos e contados são os URLs solicitados pelo Google. Os dados não são atribuídos a URLs canônicos como é feito em outros relatórios.
  • Se um URL tiver um redirecionamento, cada solicitação na cadeia relacionada será contada separadamente. Então, se page1 redirecionar para page2, que redireciona para page3, e o Google solicitar a page1, você verá solicitações separadas para a page1 (retorna 301/302), page2 (retorna 301/302) e page3 (o esperado é retornar 200). Apenas as páginas do domínio atual são exibidas.
  • Os rastreamentos considerados, mas não realizados porque o robots.txt estava indisponível, são contabilizados no total, mas não nas seções de detalhamento. Saiba mais
  • Recursos e escopo:
    • Todos os dados são limitados ao domínio selecionado no momento. As solicitações para outros domínios não serão exibidas. Isso inclui solicitações para todos os recursos da página (como imagens) hospedados fora dessa propriedade. Portanto, se a página example.com/mypage incluir a imagem google.com/img.png, a solicitação de google.com/img.png não será exibida no relatório de estatísticas de rastreamento para a propriedade example.com.
    • Da mesma forma, as solicitações para um domínio irmão (en.example e de.example) não serão exibidas. Portanto, se você estiver acessando o relatório de estatísticas de rastreamento para en.example, as solicitações para uma imagem em de.example não serão exibidas.
    • No entanto, as solicitações entre subdomínios podem ser vistas no domínio principal. Por exemplo, se você visualizar dados de example.com, poderá ver todas as solicitações feitas para example.com, en.example, de.example.com e outros domínios filhos em qualquer nível abaixo de example.com.
    • Por outro lado, se os recursos da sua propriedade forem usados por uma página em outro domínio, você poderá ver as solicitações de rastreamento associadas à página de host, mas não verá nenhum contexto indicando que o recurso está sendo rastreado por ser usado por uma página em outro domínio. Ou seja, você não verá que a imagem example.com/imageX.png foi rastreada porque ela está incluída na página anotherexample.com/mypage.
    • Os dados de rastreamento incluem protocolos http e https, mesmo para propriedades de prefixo de URL. Isso significa que o relatório de estatísticas de rastreamento para http://example.com inclui solicitações para http://example.com e https://example.com. No entanto, os URLs de exemplo para propriedades de prefixo de URL são limitados ao protocolo definido para a propriedade (http ou https).
Problema conhecido: no momento, o relatório de estatísticas de rastreamento informa a maioria das solicitações de rastreamento, mas algumas podem não ser contabilizadas por vários motivos. Esperamos que nossa cobertura aumente com o passar do tempo para abranger a maioria, se não todas as solicitações. Portanto, você poderá ver pequenas diferenças entre os registros de solicitação do seu site e os números informados aqui.

Como navegar no relatório

Clique em qualquer entrada de tabela para ver detalhes do item em questão, incluindo uma lista de URLs de exemplo. Clique em um URL para ver os detalhes dessa solicitação de rastreamento específica. Por exemplo, na tabela que mostra as respostas agrupadas por tipo, clique na linha HTML para ver as informações de rastreamento agregadas para todas as páginas HTML rastreadas no site, além de detalhes como horário do rastreamento, código e tamanho de resposta de alguns desses URLs.

Hosts e domínios filhos

Se a propriedade estiver no nível do domínio (example.com, http://example.com ou https://m.example.com) e tiver dois ou mais domínios filhos (como fr.example.com e de.example.com), será possível ver dados da principal, que inclui todos os filhos, ou com escopo definido para um único domínio filho.

Para ver o relatório no escopo de um filho específico, clique nele nas listas Hosts na página de destino do domínio principal. Somente os 20 principais domínios filhos que receberam tráfego nos últimos 90 dias são exibidos.

Exemplos de URL

Você pode clicar em qualquer uma das entradas de tipo de dados agrupados (resposta, tipo de arquivo, finalidade, tipo do Googlebot) para ver uma lista de URLs de exemplo desse tipo.

Não são exibidos todos os URLs, apenas uma amostra representativa. Se você não encontrar um URL listado, isso não significa que não o solicitou. O número de exemplos pode ser ponderado por dia, então é possível que alguns tipos de solicitações tenham mais deles do que outros. Isso deve se equilibrar com o tempo.

Total de solicitações de rastreamento

É o número total de solicitações de rastreamento emitidas para os URLs no seu site, sejam elas bem-sucedidas ou não. Inclui solicitações para recursos usados pela página, se esses recursos estiverem no site. As solicitações para recursos hospedados fora do site não são contabilizadas. Solicitações duplicadas para o mesmo URL são contadas individualmente. Caso o arquivo robots.txt esteja insuficientemente disponível, as possíveis buscas serão contadas.

As solicitações não concluídas que são contadas incluem o seguinte:

Tamanho total do download

É o número total de bytes transferidos do site durante o rastreamento, no período especificado. Se o Google armazenar em cache um recurso de página usado por várias páginas, o recurso só será solicitado na primeira vez (quando estiver em cache).

Tempo médio de resposta

É o tempo médio de resposta para todos os recursos buscados no seu site durante o período especificado. Cada recurso vinculado a uma página é contabilizado como uma resposta separada.

Status do host

O Status do host descreve se o Google encontrou problemas de disponibilidade ao tentar rastrear o site. O status pode ter um dos seguintes valores:

  • No significant availability issues icon
    O Google não encontrou problemas significativos de disponibilidade de rastreamento no site nos últimos 90 dias. Bom trabalho! Não é preciso fazer nada mais.
  • Some availability issues, but not recently
    O Google encontrou pelo menos um problema de disponibilidade de rastreamento significativo nos últimos 90 dias no site, mas isso ocorreu há mais de uma semana. O erro pode ter sido um problema transitório ou já foi resolvido. Revise a tabela Resposta para ver quais foram os problemas e decidir se precisa tomar alguma medida.
  • Recent availability issue
    O Google encontrou pelo menos um problema de disponibilidade de rastreamento significativo na última semana no site. Como o erro ocorreu recentemente, tente descobrir se o problema é recorrente. Revise a tabela Resposta para ver quais foram os problemas e decidir se precisa tomar alguma medida.
O que procurar

O ideal é que o status do host seja Verde. Se o status de disponibilidade for vermelho, clique para ver os detalhes de disponibilidade de robots.txt, resolução do DNS e conectividade do host.

Detalhes do status do host

O status de disponibilidade do host é avaliado nas categorias a seguir. Um erro significativo em qualquer categoria pode levar a um status de disponibilidade menor. Clique em uma categoria no relatório para saber mais detalhes.

Para cada categoria, você verá um gráfico de dados do rastreamento para o período. O gráfico tem uma linha vermelha pontilhada; se a métrica estiver acima da linha pontilhada para essa categoria (por exemplo, se a resolução do DNS falhar em mais de 5% das solicitações em um determinado dia), ela será considerada um problema para essa categoria e o status refletirá o tempo para retorno da última edição.

  • Busca de robots.txt
    O gráfico mostra a taxa de falha das solicitações de robots.txt durante um rastreamento. O Google solicita esse arquivo com frequência e, se a solicitação não retornar um arquivo válido (preenchido ou vazio) ou uma resposta 404 (arquivo não existe), o Google desacelerará ou interromperá o rastreamento do site até receber uma resposta de robots.txt aceitável. Veja detalhes abaixo
  • Resolução de DNS
    O gráfico mostra quando o servidor DNS não reconheceu o nome do host ou não respondeu durante o rastreamento. Se houver erros, verifique com seu registrador se o site está configurado corretamente e o servidor conectado à Internet.
  • Conectividade do servidor
    O gráfico mostra quando o servidor não respondeu ou não forneceu uma resposta completa para um URL durante o rastreamento. Consulte Erros de servidor para saber como corrigir esses erros.
Mais detalhes sobre a disponibilidade de robots.txt

Veja uma descrição mais detalhada de como o Google verifica os arquivos robots.txt e depende deles para rastrear seu site.

Seu site não precisa ter um arquivo robots.txt, mas tem que retornar uma resposta bem-sucedida (conforme definido abaixo) quando for solicitado. Caso contrário, o Google poderá parar de rastrear o site.

  • Respostas bem-sucedidas de robots.txt
  • Todas as opções a seguir são consideradas respostas bem-sucedidas:
    • HTTP 200 e um arquivo robots.txt. O arquivo pode ser válido, inválido ou estar vazio. Se o arquivo apresentar erros de sintaxe, a solicitação ainda será considerada bem-sucedida, embora o Google possa ignorar qualquer regra com erro de sintaxe.
    • HTTP 403/404/410 (o arquivo não existe). Seu site não precisa ter um arquivo robots.txt.
  • Respostas malsucedidas de robots.txt

Veja como o Google solicita e usa arquivos robots.txt para rastrear um site:

  1. Antes de o Google rastrear o site, ele verifica se há uma solicitação bem-sucedida de robots.txt com menos de 24 horas.
  2. Se o Google tiver uma resposta bem-sucedida recente de robots.txt, o rastreamento será iniciado, respeitando as regras do robots.txt encontrado.
  3. Se o Google não tiver uma resposta recente de robots.txt ou se a última resposta não tiver sido bem-sucedida, o Google solicitará seu arquivo robots.txt:
    • Se a solicitação for bem-sucedida, o rastreamento poderá ser iniciado.
    • Caso contrário, o Google deixará de rastrear, mas continuará solicitando seu robots.txt por cerca de 30 dias. Se o Google ainda não conseguir uma resposta de robots.txt bem-sucedida após 30 dias, ocorrerá o seguinte:
      • Se a maioria dos outros URLs do site estiver acessível, o Google usará as últimas regras robots.txt buscadas e rastreará com base nisso.
      • Se o site estiver inacessível, o Google deixará de rastreá-lo pouco a pouco.
Todos os rastreamentos abandonados porque o arquivo robots.txt estava indisponível são contabilizados no total. No entanto, como não foram realmente realizados, você não verá os dados relativos a eles nos relatórios de agrupamento (rastreamento por finalidade, rastreamentos por resposta etc.).

Respostas de rastreamento

Esta tabela mostra as respostas que o Google recebeu ao rastrear seu site, agrupadas por tipo, como uma porcentagem de todas as respostas de rastreamento. Os dados são baseados no total de solicitações, não por URL. Portanto, se o Google solicitou um URL duas vezes e recebeu o erro de servidor (500) na primeira vez, e OK (200) na segunda vez, a resposta seria de 50% com erro de servidor e 50%. OK.

O que procurar
A maioria das respostas precisa ser 200 ou outras respostas do tipo "Bom", a menos que você esteja fazendo uma reorganização ou uma mudança de site. Veja a lista abaixo para saber como lidar com outros códigos de resposta.

 

Veja alguns códigos de resposta comuns e como lidar com eles:

Códigos de resposta adequados

Estas páginas estão bem e não causam problemas.

  • OK (200): em circunstâncias normais, a grande maioria das respostas precisa ser de respostas tipo 200.
  • Movido permanentemente (301): sua página está retornando uma resposta HTTP 301 (movido permanentemente), que provavelmente é o que você queria.
  • Movido temporariamente (302): sua página está retornando uma resposta HTTP 302 (movido temporariamente), que provavelmente é o que você queria. Se essa página tiver sido movida permanentemente, mude para 301.
  • Movido (outro): outra resposta de redirecionamento 300 (não 301 nem 302).
  • Não modificado (304): a página não foi alterada desde a última solicitação de rastreamento.

Códigos de resposta possivelmente adequados

Talvez estas respostas sejam corretas, mas você pode verificar para garantir que esteja tudo certo.

  • Bloqueado pelo robots.txt: geralmente, significa que tudo está funcionando como esperado. No entanto, é recomendável verificar que você não esteja bloqueando páginas ou recursos a serem rastreados pelo Google. Saiba mais sobre os arquivos robots.txt.
  • Os erros Não encontrado (404) podem ser causados por links corrompidos no seu site ou fora dele. Não é possível, válido nem desejável corrigir todos os erros 404 do site. Algumas vezes, o erro 404 é o que precisa ser retornado (por exemplo, se a página realmente não tiver uma substituição). Saiba como corrigir erros 404.

Códigos de resposta inválidos

Corrija as páginas que retornam esses erros para melhorar o rastreamento.

  • robots.txt não disponível: se o arquivo robots.txt permanecer indisponível por um dia, o Google interromperá o rastreamento por um tempo até receber uma resposta aceitável para uma solicitação de robots.txt. Isso não é o mesmo que Não encontrado (404) para um arquivo robots.txt, que é aceitável. Veja mais detalhes sobre o robots.txt.
  • Não autorizado (401/407): bloqueie o rastreamento dessas páginas com o robots.txt ou decida se elas devem ser desbloqueadas. Se essas páginas não tiverem dados seguros e você quiser indexá-las, considere mover as informações para páginas não seguras ou permitir a entrada no Googlebot sem login. No entanto, saiba que o Googlebot pode ser falsificado e permitir a entrada no Googlebot remove a segurança da página.
  • Erro de servidor (5XX): esses erros causam avisos de disponibilidade e precisam ser corrigidos, se possível. O gráfico em miniatura mostra quando esses erros ocorreram aproximadamente. Clique para ver mais detalhes e horários exatos. Decida se são problemas temporários ou se representam erros de disponibilidade mais profundos no seu site. Se o Google estiver rastreando seu site em excesso, você poderá solicitar uma taxa de rastreamento menor. Se for uma indicação de problema grave de disponibilidade, leia sobre picos de rastreamento. Consulte Erros de servidor para saber como corrigir esses erros.
  • Outro erro do cliente (4XX): outro erro 4XX (no lado do cliente) não especificado aqui. É melhor corrigir esses problemas.
  • DNS não responde: o servidor DNS não estava respondendo a solicitações de URLs no seu site.
  • Erro de DNS: outro erro de DNS não especificado.
  • Erro de busca: não foi possível buscar a página devido a um número de porta ou endereço IP inválido, ou a uma resposta não analisável.
  • Não foi possível acessar a página: qualquer outro erro na recuperação da página, em que a solicitação nunca chegou ao servidor. Como essas solicitações nunca chegaram ao servidor, elas não aparecerão nos registros.
  • Tempo limite da página: a solicitação da página expirou.
  • Erro de redirecionamento: é um erro de redirecionamento da solicitação; por exemplo, muitos redirecionamentos, redirecionamento vazio ou redirecionamento circular.
  • Outro erro: um erro que não se encaixa em nenhuma das categorias acima.

Tipos de arquivos rastreados

O tipo de arquivo retornado pela solicitação. O valor percentual de cada tipo é a porcentagem de respostas desse tipo, não a porcentagem de bytes recuperados desse tipo.

Valores possíveis:

  • HTML
  • Imagem
  • Vídeo: um dos formatos de vídeo compatíveis
  • JavaScript
  • CSS
  • PDF
  • Outro XML: um arquivo XML que não inclui RSS, KML ou qualquer outro formato com base em XML.
  • JSON
  • Distribuição: um feed RSS ou Atom
  • Áudio
  • Dados geográficos: KML ou outros dados geográficos
  • Outro tipo de arquivo: qualquer tipo de arquivo não especificado aqui.
  • Desconhecido (Com falha): se a solicitação falha, o tipo de arquivo é desconhecido.
O que procurar
Caso você veja problemas de disponibilidade ou taxas de resposta lentas, verifique esta tabela para ter uma ideia de quais tipos de recursos o Google está rastreando e por que isso pode atrasar o rastreamento. O Google está solicitando muitas imagens pequenas que deveriam ser bloqueadas? O Google está solicitando recursos hospedados em outro site menos responsivo? Clique em diferentes tipos de arquivo para ver um gráfico de tempo médio de resposta por data e número de solicitações por data. Veja também se picos em respostas lentas desse tipo correspondem a picos de lentidão ou indisponibilidade geral.

Finalidade do rastreamento

  • Descoberta: o URL solicitado nunca foi rastreado pelo Google.
  • Atualização: um novo rastreamento de uma página conhecida.

Se você fizer muitas alterações em páginas que não estão sendo rastreadas com frequência suficiente, verifique se elas estão incluídas em um sitemap. Para páginas que são atualizadas com menos rapidez, talvez seja necessário solicitar um novo rastreamento. Se você adicionou recentemente bastante conteúdo ou enviou um sitemap, provavelmente verá um aumento nos rastreamentos de descoberta no seu site.

Tipo do Googlebot

O tipo de user agent usado para fazer a solicitação de rastreamento. O Google conta com vários user agents para diferentes usos e que têm comportamentos distintos. Os tipos a seguir são informados.

  • Smartphone: é o Googlebot para smartphones.
  • Computador: Googlebot para computadores
  • Imagem: é o Googlebot para imagens. Se a imagem for carregada como um recurso de página, o tipo de Googlebot será contabilizado como Carregamento da página, e não como Imagem.
  • Vídeo: é o Googlebot para vídeos. Se o vídeo for carregado como um recurso de página, o tipo de Googlebot será contado como Carregamento de recurso da página, e não como Vídeo.
  • Carregamento de recurso da página: é uma busca secundária de recursos usados pela sua página. Quando o Google rastreia a página, ele busca recursos vinculados importantes, como imagens ou arquivos CSS para renderizar a página antes de tentar indexá-la. É o user agent que faz essas solicitações de recursos.
  • AdsBot: é um dos rastreadores do AdsBot. Se você notar um aumento nessas solicitações, talvez tenha criado recentemente várias novas segmentações para anúncios dinâmicos de pesquisa no site. Acesse Por que minha taxa de rastreamento sofreu um aumento repentino? O AdsBot rastreia URLs a cada duas semanas.
  • StoreBot: é o rastreador de compras de produtos.
  • Outro tipo de agente: é outro rastreador do Google que não foi especificado aqui.

A maioria das suas solicitações de rastreamento precisa vir do rastreador principal. Se você tiver picos de rastreamento, verifique o tipo de user agent. Se os picos tiverem sido causados pelo rastreador AdsBot, consulte Por que minha taxa de rastreamento sofreu um aumento repentino?

Solução de problemas

Taxa de rastreamento muito alta

O Googlebot tem algoritmos para evitar o excesso de carregamento do site durante o rastreamento. No entanto, se por algum motivo você precisar limitar a taxa de rastreamento, saiba como fazer isso aqui.

Algumas dicas para reduzir a taxa de rastreamento:

  • Ajuste o arquivo robots.txt de modo a bloquear páginas que não devem ser chamadas.
  • É possível definir sua taxa de rastreamento máximo preferido no Search Console como uma solução de curto prazo. Esse método não é recomendado a longo prazo, porque não permite que você nos informe especificamente quais páginas ou recursos quer rastrear.
  • Certifique-se de que bloqueou o rastreamento de páginas com resultados "infinitos", como uma agenda infinita ou uma página de pesquisa infinita. Bloqueie-os com robots.txt ou tags nofollow.
  • Se alguns URLs deixarem de existir ou forem movidos, não se esqueça de retornar os seguintes códigos de resposta corretos: 404 ou 410 para URLs que já não existem ou que são inválidos, redirecionamentos 301 para URLs que foram substituídos por outros de forma permanente (302 se a substituição não for permanente) e o código 503 em caso de inatividade temporária planejada. Além disso, certifique-se de que o servidor retorna um erro 500 quando encontra problemas com que não consegue lidar.
  • Caso seu site esteja sobrecarregado e você precise de uma redução de emergência, consulte Por que minha taxa de rastreamento sofreu um aumento repentino? abaixo.

Por que minha taxa de rastreamento sofreu um aumento repentino?

Se você adicionou novas informações ao site ou se o site contém alguma informação muito útil, o número de rastreamentos registrado poderá ultrapassar um pouco o desejado. Exemplo:

  • Você desbloqueou uma grande parte do site para rastreamento.
  • Você adicionou uma nova seção grande ao site.
  • Você adicionou um grande número de novas segmentações para anúncios dinâmicos de pesquisa com novos feeds de páginas ou regras URL_Equals.

Veja como proteger o site se a frequência de rastreamento estiver causando problemas de disponibilidade:

  1. Determine qual rastreador do Google está acessando o site em excesso. Analise os registros do seu site ou use o Relatório de estatísticas de rastreamento.
  2. Solução rápida:
    • Se quiser uma solução simples, use o robots.txt para bloquear o rastreamento do agente que causa a sobrecarga (googlebot, adsbot etc.). No entanto, isso pode levar até um dia para entrar em vigor.
    • Caso você consiga detectar e responder ao aumento na demanda de forma dinâmica, retorne o HTTP 5XX/429 quando estiver perto do limite de exibição. No entanto, não retorne 5XX ou 429 por mais de dois ou três dias, porque isso pode fazer com que o Google rastreie o site com menos frequência a longo prazo.
  3. Mude a taxa de rastreamento usando a página de configurações da taxa de rastreamento, se a opção estiver disponível.
  4. Dois ou três dias depois, quando a taxa de rastreamento do Google estiver adaptada, remova os bloqueios do robots.txt ou deixe de retornar os códigos de erro da etapa 1.
  5. Se o site está sobrecarregado com os rastreamentos do AdsBot, é provável que você tenha criado muitas segmentações para anúncios dinâmicos de pesquisa usando URL_Equals ou feeds de páginas. Caso seu servidor não tenha a capacidade necessária para lidar com esses rastreamentos, limite as segmentações de anúncio, adicione URLs em lotes menores ou aumente a capacidade de exibição. Como o AdsBot rastreia suas páginas a cada duas semanas, você precisa corrigir o problema para isso não acontecer novamente.
  6. Se você tiver usado a página de configurações para limitar a taxa de rastreamento, ela voltará ao ajuste automático após 90 dias.

Taxa de rastreamento muito baixa

Não é possível dizer ao Google para aumentar sua taxa de rastreamento (a menos que você o tenha reduzido explicitamente para sua propriedade). No entanto, é possível saber mais sobre como gerenciar o rastreamento para sites muito grandes ou atualizados com frequência.

Em sites pequenos ou médios, se você achar que o Google não está rastreando todo o site, tente atualizar os sitemaps e confirme que você não está bloqueando páginas.

Por que minha taxa de rastreamento caiu?

Em geral, sua taxa de rastreamento do Google deve aparecer relativamente estável durante o período de uma ou duas semanas. Se você detectar uma queda súbita, pode ser por um dos seguintes motivos:

  • Você adicionou uma nova regra robots.txt (ou uma regra muito ampla). Certifique-se de que você só está bloqueando os recursos necessários. Se o Google precisar de recursos específicos, como CSS ou JavaScript, para compreender o conteúdo, não proíba o acesso do Googlebot a esses recursos.
  • HTML quebrado ou conteúdo sem suporte nas páginas: se o Googlebot não consegue analisar o conteúdo da página, talvez porque ela use um tipo de mídia não compatível, ou seja, composta apenas por imagens, o Google não conseguirá rastreá-la. Use a Ferramenta de inspeção de URL para ver como o Googlebot visualiza sua página.
  • Caso seu site esteja respondendo às solicitações lentamente, o Googlebot desacelerará as solicitações para não sobrecarregar seu servidor. Verifique o relatório de estatísticas de rastreamento para ver se o site tem levado muito tempo para responder às solicitações.
  • Caso sua taxa de erros do servidor tenha aumentado, o Googlebot acabará desacelerando as solicitações para não sobrecarregar seu servidor.
  • Certifique-se de que você não reduziu a taxa de rastreamento máximo preferido.
  • Se um site contém informações que mudam com menos frequência ou não é de alta qualidade, ele pode não ser rastreado com tanta frequência. Analise bem seu site, peça feedback neutro de pessoas não associadas a ele e pense em como ou onde fazer melhorias.

Totais de rastreamento muito mais altos que os registros de rastreamento ou que o total da seção de detalhamento

A contagem total de rastreamentos pode parecer muito maior que os totais das seções de detalhamento das solicitações (por resposta, por tipo etc.) nos casos em que o Google não consegue rastrear o site porque o arquivo robots.txt está indisponível por muito tempo. Nessas circunstâncias, o Google conta os rastreamentos que poderia ter feito se o arquivo robots.txt estivesse disponível, mas não faz essas chamadas de fato. Verifique o status de busca do robots.txt para confirmar se esse é o problema.

Isso foi útil?
Como podemos melhorá-lo?