Feedfetcher

Com o Feedfetcher, o Google busca feeds RSS ou Atom para o Google Play Banca e o PubSubHubbub (página em inglês). O Feedfetcher coleta e atualiza periodicamente esses feeds iniciados pelo usuário, mas não os indexa na Pesquisa Google de Blogs nem nos outros serviços de pesquisa do Google. Os feeds só aparecerão nos nossos resultados da pesquisa se tiverem sido rastreados pelo Googlebot. Veja abaixo as respostas para algumas das perguntas mais frequentes sobre o funcionamento dessa captura de feed controlada pelo usuário.


Como solicito que o Google não busque alguns ou todos os feeds do meu site?

Quando usuários adicionam um serviço ou aplicativo que usa dados do Feedfetcher, o Feedfetcher do Google tenta acessar o conteúdo do feed para exibi-lo. Como as solicitações do Feedfetcher são iniciadas por ações explícitas de usuários humanos e não por rastreadores automáticos, o Feedfetcher não segue as diretrizes de robots.txt.

Caso o feed esteja disponível publicamente, o Google não pode impedir o acesso dos usuários. Uma solução para isso é configurar seu site para exibir uma mensagem de status de erro 404, 410 ou similar ao user-agent Feedfetcher-Google.

Se seu feed for fornecido por um blog ou por um serviço de hospedagem de site, trabalhe diretamente com esse serviço para restringir o acesso a ele.

Com que frequência o Feedfetcher recupera meus feeds?

Em média, na maioria dos sites, o Feedfetcher não recupera feeds mais de uma vez por hora. Talvez alguns sites atualizados frequentemente sejam recuperados com mais frequência. No entanto, devido aos atrasos da rede, pode parecer que o Feedfetcher recupera seus feeds com mais frequência em alguns momentos.

Por que o Feedfetcher está tentando fazer o download de links incorretos do meu servidor ou de um servidor que não existe?

O Feedfetcher recupera feeds ao receber solicitações de serviços ou aplicativos instalados por usuários. É possível que o usuário tenha solicitado um local do URL do feed que não existe.

Por que o Feedfetcher está fazendo o download de informações do nosso servidor da Web "secreto"?

O Feedfetcher recupera feeds ao receber solicitações de serviços ou aplicativos instalados por usuários. É possível que a solicitação tenha vindo de um usuário que sabe do seu servidor "secreto" ou que o digitou por engano.

Por que o Feedfetcher não está obedecendo ao meu arquivo robots.txt?

O Feedfetcher só recupera feeds após os usuários iniciarem explicitamente um serviço ou aplicativo que solicita dados do feed. O Feedfetcher funciona como um agente direto do usuário humano, não como um robô. Por isso, ele ignora as entradas do robots.txt. Apesar disso, o Feedfetcher tem uma vantagem especial: como funciona como o agente de vários usuários, conserva largura de banda fazendo solicitações para feeds comuns somente uma vez para todos os usuários.

É possível impedir que o Feedfetcher rastreie seu site configurando o servidor para exibir uma mensagem de erro 404, 410 ou outro status desse tipo para o user agent Feedfetcher-Google.

Por que há registros de várias máquinas do Google.com, todas com o user agent Feedfetcher?

O Feedfetcher foi elaborado para ser distribuído em várias máquinas para melhorar o desempenho e a escala conforme a Web cresce. Para diminuir o uso da largura de banda, muitas vezes as máquinas usadas estão localizadas perto dos sites que recuperam na rede.

Posso saber quais são os endereços IP usados nas solicitações do Feedfetcher para filtrar meus registros?

Os endereços IP usados pelo Feedfetcher mudam periodicamente. A melhor forma de identificar os acessos feitos pelo Feedfetcher é usar seu user-agent identificável: Feedfetcher-Google.

Por que o Feedfetcher está fazendo o download da mesma página do meu site várias vezes?

Em geral, o Feedfetcher deve fazer o download de somente uma cópia de cada arquivo do seu site durante uma recuperação de feed específica. Esporadicamente, as máquinas são interrompidas e reiniciadas. Isso pode fazer com que ele recupere outra vez as páginas de acesso recente.

Que tipos de links o Feedfetcher segue?

Diferentemente dos rastreadores da Web normais, o Feedfetcher não segue links, e sim as solicitações fornecidas pelos usuários de serviços ou aplicativos que usam o próprio Feedfetcher.

Minha pergunta sobre o Feedfetcher não foi respondida aqui. Onde posso procurar ajuda?

Se você ainda está com problemas, poste sua dúvida no fórum (em inglês) do Search Console.

Isso foi útil?
Como podemos melhorá-lo?