Normalmente, quando alguém solicita uma página que não existe, um servidor retornará um erro 404 (não encontrado). Esse código de resposta HTTP diz claramente aos navegadores e aos mecanismos de pesquisa que a página não existe. Dessa forma, o conteúdo da página (se houver) não será rastreado ou indexado por mecanismos de pesquisa.
Além de retornar um código 404 em resposta a uma solicitação por uma página que não existe, o servidor também exibirá uma página 404. Pode ser uma mensagem padrão "Arquivo não localizado" ou uma página personalizada desenvolvida para oferecer informações adicionais ao usuário. O conteúdo da página não tem nenhuma relação com a resposta HTTP retornada pelo servidor. O fato de a página exibir uma mensagem 404 de "Arquivo não localizado" não significa que ela seja uma página 404. É como uma girafa com um identificador escrito "cachorro". Só porque diz que é um cachorro, não significa que realmente seja um. Do mesmo modo, só porque a página diz 404, não significa que esteja retornando um 404. Você pode utilizar o Buscar como o Googlebot (ou outras ferramentas disponíveis na web) para verificar se o URL está realmente retornando o código correto.
Retornar um código que não seja o 404 ou 410 para uma página não existente (ou redirecionar os usuários para uma outra página, como a página inicial, em vez de retornar um 404) pode ser problemático. Primeiramente, isso informa aos mecanismos de pesquisa que há uma página real nesse URL. Dessa forma, é possível rastrear esse URL e indexar o seu conteúdo. Devido ao tempo que o Googlebot gasta em páginas não existentes, os seus URLs exclusivos podem não ser descobertos tão rapidamente ou visitados com tanta frequência e a cobertura de rastreamento do seu site pode ser afetada (além disso, provavelmente você não quer que o seu site seja classificado em uma consulta de pesquisa como [Arquivo não localizado]).
Recomendamos que você sempre retorne um código de resposta 404 (Não encontrado) ou um 410 (Desaparecido) em resposta a uma solicitação por uma página não existente. É possível melhorar a experiência do usuário configurando o seu site para exibir uma página 404 personalizada ao retornar um código de resposta 404. Por exemplo, você pode criar uma página que contém uma lista das suas páginas mais populares ou criar um link para a sua página inicial ou um link de comentários. Também é possível usar o widget 404 personalizado das Ferramentas do Google para webmasters para adicionar uma caixa de pesquisa e mais opções de pesquisa ao seu site. Mas é importante lembrar que criar uma página que exibe uma mensagem 404 não é suficiente. Também é preciso retornar o código de resposta HTTP 404 ou 410 correto.