Robots.txt é um arquivo de texto na raiz do site que instrui os robôs de busca sobre quais partes do site podem ou não ser rastreadas. Fica sempre no mesmo endereço: seusite.com/robots.txt, e é a primeira coisa que a maioria dos rastreadores confere antes de visitar o resto do site.
Pra que ele serve de verdade
Bloquear áreas administrativas, páginas de sistema interno, ou conteúdo duplicado que não deveria competir na busca. Não serve pra esconder informação sensível: um robots.txt bloqueando uma página não impede que alguém acesse ela diretamente pelo link, só pede pros buscadores não indexarem.
O erro mais comum e mais caro
Uma linha de configuração errada, como bloquear a pasta errada ou deixar uma regra de teste em produção, pode remover o site inteiro (ou seções inteiras dele) da busca sem que ninguém perceba de imediato, porque o site continua funcionando normalmente pra visitantes humanos.
Boas práticas
- Sempre inclua a linha apontando pro sitemap XML do site.
- Teste o arquivo depois de qualquer alteração, usando as ferramentas do Search Console.
- Nunca use robots.txt como única proteção pra conteúdo que precisa ficar realmente privado.
Quer garantir que seu site não está bloqueado do Google por acidente? A gente monta o diagnóstico completo em 25 minutos, sem compromisso.
Fazer diagnóstico gratuito.webp)
Bruno Rodrigues
Fundador da Flow Company, agência de tráfego pago e automação com IA no WhatsApp. Ver perfil.