Analisador e Editor de Robots.txt Online
Analise, edite e valide seu arquivo robots.txt com nosso editor inteligente. Traduza as regras para português e teste se suas URLs estão bloqueadas ou permitidas.
As explicações de cada regra aparecerão aqui.
O que é o `robots.txt` e para que serve?
O `robots.txt` é um arquivo de texto simples, mas poderoso, localizado na raiz de um site. Sua principal função é instruir os robôs de busca (como o Googlebot) sobre quais páginas, arquivos ou seções do site eles têm permissão para rastrear e quais devem ignorar. É a primeira parada de um robô ao visitar seu site.
Sintaxe Essencial: Entendendo as Diretivas
Nossa ferramenta traduz a maioria das diretivas para você. As mais importantes são:
- User-agent: Especifica a qual robô a regra se aplica.
User-agent: *
se aplica a todos os robôs. Você também pode especificar robôs, comoGooglebot
ouGPTBot
. - Disallow: Proíbe o rastreamento do caminho especificado.
Disallow: /privado/
impede que o robô acesse qualquer URL que comece com/privado/
. - Allow: Permite explicitamente o rastreamento. É útil para criar exceções a uma regra
Disallow
. Por exemplo, bloquear uma pasta inteira mas permitir um arquivo específico dentro dela. - Sitemap: Informa a localização do seu sitemap XML, ajudando os robôs a descobrir todas as suas páginas importantes.
`Disallow` apenas impede o rastreamento (a visita do robô). Se uma página bloqueada receber links de outros sites, o Google pode optar por indexá-la sem visitar seu conteúdo. Para garantir que uma página não apareça nos resultados de busca, use a meta tag `noindex`. Você pode verificar suas meta tags com nosso Analisador de Meta Tags.
Erros Comuns a Evitar
- Caminhos Incorretos: Lembre-se que as regras são sensíveis a maiúsculas e minúsculas e devem sempre começar com uma
/
. - Bloquear CSS ou JS: Bloquear arquivos de CSS e JavaScript pode impedir que o Google renderize sua página corretamente, prejudicando seu ranking. Use nosso Analisador de Performance para ver todos os ativos que sua página carrega.
- Esquecer o Sitemap: Sempre inclua a URL completa do seu sitemap para facilitar a descoberta de conteúdo.
- Não Testar: Antes de enviar o arquivo para seu servidor, sempre teste suas regras mais importantes para garantir que você não está bloqueando conteúdo essencial acidentalmente.