Gerador de Robots.txt

Crie um arquivo robots.txt personalizado para seu site. Controle facilmente quais robôs de busca (crawlers) podem ou não acessar partes do seu conteúdo.

Opções de Configuração
Arquivo robots.txt Gerado
Copiado!

Entendendo o Arquivo `robots.txt`

O arquivo `robots.txt` é um poderoso sinalizador para os robôs dos motores de busca. Localizado na raiz do seu site (ex: seusite.com.br/robots.txt), ele age como um guia, sugerindo quais partes do seu site os robôs devem ou não devem rastrear.

Diretivas Essenciais

  • User-agent: Especifica para qual robô (crawler) a regra se aplica. Usar * (asterisco) aplica a regra a todos os robôs. Você pode ser específico, como User-agent: Googlebot.
  • Disallow: Instrui o robô a **não rastrear** um determinado arquivo ou diretório. Por exemplo, Disallow: /admin/ impede que a pasta de administração seja rastreada.
  • Allow: Usado para permitir o rastreamento de um subdiretório dentro de um diretório que foi bloqueado. Por exemplo, se você bloqueou /privado/ mas quer permitir o acesso a /privado/publico/.
  • Sitemap: Informa aos motores de busca onde seu sitemap.xml está localizado. É uma prática altamente recomendada incluir esta linha.

`Disallow` vs. `noindex`: Uma Diferença Crucial

Importante!

Usar Disallow em um arquivo não garante que ele será removido dos resultados de busca do Google.

  • Disallow: Apenas impede o **rastreamento**. Se a sua página bloqueada tiver links de outros sites, o Google ainda pode indexá-la sem visitar o conteúdo, mostrando um resultado de busca sem descrição.
  • Meta Tag "noindex": Para garantir que uma página não seja **indexada** (ou seja, removida dos resultados de busca), você deve permitir que o Google a rastreie (não a bloqueie no robots.txt) e adicionar a seguinte tag no do seu HTML: .