O que é robots.txt? Guia Completo para SEO

Aprenda o que é um arquivo robots.txt, como ele funciona e qual sua importância para o SEO. Veja exemplos de sintaxe para User-agent, Disallow, Allow e Sitemap.

O arquivo robots.txt é um dos arquivos mais simples, porém mais importantes, de um site. Ele funciona como um guia para os robôs de mecanismos de busca (como o Googlebot), indicando quais páginas ou seções do seu site eles podem ou não rastrear.

Caixa de Ferramentas robots.txt

Tire suas dúvidas e crie seu arquivo com nossas ferramentas especializadas:

Precisa criar um arquivo do zero? Use nosso Gerador de robots.txt para criar um arquivo personalizado de forma rápida e fácil.
Já tem um arquivo e quer saber o que ele faz? Use nosso futuro Analisador de robots.txt para traduzir as regras em uma explicação clara.

Como o robots.txt Funciona?

Quando um mecanismo de busca chega ao seu site, a primeira coisa que ele faz é procurar por https://www.seusite.com.br/robots.txt. Se ele encontrar o arquivo, lerá as regras (chamadas de "diretivas") para saber onde tem permissão para ir. Se não encontrar o arquivo, ele assume que tem permissão para rastrear tudo.

Importante: O robots.txt é uma diretiva, não um bloqueio de segurança. Robôs mal-intencionados podem ignorá-lo. Para proteger informações sensíveis, sempre use senhas ou outras formas de autenticação.

Sintaxe e Diretivas Principais

O arquivo é composto por uma ou mais regras. Cada regra começa com um User-agent e é seguida por diretivas como Disallow e Allow.

`User-agent`

Esta diretiva especifica a qual robô a regra se aplica. O asterisco (*) é um coringa que se aplica a todos os robôs.

# Aplica a regra para todos os robôs
				User-agent: *

				# Aplica a regra apenas para o robô do Google
				User-agent: Googlebot

`Disallow`

Instrui o robô a não rastrear um URL ou diretório específico. Tudo que vier após a barra / será bloqueado.

User-agent: *

				# Bloqueia o rastreamento da pasta /admin/ e tudo dentro dela
				Disallow: /admin/

				# Bloqueia o rastreamento de uma página específica
				Disallow: /pagina-privada.html

`Allow`

Instrui o robô a rastrear um URL ou diretório, mesmo que seu diretório pai esteja bloqueado. É útil para criar exceções.

User-agent: *

				# Bloqueia toda a pasta /privado/
				Disallow: /privado/
				# Mas permite o rastreamento de um arquivo específico dentro dela
				Allow: /privado/arquivo-publico.pdf

`Sitemap`

Embora não seja uma diretiva de bloqueio, é uma das mais importantes. Ela informa aos mecanismos de busca onde encontrar o mapa do seu site (sitemap.xml).

# Exemplo completo para um site WordPress
				User-agent: *
				Disallow: /wp-admin/
				Allow: /wp-admin/admin-ajax.php

				Sitemap: https://www.seusite.com.br/sitemap.xml