Sitemap e robots.txt: os arquivos que ajudam o Google a te achar

O sitemap é a lista das páginas do seu site que você quer que o Google encontre. O robots.txt é o aviso na porta do site, sempre na raiz do domínio, dizendo quais áreas os robôs de busca não devem visitar. Muitas plataformas geram os dois sozinhas. O seu trabalho é conferir se existem e se estão certos, e enviar o sitemap no Google Search Console.

Nenhum dos dois faz o site subir de posição. Eles ajudam o Google a encontrar as páginas e a saber o que visitar. Um robots.txt errado, por outro lado, pode esconder o site inteiro.

O que é o sitemap

É um arquivo, quase sempre em XML, com o endereço de cada página que importa e, de preferência, a data da última alteração. Cada página aparece mais ou menos assim:

<url>
  <loc>endereço completo da página</loc>
  <lastmod>2026-09-10</lastmod>
</url>

Ele ajuda mais em três situações:

• Site novo, com poucos links de outros sites apontando para ele.
• Site grande, como uma loja com centenas de produtos, em que algumas páginas ficam longe do menu.
• Site que muda muito, com produtos e posts novos toda semana.

Um site pequeno, com cinco páginas bem ligadas entre si, costuma ser encontrado mesmo sem sitemap. Ainda assim, não custa ter.

Onde encontrar o seu

No navegador, digite o seu domínio seguido de /sitemap.xml. Se não abrir, tente /sitemap_index.xml ou, no WordPress, /wp-sitemap.xml. Muitas plataformas de loja e construtores de site criam o arquivo automaticamente. No WordPress, plugins de SEO costumam trocar o sitemap nativo pelo deles. O endereço também costuma aparecer dentro do robots.txt.

O que deve e o que não deve estar nele

Entra: as páginas que você quer ver no Google, no endereço definitivo, do jeito que o site usa (com https, com ou sem www).

Não entra: páginas com noindex, endereços que redirecionam, páginas com erro, versões duplicadas, carrinho, login e resultados de busca interna.

Limite: cada arquivo aceita até 50 mil endereços ou 50 MB. Passou disso, divida em vários arquivos e junte todos num índice de sitemaps. Loja pequena não chega nem perto.

O Google usa a data de última alteração quando ela é confiável, e ignora os campos de prioridade e de frequência de atualização. Não perca tempo com eles. E não mude a data sem ter mudado a página: isso só ensina o Google a desconfiar dela.

O que é o robots.txt

É um arquivo de texto simples, sempre no mesmo lugar: o seu domínio seguido de /robots.txt. Ele diz aos robôs o que não rastrear. Um exemplo comum para loja virtual:

User-agent: *
Disallow: /carrinho
Disallow: /minha-conta
Disallow: /busca

Sitemap: [endereço completo do seu sitemap]

Traduzindo: para todos os robôs (o asterisco), não visitem carrinho, conta do cliente e busca interna. E o sitemap está naquele endereço.

O que o robots.txt não faz

Este é o ponto que mais confunde:

• Ele não tira página do Google. Bloquear uma página no robots.txt impede o robô de ler o conteúdo, mas o endereço ainda pode aparecer na busca se outros sites apontam para ele. Para tirar uma página do índice, use a tag noindex.
• Não combine os dois na mesma página. Se o robots.txt bloqueia, o Google não lê a página e nunca vê o noindex.
• Não é proteção. Qualquer pessoa pode abrir o seu robots.txt. Listar ali uma pasta "restrita" é praticamente avisar onde ela está. Área privada se protege com senha.
• Nem todo robô obedece. Os buscadores conhecidos respeitam; robôs mal-intencionados ignoram.

Os erros que escondem o site

1. Bloqueio total esquecido. Durante a construção, é comum bloquear tudo com uma barra sozinha depois de Disallow. Se isso sobrar depois do lançamento, o site inteiro fica fora. Confira depois de cada lançamento ou troca de plataforma.
2. CSS e JavaScript bloqueados. O Google precisa desses arquivos para ver a página como o visitante vê. Não bloqueie as pastas de tema e de scripts.
3. Sitemap com endereço velho. Depois de migrar de http para https ou trocar de domínio, o sitemap precisa listar os endereços novos.
4. Sitemap cheio de página com erro ou redirecionamento. O Search Console aponta isso. Limpe.
5. Dois sitemaps concorrentes, um da plataforma e outro de um plugin, com listas diferentes. Deixe um só.

Como enviar e conferir no Search Console

1. Abra o Search Console e escolha a propriedade do seu site.
2. Entre em Sitemaps, cole o endereço do sitemap e envie.
3. Volte alguns dias depois: o status deve indicar sucesso e mostrar quantas páginas foram encontradas.
4. Abra o relatório de Páginas para ver quantas delas foram indexadas e por que as outras não foram.

O Search Console também mostra, nas configurações, a versão do robots.txt que o Google leu por último e se houve erro ao ler o arquivo. Vale abrir depois de qualquer mudança.

Se você ainda não configurou a ferramenta, o passo a passo está em Google Search Console para iniciantes. Se o site nem aparece na busca, comece pelo básico para aparecer no Google.

Checklist de cinco minutos

• O endereço /robots.txt abre e não tem bloqueio total.
• O robots.txt aponta para o sitemap.
• O sitemap abre e lista as páginas principais, com os endereços atuais.
• Nenhuma página importante tem noindex.
• O sitemap foi enviado no Search Console e aparece com sucesso.

Resumo rápido

• O sitemap lista as páginas que você quer no Google; o robots.txt diz o que os robôs não devem visitar.
• Muitas plataformas geram os dois sozinhas. Confira antes de criar do zero.
• O robots.txt não tira página do índice: para isso existe o noindex, e os dois não combinam na mesma página.
• Uma barra sozinha depois de Disallow bloqueia o site inteiro, um dos erros mais caros.
• Envie o sitemap no Search Console e acompanhe o relatório de Páginas.