Crie o arquivo robots.txt do seu site em segundos.
Regra — *
Opções adicionais
User-agent: *
Allow: /Cansado de anúncios? Assine o Premium por R$ 14,90/mês e navegue sem anúncios.
Sobre esta ferramenta
Bloquear uma página no robots.txt não garante que ela suma do Google — o arquivo apenas pede para o rastreador não visitar aquele caminho; uma URL já conhecida por outros links pode continuar aparecendo nos resultados, só sem descrição. Para tirar uma página de vez do índice, a ferramenta certa é a tag noindex ou a Google Search Console. Esta ferramenta monta o arquivo robots.txt propriamente dito: grupos de regras por user-agent, com allow, disallow e a URL do sitemap.
Como funciona
Cada grupo de regras vira um bloco User-agent com as linhas Allow e Disallow que você configurar; a URL do sitemap, quando informada, é adicionada como uma linha Sitemap ao final do arquivo.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://seusite.com.br/sitemap.xmlComo utilizar
- Escolha um preset ou configure User-agent, Allow e Disallow manualmente
- Adicione a URL do sitemap, se quiser
- Baixe o arquivo e publique na raiz do domínio
Exemplos
O preset permitir-tudo libera o site inteiro para rastreamento, o bloquear-tudo impede qualquer indexação (útil em ambientes de staging) e o wordpress já vem ajustado para o caso mais comum de CMS.
Benefícios
- Três presets prontos para os cenários mais comuns
- Regras organizadas por User-agent, sem editar texto na mão
- Arquivo pronto para baixar e publicar direto na raiz do site
Perguntas frequentes
Ferramentas relacionadas
Conclusão
Um robots.txt malfeito pode tanto liberar áreas que deveriam ficar de fora quanto bloquear sem querer páginas que você queria indexadas — revise antes de publicar.