Herramienta SEO gratuita · SEO técnico
Probador y validador de robots.txt
Lee el robots.txt de un sitio como lo hacen los buscadores: si Googlebot y los rastreadores de IA pueden rastrearlo, qué sitemaps declara y si una ruta que elijas está permitida.
- SUPERADA GooglebotPuede rastrear la página de inicio
- ADVERTENCIA /blog/Bloqueado para todos los rastreadores
- NOTA Rastreadores de IAGPTBot y CCBot bloqueados
- NOTA Crawl-delayIgnorado por Google
- SUPERADA SitemapUn sitemap declarado
¿Qué analiza el Probador de robots.txt gratuito?
-
1
Disponibilidad
Si /robots.txt responde 200 o 404. Los errores del servidor hacen que Google pause el rastreo de todo el sitio.
-
2
Googlebot
Si el rastreador de Google puede acceder a tu página de inicio: el error más caro que puede cometer un robots.txt.
-
3
Cualquier ruta, cualquier bot
Introduce una ruta y un user-agent para ver qué regla se aplica, con la misma lógica de coincidencia más larga que Google.
-
4
Rastreadores de IA
Qué bots conocidos de entrenamiento y búsqueda de IA están bloqueados, para que decidas a propósito.
-
5
Sitemaps
Líneas Sitemap y si son URL absolutas que los buscadores pueden usar.
-
6
Sintaxis y límites
Líneas que Google no entiende, reglas que ignora como crawl-delay y noindex, y el límite de 500 KiB.
Cómo configurar robots.txt
-
1
Sírvelo en la raíz
Texto plano en /robots.txt en cada host, con respuesta 200, o 404 si no tienes reglas.
-
2
Bloquea el rastreo, no la indexación
Para ocultar una página de los resultados, permite el rastreo y añade noindex en su lugar. Comprobador de meta etiquetas →
-
3
No bloquees CSS ni JavaScript
Google renderiza las páginas; los archivos bloqueados pueden hacer que le parezcan rotas.
-
4
Mantén las reglas específicas
Gana la ruta coincidente más larga, así que un Disallow corto puede bloquear más de lo que querías.
-
5
Declara tu sitemap
Añade una línea Sitemap con la dirección completa https://. Buscador y validador de sitemaps →
-
6
Decide por separado sobre los bots de IA
Los rastreadores de entrenamiento y los de búsqueda con IA tienen nombres distintos: bloquea solo lo que quieras.
Cómo interpretar tus resultados
- PROBLEMA
- Un fallo claro que normalmente merece corregirse, p. ej. un título que falta o un estado distinto de 200.
- ADVERTENCIA
- Puede ser un problema según la página, p. ej. una descripción o canonical que falta, o un título largo.
- SUPERADA
- Revisado y parece correcto.
- NO COMPROBADO
- No forma parte de esta comprobación o el sitio lo bloqueó. El informe indica cuál de las dos cosas; nunca se cuenta como fallo.
Probador de robots.txt vs. Website Audit vs. SEO Monitor
Probador de robots.txt
Una URL · gratis · sin cuenta
Qué rastreadores (buscadores y bots de IA) pueden rastrear tu sitio; prueba cualquier ruta.
Estás aquíAuditoría web
Muchas páginas · rastreo rápido gratuito
Rastrea un conjunto limitado de páginas y agrupa los problemas de todo tu sitio, como títulos duplicados y posibles páginas huérfanas.
Hacer una auditoría del sitio web →Monitor SEO
Datos conectados · cuenta
Usa tu Search Console y GA4 para seguir clics, consultas y cambios a lo largo del tiempo.
Descubrir SEO Monitor →FAQ
Preguntas frecuentes
Sobre Probador de robots.txt.
01
¿Bloquear una página la elimina de Google?
No. robots.txt detiene el rastreo, no la indexación. Para mantener una página fuera de los resultados, permite el rastreo y añade noindex.
02
¿Debería bloquear los rastreadores de IA?
Tú decides. Bloquear los bots de entrenamiento mantiene tu contenido fuera de futuros modelos; bloquear los bots de búsqueda con IA también te deja fuera de sus respuestas.
03
¿Dónde debe estar robots.txt?
En la raíz de cada host: https://example.com/robots.txt. Cada subdominio necesita su propio archivo; uno dentro de una carpeta se ignora.
04
¿Y si robots.txt devuelve un error del servidor?
Google trata una respuesta 5xx como «no rastrees nada» y pausa el rastreo del sitio. Un 404 está bien: significa que no hay reglas.
05
¿Google admite crawl-delay?
No. Google ignora crawl-delay. Algunos otros buscadores todavía lo leen.
06
¿Qué regla gana cuando coinciden dos?
La más específica: la regla con la ruta coincidente más larga. Si Allow y Disallow tienen la misma longitud, gana Allow.
07
¿Es gratis?
Sí. No necesitas cuenta. Limitamos la frecuencia con la que un visitante puede hacer comprobaciones para que las herramientas sigan siendo rápidas para todos.
