Robots.txt para bots de IA: qué permitir y qué bloquear

Si quieres que tu SaaS aparezca en las respuestas de ChatGPT, Claude o Perplexity, permite en robots.txt el rastreador de búsqueda de cada empresa. Si además quieres que tus páginas queden fuera del entrenamiento de modelos, bloquea el rastreador de entrenamiento por separado. Los dos trabajos usan bots distintos, así que puedes hacer las dos cosas.

Muchos fundadores oyen «bloquear bots de IA» y cierran la puerta de golpe. Eso suele sacarte también de la búsqueda con IA. Así se separa bien la decisión.

1¿Por qué las empresas de IA usan más de un rastreador?

Cada empresa separa tres trabajos: recopilar contenido para entrenar, indexar páginas para responder búsquedas y abrir una página porque una persona acaba de preguntar por ella. La propia documentación de los proveedores lo dice, y los nombres de los bots corresponden a esos trabajos.

Trátalos como tres decisiones:

1. Entrenamiento. ¿Dejas que la empresa aprenda de tus páginas?
2. Indexación para búsqueda. ¿Quieres ser una fuente en sus respuestas?
3. Peticiones de usuario. ¿Puede su asistente abrir tu página cuando alguien pega un enlace o pregunta por ti?

2¿Qué dice la documentación de rastreo de OpenAI?

La visión general de rastreadores de OpenAI enumera tres user agents:

• GPTBot sirve para entrenamiento. Si lo bloqueas, OpenAI tiene que dejar de usar tu contenido para entrenar sus modelos base.
• OAI-SearchBot controla la búsqueda. Los sitios que se niegan no aparecerán en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación normales.
• ChatGPT-User gestiona las consultas que inicia un usuario. OpenAI dice que no se usa para el rastreo automático y, como lo dispara una persona, es posible que las reglas de robots.txt no se apliquen.

Dos apuntes prácticos de esos mismos documentos: un cambio en robots.txt puede tardar unas 24 horas en surtir efecto en la búsqueda, y los ajustes de GPTBot y de OAI-SearchBot son independientes. Así que «permitir búsqueda, bloquear entrenamiento» es una configuración admitida.

3¿Y ClaudeBot, de Anthropic?

El centro de ayuda de Anthropic sobre sus rastreadores también describe tres bots:

• ClaudeBot recopila contenido web público que puede alimentar el entrenamiento de modelos.
• Claude-SearchBot analiza páginas para mejorar la relevancia de los resultados de búsqueda. Bloquearlo puede reducir tu visibilidad ahí.
• Claude-User abre páginas cuando alguien le pregunta algo a Claude. Bloquearlo puede reducir tu visibilidad en la búsqueda que dirige el usuario.

Anthropic dice que sus bots respetan robots.txt, admiten la directiva no estándar Crawl-delay y no intentan saltarse los CAPTCHA. Las reglas se aplican por nombre de host, así que repítelas en cada subdominio que te importe.

4¿Y Perplexity?

La documentación de rastreadores de Perplexity recomienda permitir PerplexityBot en robots.txt si quieres aparecer en sus resultados. Dice que PerplexityBot sirve para mostrar sitios en sus resultados de búsqueda, no para entrenar modelos base. También lista Perplexity-User, que abre páginas cuando una persona hace una pregunta. Como la petición la hace un usuario, Perplexity afirma que este recuperador normalmente ignora robots.txt. Publica los rangos de IP de ambos, algo útil si filtras el tráfico en el cortafuegos.

5¿Qué configuración le sirve a un SaaS?

Un resumen de las tres opciones habituales:

Nosotros elegiríamos la primera fila para la mayoría de productos en fase temprana. Un SaaS joven gana mucho más con que lo mencionen que escondiendo una web de marketing que ya es pública. La excepción es un sitio cuyo valor es el propio contenido, como una biblioteca de investigación de pago. Entonces bloquea el entrenamiento y protege lo bueno detrás de un acceso.

Un ejemplo de robots.txt

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

Revisa los nombres actuales de cada user agent en la documentación del proveedor antes de pegar esto, porque los nombres y los productos cambian.

6¿Cómo compruebas que funciona?

1. Abre tudominio.com/robots.txt y confirma que el archivo carga con estado 200, y no con una redirección a una página de inicio de sesión.
2. Espera un día. OpenAI dice que la búsqueda puede tardar unas 24 horas en recoger un cambio en robots.txt.
3. Revisa los registros del servidor o el panel del CDN buscando las cadenas de user agent. Si un bot que bloqueaste sigue entrando, compara su IP con la lista publicada por el proveedor.
4. Hazle a los asistentes una pregunta que solo tu web pueda responder y mira si te citan.

Robots.txt es una petición, no una cerradura. Lo que de verdad no puedas permitirte filtrar tiene que ir detrás de un login. Para revisar el resto de tu configuración técnica, prueba las herramientas SEO gratuitas de Woodander y explora más guías en el centro de SEO y visibilidad en IA.

7Preguntas frecuentes

¿Bloquear GPTBot te saca de la búsqueda de ChatGPT?

No. Según la documentación de OpenAI, la visibilidad en la búsqueda la controla OAI-SearchBot, y sus ajustes son independientes de GPTBot.

¿Permitir los bots de búsqueda garantiza que te citen?

No. El acceso solo te hace elegible. Las páginas claras, los datos concretos y una audiencia real siguen decidiendo si te mencionan.

¿Los bots que actúan por petición del usuario obedecen robots.txt?

No de forma fiable. OpenAI dice que las reglas de robots.txt podrían no aplicarse a ChatGPT-User, porque la petición la inicia una persona. Perplexity dice que Perplexity-User normalmente ignora robots.txt por el mismo motivo, así que protege las páginas sensibles con acceso en lugar de confiar en una línea Disallow.

¿Cada cuánto debo revisar este archivo?

Cada trimestre basta para la mayoría de equipos. Los proveedores añaden y renombran bots, así que revisa sus documentos y tus registros cuando lo hagas.

¿Quieres que la gente encuentre tu producto mientras ordenas esto? Publícalo en Discover y mira quién más está lanzando en tu sector.