Robots.txt para ChatGPT, Claude, Perplexity y Gemini: qué robot dejar pasar

Qué hace robots.txt y qué no

Es un archivo de texto en la raíz de tu web (tuweb.com/robots.txt) con reglas para cada robot: a quién le aplica (User-agent) y qué partes no puede visitar (Disallow) o sí (Allow). Los robots que lo respetan lo leen antes de recorrer tu web.

• Cada robot sigue las reglas de los grupos que lo nombran y, solo si no hay ninguno, las de User-agent: *. Así lo define el estándar de robots.txt, el RFC 9309, que sigue Google. Si creas un grupo para GPTBot, GPTBot deja de mirar las reglas de *.
• No sirve para esconder una página de los resultados. Google explica en su introducción a robots.txt que no es un mecanismo para dejar una página fuera de Google: si otros sitios la enlazan, puede aparecer igual. Para eso está la etiqueta noindex, y el robot tiene que poder entrar a la página para verla. OpenAI dice lo mismo para la búsqueda de ChatGPT en sus preguntas frecuentes para editores.

Qué robot usa cada uno

OpenAI

Según su página sobre sus robots:

• OAI-SearchBot muestra sitios en la búsqueda de ChatGPT. Si lo bloqueas, tu web no aparece en esas respuestas, aunque puede seguir saliendo como enlace de navegación. Los cambios en robots.txt tardan unas 24 horas en aplicarse.
• GPTBot recoge contenido que puede usarse para entrenar sus modelos. Bloquearlo indica que no quieres que tu contenido se use para eso, y no te saca de la búsqueda de ChatGPT.
• ChatGPT-User visita una página cuando lo pide una persona, por ejemplo dentro de una conversación. No recorre la web solo ni decide si apareces en la búsqueda. OpenAI aclara que, como lo pide una persona, las reglas de robots.txt pueden no aplicarse.

Anthropic

Según su artículo de ayuda sobre sus robots:

• ClaudeBot recoge contenido que puede usarse para entrenar sus modelos.
• Claude-SearchBot recorre la web para mejorar la calidad de las búsquedas de Claude. Si lo bloqueas, tu web puede perder visibilidad en esas respuestas.
• Claude-User abre una página cuando una persona le hace una pregunta a Claude. Si lo bloqueas, Claude no puede traer tu página en esos pedidos.
• Anthropic dice que sus robots respetan robots.txt, y que bloquear sus direcciones IP no es una forma segura de excluirte, porque el robot puede dejar de leer el archivo. Las reglas van en el robots.txt de cada subdominio.

Perplexity

Según su página sobre sus robots:

• PerplexityBot muestra y enlaza sitios en los resultados de Perplexity. No se usa para recoger contenido para modelos base de IA.
• Perplexity-User abre una página cuando una persona hace una pregunta, para responder con precisión y enlazarla. Como lo pide una persona, en general no sigue las reglas de robots.txt.
• Los cambios pueden tardar hasta 24 horas.

Google

• Googlebot controla cómo se rastrea tu web para la búsqueda de Google, incluidos los AI Overviews y el modo IA. Si lo bloqueas, desapareces también de ahí.
• Google-Extended no es un robot: es un nombre que puedes usar en robots.txt para decidir si el contenido que Google rastrea puede usarse para entrenar las próximas versiones de Gemini y para que las apps de Gemini y Vertex AI basen sus respuestas en él. Según su lista de robots, no afecta si apareces en la búsqueda de Google ni tu posición.
• Los "fetchers activados por usuarios", como Google-Agent (agentes que navegan y hacen acciones a pedido de una persona), en general no siguen robots.txt, porque los pidió alguien. Están en su lista de fetchers.

Cuál conviene dejar pasar

• Si quieres que la IA te recomiende y cite tu web: deja pasar a los de búsqueda y a los que abren enlaces a pedido de una persona: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot y Googlebot.
• Si no quieres que tu contenido entrene modelos: puedes bloquear GPTBot, ClaudeBot y Google-Extended. No te saca de la búsqueda de ChatGPT, de la de Claude ni de la de Google, porque usan otros robots. El matiz está en Gemini: como Google-Extended también decide si las apps de Gemini basan sus respuestas en tu contenido, bloquearlo puede hacer que Gemini use menos tu web.
• Lo que casi nunca conviene: User-agent: * con Disallow: /. Bloquea a todos los robots que lo respetan, incluido Googlebot. A veces queda de cuando la web estaba en construcción.

Ejemplos

Dejar pasar a todos (es lo mismo que no tener reglas):

User-agent: *
Allow: /

Sitemap: https://tuweb.com/sitemap.xml

Aparecer en las búsquedas con IA, pero no entrenar modelos:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://tuweb.com/sitemap.xml

El error que te saca de todo (no lo uses en una web publicada):

User-agent: *
Disallow: /

Cambia https://tuweb.com por la dirección de tu web. Si tu web está en una plataforma que arma el robots.txt por ti, busca en su configuración dónde se editan estas reglas.

Cómo revisarlo

1. Abre tu robots.txt en el navegador: tuweb.com/robots.txt. Si no existe, todos los robots pueden entrar.
2. Pasa tu web por ¿Google y la IA pueden leer tu web?, nuestra herramienta gratis y sin registro. Te muestra si tu robots.txt deja entrar a Googlebot, OAI-SearchBot, GPTBot, ClaudeBot, Claude-SearchBot, PerplexityBot y Google-Extended. Los robots que abren enlaces a pedido de una persona todavía no los revisa: míralos en el archivo.
3. Espera un día después de cambiarlo. OpenAI y Perplexity dicen que los cambios pueden tardar hasta 24 horas.

Que los robots puedan entrar es el primer paso. Si además tu web se arma con JavaScript, puede que les llegue vacía: lo explicamos en tu web hecha con IA no aparece en Google ni en ChatGPT. Y para lo demás que pesa en las respuestas de la IA, sigue con cómo aparecer en ChatGPT.