Robots.txt para la IA: qué bot bloquear y cuál conviene dejar pasar

Bloquear "a la IA" en robots.txt no es una sola decisión, son varias. OpenAI, Anthropic y Perplexity usan bots distintos para entrenar modelos, para buscar y para atender a un usuario, y Google separa el entrenamiento de Gemini de su buscador. Si bloqueas el bot equivocado, sales de las respuestas que querías conservar o sigues entregando contenido para entrenamiento que querías cerrar.

¿Qué bots usa OpenAI y para qué?

OpenAI documenta tres agentes. GPTBot recoge contenido que puede usarse para entrenar sus modelos; bloquearlo indica que tu sitio no debe usarse para ese entrenamiento. OAI-SearchBot es el que hace aparecer sitios en las funciones de búsqueda de ChatGPT: si lo bloqueas, tu sitio no se muestra en esas respuestas, aunque puede seguir apareciendo como enlace de navegación, y el cambio tarda cerca de 24 horas en aplicarse.

El tercero, ChatGPT-User, no rastrea la web de forma automática: visita una página cuando una persona se lo pide dentro de ChatGPT o de un GPT personalizado. OpenAI advierte que, como la acción la inicia un usuario, las reglas de robots.txt pueden no aplicar, y que este agente no decide si un contenido aparece en la búsqueda. Lo importante: las tres configuraciones son independientes.

¿Y Anthropic, Google y Perplexity?

Anthropic actualizó su documentación el 7 de abril de 2026. ClaudeBot recoge contenido para entrenar; bloquearlo excluye tus materiales futuros de sus datos de entrenamiento. Claude-SearchBot indexa para mejorar la búsqueda y Claude-User visita páginas cuando alguien le hace una pregunta a Claude: bloquear cualquiera de estos dos puede reducir tu visibilidad en las respuestas. Anthropic también acepta la directiva Crawl-delay y recomienda robots.txt antes que bloquear IPs.

Google separa las cosas de otra forma. Google-Extended no es un bot, sino un token de control: decide si tu contenido se usa para entrenar Gemini y para el grounding de sus respuestas, y Google afirma que no afecta tu inclusión ni tu ranking en Google Search. Perplexity, por su parte, usa PerplexityBot para enlazar sitios en sus resultados y Perplexity-User para visitas pedidas por un usuario, que generalmente ignora robots.txt.

La tabla resume lo que documenta cada empresa. Lo que importa no es el nombre del bot sino la columna de la derecha: qué pierdes si lo bloqueas. Dos de los diez no se detienen con robots.txt, y uno, Google-Extended, no protege de lo que la mayoría cree.

¿Cómo se ve un robots.txt que cierra el entrenamiento y deja la búsqueda?

Si tu objetivo es aparecer en las respuestas pero no aportar contenido al entrenamiento de modelos, la configuración base separa los dos grupos. Este ejemplo es un punto de partida: revísalo contra tu política de contenidos y contra la documentación vigente de cada empresa, que cambia con frecuencia.

# Búsqueda y respuestas: permitidos
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Entrenamiento de modelos: bloqueados
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Un caso aparte son los tres agentes de usuario: ChatGPT-User, Claude-User y Perplexity-User no rastrean la web, visitan una página cuando una persona se lo pide dentro del chat. Bloquearlos no te saca de ninguna respuesta general, pero sí de la conversación concreta en que un comprador pega tu ficha y pregunta por ella; y, como vimos, OpenAI y Perplexity advierten que sus agentes de usuario pueden no respetar la regla, mientras Anthropic sí la respeta. Por último, robots.txt no controla a tu CDN: si tu proveedor aplica reglas anti-bots, puede devolver un desafío a OAI-SearchBot aunque tu archivo lo permita. Son dos capas distintas y conviene revisarlas juntas.

¿Qué errores se repiten?

El más común es bloquear todos los bots con nombre de IA por precaución y descubrir meses después que la marca no aparece en ChatGPT ni en Perplexity. El segundo es creer que bloquear Google-Extended protege de AI Overviews: no lo hace, porque esas respuestas salen del índice de búsqueda. El tercero es suponer que robots.txt detiene a todos; los agentes que actúan por un usuario pueden no respetarlo, y para cobrar o limitar el acceso existen herramientas como el pago por rastreo de Cloudflare.

¿Qué cambia para una marca de LatAm?

En la región, Googlebot es el bot que más importa: Google concentra el 90,94% de las búsquedas de Sudamérica según StatCounter para junio de 2026, así que bloquearlo nunca es opción. Con los bots de IA la decisión es más fina. Revisamos el robots.txt de 30 sitios de marcas que lideran nuestros rankings de visibilidad en IA en Chile —retail, telecomunicaciones, farmacias, banca, logística, delivery, aerolíneas, educación, empleo y portales inmobiliarios— el 12 de octubre de 2026. Veintiocho publican el archivo; dos bancos no. De esos 28, solo dos nombran algún bot de IA: un marketplace que cierra la puerta a GPTBot, ClaudeBot, PerplexityBot y a los tres agentes de usuario con un Disallow: /, pero no menciona a OAI-SearchBot, así que sigue en la búsqueda de ChatGPT; y una cadena de mejoramiento del hogar que solo bloquea a CCBot. Los otros 26 no dicen nada y tienen la regla general abierta: dejan pasar a todos, incluido el entrenamiento, sin haberlo decidido. Es la foto típica de la región: la decisión existe, pero casi nadie la tomó. Antes de copiar una plantilla, mira tu archivo actual y tus registros de servidor.

Una última nota sobre el orden del archivo: cada bot obedece el bloque que lleva su nombre y, si no existe, el bloque general. Un User-agent: * con Disallow: / no cierra la puerta a OAI-SearchBot si más abajo hay un bloque propio que lo permite, y al revés: un permiso general no abre lo que un bloque específico cierra. Antes de publicar, prueba el archivo con el informe de robots.txt de Search Console y guarda una copia fechada. Los bots cambian de nombre y de función, y conviene saber exactamente qué permitías el día en que tu visibilidad cambió.

Qué hacer esta semana

1. Abre tu robots.txt y lista qué bots de IA aparecen y con qué regla.
2. Decide por separado qué hacer con los bots de entrenamiento y con los de búsqueda.
3. Si quieres aparecer en ChatGPT, Claude y Perplexity, confirma que OAI-SearchBot, Claude-SearchBot y PerplexityBot no estén bloqueados.
4. Revisa tus registros de servidor durante una semana para ver qué bots te visitan de verdad.
5. Si usas un CDN o un firewall de aplicaciones, revisa sus reglas de bots por separado: robots.txt no las controla y un desafío anti-bots deja fuera al crawler de búsqueda aunque tu archivo lo permita.

Preguntas frecuentes