La web le puso precio al crawling de IA: qué significa que tu CDN decida por ti

Desde el 15 de septiembre, Cloudflare bloqueará por defecto los crawlers de IA de uso mixto en páginas con publicidad, y su marketplace ya no cobra por visita sino por uso del contenido. Para un medio es una fuente de ingreso; para una marca puede ser desaparecer de las respuestas de la IA sin haberlo decidido. Revisa quién está tomando esa decisión por ti.

¿Qué anunció Cloudflare exactamente?

El 1 de julio de 2026 — un año exacto después de su primer movimiento contra el crawling gratuito — Cloudflare anunció dos cambios. El primero: a partir del 15 de septiembre de 2026, los crawlers de IA de "uso mixto" (los que combinan búsqueda, agentes y entrenamiento en un mismo bot) quedan bloqueados por defecto en páginas que muestran publicidad. El default aplica a clientes nuevos, sitios nuevos de clientes existentes y a todos los clientes del plan gratuito; los planes pagos con reglas ya personalizadas no cambian automáticamente.

El segundo cambio es de modelo de negocio: Pay Per Crawl — el marketplace que desde julio de 2025 permitía cobrar por cada acceso de un crawler — evoluciona a Pay Per Use. El sitio ya no cobra por la descarga, sino cuando su contenido genera valor: cuando aparece en los resultados de un motor de IA o cuando un asistente accede a una pieza premium. Los primeros socios del programa son Ceramic.ai y You.com.

Cloudflare también publicó el dato que justifica el endurecimiento: más del 50% del tráfico de los crawlers de IA se gasta en re-descargar páginas que no cambiaron — ancho de banda y cómputo que paga el sitio, no el bot.

El movimiento no es aislado, es la evolución de un año. El 1 de julio de 2025 Cloudflare declaró su "Content Independence Day": empezó a bloquear por defecto a los crawlers de IA conocidos para los dominios nuevos que se registraban, y lanzó Pay Per Crawl en beta. El anuncio de 2026 extiende ese default a todos los clientes del plan gratuito y a las páginas con publicidad, y convierte el marketplace de "cobrar por rastreo" en "cobrar por uso". La dirección es consistente: cerrar la puerta por defecto y monetizar la que se abre.

¿Por qué importa más que una noticia de infraestructura?

Porque Cloudflare no es un actor más: es el proxy de una fracción enorme de la web. Según W3Techs, en junio de 2026 Cloudflare estaba delante del 23,4% de todos los sitios web — más de 41 millones de dominios — y ve cerca del 20% del tráfico global de internet. Cuando un actor de ese tamaño cambia un default, ese default se convierte en el comportamiento efectivo de millones de sitios cuyos dueños nunca abren la configuración. Con el default anterior —"dejar pasar"— los motores de IA leían la web casi completa. Con el nuevo —"bloquear"— la web legible para la IA se encoge, sitio por sitio, sin que la mayoría haya tomado una decisión consciente.

Es la misma tensión del opt-out de AI Overviews que analizamos cuando lo ordenó el regulador británico, pero desde la capa de infraestructura: el control sobre quién lee tu contenido se está volviendo explícito, granular y — cada vez más — económico. La diferencia es quién decide. En Search Console decides tú; en tu CDN, si no configuras nada, decide el default.

¿Cuánto toman los crawlers de IA y cuánto devuelven?

El endurecimiento no salió de la nada: responde a un desbalance que la propia red de Cloudflare mide. Su herramienta Radar publica el crawl-to-refer ratio — cuántas páginas rastrea un bot por cada visita que devuelve al sitio de origen. Las cifras de mayo de 2026 son brutales: el crawler de Anthropic (Claude) rastreaba unas 10.300 páginas por cada referral que enviaba de vuelta; el GPTBot de OpenAI, unas 904; el de Perplexity, unas 193. Google, en cambio, devuelve tráfico casi a la par de lo que rastrea —cerca de 5 a 1— porque su crawler todavía alimenta la búsqueda tradicional que sí manda clicks.

A ese desbalance se suma para qué se usa el rastreo. Cloudflare atribuyó el 51,8% de las requests de crawlers de IA a entrenamiento en mayo de 2026, y otro 35,7% a uso mixto —entrenamiento más retrieval—: exactamente los "crawlers de uso mixto" que el nuevo default bloquea. El rastreo puramente de búsqueda, el único que podría mandarte una cita con click, es apenas el 9,3%. Dicho de otro modo: la mayoría de los bots que hoy leen tu sitio no lo hacen para recomendarte, sino para entrenar un modelo que quizás nunca te nombre.

¿A quién le conviene cobrar y a quién le conviene abrir?

El framework es el mismo que para el opt-out de Google, con una variable nueva: el ingreso directo. Un medio de suscripción o un catálogo de contenido premium tiene ahora un mecanismo real para monetizar el acceso de la IA — Pay Per Use convierte el crawling en una línea de ingreso, no solo en un costo evitado. Para ellos, bloquear y cobrar es coherente.

Una marca que vende productos o servicios está en el negocio contrario: su contenido existe para ser encontrado, citado y recomendado. Cada crawler bloqueado es un motor donde la marca no puede aparecer — y donde su competencia sí. Para el segmento B2B y el ecommerce, el default correcto es casi siempre el inverso al que Cloudflare está instalando: crawlers de motores de respuesta abiertos, con monitoreo de qué leen y qué citan.

¿Qué cambia para los sitios de LatAm?

El detalle que más importa en la región está en la letra chica del anuncio: el default nuevo aplica a todos los clientes del plan gratuito. Ese es el plan típico de las pymes, los medios independientes y buena parte de los sitios corporativos de LatAm. Un sitio hispanohablante que usa Cloudflare gratis y nunca abrió la sección de configuración de crawlers va a amanecer el 15 de septiembre bloqueando motores de IA — sin haberlo decidido y probablemente sin enterarse.

El contexto agrava el efecto: el contenido en español ya es escaso para los motores — 6,0% del contenido web, contra 49,7% en inglés según W3Techs — y cada sitio regional que se vuelve ilegible para la IA adelgaza aún más el corpus del que los modelos aprenden sobre marcas, productos y categorías de la región. La ventana que esto abre es simétrica: si una parte de tu categoría queda bloqueada por defecto, el share-of-voice que dejan vacante lo hereda quien sí decidió estar.

Qué hacer esta semana

1. Audita tu configuración actual: robots.txt (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot son agentes distintos) y la sección de AI Crawl Control de tu CDN. Documenta qué está permitido, qué está bloqueado y por qué.
2. Si usas el plan gratuito de Cloudflare, decide antes del 15 de septiembre: revisa los defaults nuevos y ajústalos a tu negocio — abiertos si necesitas ser citado, cerrados o cobrando si vendes contenido.
3. Mide tu dependencia por motor: qué porcentaje de tus prompts de categoría te cita hoy cada motor, y qué pasaría con esa cobertura si uno de ellos deja de poder leerte.
4. Si eres un medio o tienes contenido premium, evalúa Pay Per Use con números reales: cuánto tráfico de crawlers recibes, qué fracción re-descarga contenido sin cambios y cuánto vale ese acceso en tu categoría.

Preguntas frecuentes