Cloudflare, uno de los mayores distribuidores de contenido en internet, anunció que desde este martes bloqueará por defecto el acceso de bots de inteligencia artificial a los sitios que utilicen sus servicios, salvo que el dueño del sitio autorice expresamente lo contrario o acuerde una compensación económica.

La medida alcanza a todos los nuevos dominios que se registren en la plataforma y podría alterar la dinámica de entrenamiento de modelos como los desarrollados por OpenAI y Google. Según datos de la propia empresa, su red gestiona aproximadamente el 16% del tráfico mundial.

“Los crawlers de IA han estado extrayendo contenido sin límites. Nuestro objetivo es devolverle el poder a los creadores, sin frenar la innovación”, afirmó Matthew Prince, cofundador y CEO de Cloudflare. Y agregó: “Esto se trata de resguardar el futuro de un internet libre y vibrante con un nuevo modelo que funcione para todos”.

¿Qué son los crawlers de IA?

Se trata de bots automatizados diseñados para recolectar grandes volúmenes de información pública de sitios web y otras fuentes, con el fin de alimentar modelos de lenguaje. A diferencia de los tradicionales motores de búsqueda, estos bots procesan textos, imágenes y artículos sin necesidad de redirigir tráfico hacia los creadores originales, según advirtió Cloudflare. El resultado: pérdida de visitas y caída de ingresos publicitarios para los sitios que producen contenido.

En septiembre pasado, la firma ya había lanzado una herramienta que permitía bloquear estos bots con un solo clic. La novedad de esta semana es que el bloqueo se aplicará de forma predeterminada en todos los nuevos sitios que usen su red de distribución.

Además, Cloudflare presentó un modelo de acceso “pay per crawl”, que permitiría a los editores cobrar por cada instancia en que sus sitios sean rastreados por bots de IA.

La reacción de Open AI

OpenAI, respaldada por Microsoft, rechazó participar en la etapa de prueba de este nuevo esquema. La empresa consideró que Cloudflare actúa como “un intermediario innecesario” y sostuvo que sus bots ya respetan el protocolo robots.txt, una norma que permite a los sitios bloquear el acceso de automatizaciones.

Consecuencias legales y operativas

Desde el estudio jurídico británico Cripps, el abogado Matthew Holman analizó el impacto de esta política: “Los crawlers de IA suelen ser más invasivos y selectivos con los datos que consumen. Se los acusa de saturar sitios y perjudicar la experiencia de usuario”.

A su juicio, si el bloqueo se aplica con eficacia, “esto dificultará la recolección de datos para entrenamiento y búsquedas, con un efecto inmediato en los modelos actuales, y consecuencias a largo plazo sobre su viabilidad”.