Cloudflare, la firma encargada de gestionar la seguridad y el tráfico de numerosos sitios web a nivel global, ha establecido un ultimátum para las compañías de inteligencia artificial. A partir del 15 de setiembre de 2026, estas empresas deberán clasificar sus rastreadores, que son los programas que recorren internet para recolectar información, de acuerdo al uso que les dan. De lo contrario, quedarán bloqueados por defecto.
Según un informe de TechCrunch, a partir de la fecha mencionada, los rastreadores de «uso mixto» —que combinan búsqueda tradicional, agentes de IA y entrenamiento de modelos en un solo bot— se verán automáticamente bloqueados en todos los sitios que contienen publicidad. Esta medida impacta no solo a nuevos clientes de Cloudflare, sino también a los sitios nuevos de clientes existentes y a todos los usuarios del plan gratuito.
La razón detrás de esta decisión es clara: la mayoría de los propietarios de sitios web desean que su contenido sea accesible en buscadores y servicios de IA, pero no están dispuestos a permitir que su propiedad intelectual sea utilizada sin compensación. Cloudflare ha apuntado a «el motor de búsqueda más grande del mundo», en clara alusión a Google, afirmando que esta compañía accede a aproximadamente el doble de información que otros competidores en el ámbito de IA, debido a que dificulta que los sitios sean descubiertos sin que su contenido sea empleado para el entrenamiento de modelos.
En respuesta a críticas anteriores, Google ya había presentado soluciones. La empresa ofrece un bot llamado Google Extended, que permite a los sitios web excluirse del uso de su contenido para el entrenamiento de productos como Gemini o Vertex API, sin que esto afecte su posición en los resultados de búsqueda. Sin embargo, el Googlebot principal continúa rastreando para Search, abarcando funciones de IA como AI Overviews y AI Mode.
Matthew Prince, cofundador y CEO de Cloudflare, expresó: «Ahora que la mayoría del tráfico en internet es no humano, debemos ir más lejos y actuar más rápido para que pueda surgir un ecosistema sostenible», haciendo referencia a un hito reciente donde, por primera vez, el tráfico generado por bots superó al generado por personas, algo que se preveía para el año próximo.
Este anuncio también trae consigo la evolución de una herramienta existente. El marketplace Pay Per Crawl, que permitía a los sitios cobrar a los bots de IA cada vez que accedían a su contenido, ahora se transformará en «Pay Per Use». Esto significa que los editores cobrarán cuando su contenido genera un valor real, no simplemente cuando es descargado. Cloudflare indica que más del 50% del tráfico de rastreo de bots de IA se desperdicia en volver a descargar páginas que no han cambiado, lo que representa un gasto innecesario de ancho de banda y recursos de cómputo para los sitios.
En una primera etapa, Cloudflare colabora con dos socios para implementar este nuevo modelo: Ceramic.ai y You.com. Cada vez que un editor participa en el programa, recibe un pago cuando su contenido aparece en los resultados de búsqueda de Ceramic o cuando You.com accede a alguno de sus contenidos premium. Otras empresas de IA también podrán adaptar este modelo a sus propias operaciones, según indicó la compañía.
Con información de Montevideo Portal
