Tabla de contenidos
Ayer conocimos que Google lleva meses pagando discretamente a decenas de editores cuando su contenido contribuye de forma significativa a sus respuestas de IA. No es un movimiento aislado, sino la última pieza que define un cambio de época en la relación entre los bots de IA y nuestros contenidos. Pero vamos por partes.
No todos los bots de IA que acceden a nuestra web buscan lo mismo. Y empezar a diferenciarlos es cada vez más importante para nuestro negocio.
Hasta ahora era habitual hablar de los bots de IA como si fueran una única categoría. Básicamente, la mayoría de los sitios web los dejan pasar o los bloquean, y no hay más.
Pero algo ha empezado a cambiar.
Akamai anunció hace solo unos días que ha actualizado su directorio de bots para diferenciar el tráfico de IA en tres grandes grupos:
- Bots de entrenamiento: los que recopilan contenido para entrenar modelos de IA.
- Bots de búsqueda: los que rastrean y alimentan el índice de resultados propio de la plataforma para que un contenido pueda aparecer referenciado y enlazado en sus respuestas generativas.
- Agentes de IA: los que acceden a una web en tiempo real porque un usuario les ha pedido consultar una información, comparar productos o realizar alguna tarea.
Aunque las diferencias parecen meros matices técnicos, las consecuencias tienen un impacto muy claro. Veamos.
Podríamos, por ejemplo, no querer que algunos de nuestros contenidos (por ejemplo, los informacionales, preguntas frecuentes, estudios, análisis, etc.) se utilicen para entrenar modelos, pero sí querer que aparezcan como fuente cuando alguien pregunta por nuestros productos o servicios a ChatGPT o Perplexity. Y es probable que tampoco queramos bloquear a un agente al que un cliente ha pedido consultar nuestro catálogo, buscar un precio, comparar una solución o realizar una acción dentro de nuestra web.
Akamai facilita así un control mucho más granular para que los responsables de una web puedan decidir cuándo y cómo su contenido está accesible.
Lo más llamativo es la coincidencia temporal de esta decisión de Akamai con una serie de cambios que apuntan a que la época en que los LLMs accedían sin permiso ni control a todos los contenidos online está llegando a su fin.
En los últimos meses, un regulador la ha convertido en derecho, los grandes medios la están orientando hacia su cuenta de resultados, la propia infraestructura de la web la ha adoptado como configuración por defecto y hasta el propio Google, como veíamos al principio, ha empezado a pagar por el contenido que alimenta sus respuestas de IA.
El regulador convierte la distinción en derecho
La Competition and Markets Authority (CMA), el regulador de competencia británico, emitió el pasado 3 de junio una orden vinculante (la primera de este tipo en el mundo) que obliga a Google a ofrecer a los editores controles de exclusión separados para tres áreas de sus resultados: los AI Overviews, el AI Mode conversacional y el ajuste fino (fine-tuning) de sus modelos de IA, como Gemini. La auténtica novedad de esta orden es que obliga al buscador a que la adopción de cualquiera de estas exclusiones por parte de un medio no penalice su posicionamiento en los resultados de búsqueda tradicionales.
Hasta entonces, Google obligaba al todo o nada: o tu contenido alimentaba todas sus funciones de IA o, si implementabas el bloqueo correspondiente en robots.txt, desaparecías del buscador. La CMA ha puesto fin a este modelo y ahora el control puede ejercerse a nivel de dominio o de página individual. Es decir, puedes dejar que tu sección de contenido evergreen aparezca en AI Overviews mientras proteges tu contenido premium o bajo suscripción del fine-tuning de Gemini. Además, Google debe atribuir con enlaces claros el contenido que use en sus respuestas de IA, y la orden prohíbe expresamente que Google contrate rastreadores de otras empresas para acceder por la puerta de atrás al contenido de quienes hayan optado por bloquear su acceso.
La orden del regulador británico establece que Google dispone de un plazo de nueve meses para implementar los cambios y, de momento, las funciones se están desplegando solo a un subconjunto de sitios del Reino Unido. Pero vemos un patrón claro: lo que para Akamai son categorías técnicas, la CMA lo consagra como derechos separados del propietario del contenido. Y donde el Reino Unido ha abierto camino con su Digital Markets, Competition and Consumers Act, es razonable esperar que otros reguladores, como la Comisión Europea, tomen buena nota.
Los medios aprovechan esta distinción para alimentar su cuenta de resultados
Sin esperar a los reguladores, los grandes grupos editoriales y publishers internacionales ya aplican esta misma lógica. El patrón se repite: por una parte, tenemos medios que firman acuerdos de licencia con determinadas empresas de IA y, simultáneamente, bloquean el acceso a las que no pagan. El acceso al contenido por parte de los LLMs deja de ser gratuito y universal para convertirse en un activo negociable.
El caso más sofisticado es el de The Atlantic. Según ha contado Digiday, el equipo de la revista registra en una hoja de cálculo qué crawlers acceden a su sitio y cruza esos datos con el tráfico de referencia y las conversiones a suscripción que genera cada plataforma de IA. Cada semana revisan el comportamiento de los bots y deciden cuáles acceden y cuáles no. Ese análisis les llevó, por ejemplo, a bloquear un único crawler que había hecho 564.000 peticiones en siete días sin devolver nada a cambio. De esta forma, The Atlantic bloquea solo los bots cuyo coste supera el valor que aportan.
Y no están solos. También Reuters y Time han pasado a bloquear por defecto los bots de IA, permitiendo el paso únicamente a los aprobados mediante listas blancas. Sus responsables afirman que el cambio no solo no les ha costado tráfico, sino que ha reducido notablemente su gasto en servidores y que esto, además, ha servido para animar a las empresas de IA a sentarse a negociar. El bloqueo selectivo no es solo una medida defensiva, sino que se convierte así en una palanca comercial.
Google pone precio al otro lado de la balanza
Y mientras los editores descubren cómo valorar cada bot, Google ha empezado a valorar cada contenido. Según publicó ayer Digiday, la compañía lleva meses probando discretamente el «AI contribution pilot»: un programa integrado en Search Console que paga a los editores cuando su contenido contribuye «significativamente» a las respuestas generadas por IA en Gemini, AI Overviews y AI Mode. Los editores participantes en este programa piloto disponen en su panel de Google Search Console de un widget de ingresos por IA con una cifra mensual. El pago no depende del volumen de rastreo, sino del valor contribuido por el contenido. Es decir, Google solo paga cuando juzga que una pieza ha aportado significativamente a una respuesta.
Aunque es un paso en la dirección correcta, los propios participantes describen el cálculo como una caja negra, el nivel de ingresos es irrisorio en comparación con sus ingresos publicitarios, y hay analistas que interpretan el programa como un ensayo de la infraestructura que Google necesitaría si algún día se viera obligado a pagar por el contenido que usa. El programa, además, ha resultado más atractivo para editores pequeños y medianos, que carecen del músculo para negociar un acuerdo de licencia propio, que para los publishers más grandes.
Pero el cambio conceptual es importante: a través de estos datos, el editor podrá ver qué contenido aporta valor a los sistemas de IA igual que Search Console nos muestra hoy qué contenido funciona en la búsqueda. Se establece así que hay contenidos que, efectivamente, aportan valor, y que debe existir un camino de retorno de ese valor hacia quien lo creó. Exactamente la misma lógica que The Atlantic aplica a los bots, pero en sentido contrario.
La infraestructura, configurada por defecto
Por si quedaban dudas de que esto es el nuevo estándar y no una moda: justamente a partir de hoy, 15 de septiembre, los nuevos dominios que se den de alta en Cloudflare tendrán bloqueados por defecto los crawlers de entrenamiento y los agentes en las páginas que sirven publicidad, mientras que los bots de búsqueda siguen permitidos. Cuando empresas tan grandes como Akamai o Cloudflare, que sostienen buena parte de la web, adoptan la taxonomía como configuración por defecto de sus servidores, el debate está resuelto: la gestión granular del acceso de los bots de IA deja de ser una novedad para convertirse en el terreno de la negociación.
Del café para todos al peaje selectivo
Cinco actores distintos –un proveedor de infraestructura, un regulador, los grandes medios, la principal CDN del mundo y la propia Google– han coincidido en pocos meses en la misma idea: el acceso de la IA al contenido tiene un valor que hay que medir, negociar y, cada vez más, pagar.
Ha llegado el momento de cambiar nuestra forma de pensar: ante el creciente fenómeno del zero-click, la cuestión que nos debemos plantear ya no es si permitir o bloquear los bots de la IA, sino qué tipo de acceso permitimos en cada caso y a cambio de qué valor. Proteger nuestro contenido y, al mismo tiempo, perseguir la visibilidad en las respuestas generativas ya no son objetivos incompatibles.
Un último apunte: gestionar todo esto exige algo más que editar el robots.txt. Según el informe State of the Bots de Tollbit, en torno al 30% de los rastreos de bots de IA incumplen los permisos explícitos declarados en ese archivo. La gobernanza de bots requiere monitorización de logs, reglas en el CDN o WAF y una revisión periódica de qué valor aporta cada bot a cambio de los recursos de servidor consumidos.
Y a medida que los agentes de IA se extiendan cada vez más en tareas de búsqueda, comparación o compra, esta distinción va a ser sin duda todavía más importante: bloquear al agente equivocado será, cada vez más, cerrarle la puerta al cliente potencial que lo envió.
¿Nuestra recomendación? Empieza por lo básico: audita qué bots acceden hoy a tu web, mide qué te devuelve cada uno y decide, bot a bot, quién entra, en qué condiciones y a qué precio.
(Este post ha sido redactado en colaboración con Alberto Fernández, consultor SEO técnico en Human Level).
