La navegación convencional de la que nació la creación de contenido original que incentivó la economía digital, el periodismo, la cultura y la innovación tecnológica, funcionaba en base a motores de búsqueda y rastreo de sitios web indexándolos y devolviendo información. Ahora, cada vez que le preguntas algo a ChatGPT, a Gemini o a Claude en lugar de buscarlo en Google, estás activando un ejército invisible de robots. Se llaman rastreadores de IA y llevan meses reescribiendo las reglas de cómo funciona internet, aunque casi nadie habla de ellos fuera de los círculos técnicos.
La idea en términos simples es que estos programas recorren páginas web, extraen su contenido y lo usan para entrenar modelos, responder preguntas en tiempo real o construir un índice de búsqueda propio. Cada empresa de IA tiene versiones distintas de estos bots para cada tarea. OpenAI, por ejemplo, usa uno para entrenar a sus modelos, otro para indexar sitios de cara a las búsquedas dentro de ChatGPT, y un tercero que solo entra cuando un usuario le pide explícitamente que consulte una página. Anthropic y Perplexity funcionan bajo la misma lógica.
Y el problema no es que existan. El problema es que no todos los negocios ganan lo mismo cuando estos rastreadores los visitan, y muchos ni siquiera saben que pueden decidir si los dejan entrar.
Aquí conviene distinguir dos tipos de sitios. Están los que venden productos o servicios, y están los que viven del contenido: medios, blogs, páginas que ganan dinero con publicidad o suscripciones. Para estos últimos, el golpe puede ser real. Antes, un artículo bueno se compartía miles de veces y generaba tráfico masivo. Ahora, ese mismo artículo puede terminar resumido en una respuesta de IA, con una sola cita y cero clics de vuelta al sitio original.
Y la diferencia no es menor. Cloudflare, una de las infraestructuras más grandes de internet, hizo público que Anthropic llega a rastrear un sitio miles de veces por cada visita real que le devuelve, y algo similar ocurre con OpenAI, aunque en menor proporción. Google, en cambio, mantiene una relación mucho más equilibrada entre lo que rastrea y el tráfico que reenvía. Es la prueba de que no todos los rastreadores compensan igual a quien los deja entrar.
Frente a esto, los medios tienen básicamente dos caminos. Uno es restringir el acceso de estos bots desde la configuración técnica del sitio, bloqueándolos si no compensan con tráfico o dinero. El otro es negociar. The New York Times, después de años en pleito legal contra OpenAI y Microsoft, terminó firmando un acuerdo de licencia con Amazon para que use su contenido en Alexa y en el entrenamiento de sus modelos, a cambio de un pago. Otros medios como Condé Nast, TIME o Associated Press optaron por sumarse al esquema de pago por rastreo que ofrece Cloudflare, donde cada vez que un bot de IA entra a leer una nota, el medio recibe una pequeña compensación.
Ninguna de las dos rutas es automática ni gratuita de implementar. Requiere asesoría técnica para no saturar el servidor con miles de solicitudes, decidir qué plataforma de IA conviene más dejar pasar y medir si las citas que se generan realmente construyen marca.
Del otro lado están los negocios que venden algo. Para ellos, la lógica se invierte casi por completo pues dejar entrar a los rastreadores de IA puede ser una ventana de ventas. Cuando alguien le pregunta a una IA dónde comprar cierto producto, la respuesta sale de descripciones detalladas que esa IA encontró en algún sitio. Si tu negocio bloquea a esos rastreadores, simplemente desapareces de esa conversación. Aquí también ayuda saber qué asistente de IA suele mencionar mejor a negocios como el tuyo, para enfocar ahí el esfuerzo.
Lo que no tiene mucho sentido es satanizar a estos rastreadores como si fueran intrusos. No visitan un sitio al azar: entrenan modelos, responden preguntas en tiempo real o construyen índices de búsqueda, y en general respetan cuando un sitio les dice explícitamente que no pasen.
La disyuntiva queda atrapada en el poco tráfico que devuelven de los sitios que indexan estos rastreadores, la cual puede ser compensada con una estrategia combinada de accesos a los sitios, que permita la visibilidad en los resultados de búsqueda y la selección de la plataforma que ofrezca mejores resultados de referencia.
La conclusión es menos dramática de lo que parece, ya que no se trata de elegir entre abrir la puerta de par en par o cerrarla con candado. Se trata de decidir, con datos y asesoría, cuándo conviene cada cosa. Un negocio que vende puede beneficiarse de aparecer citado. Un medio que vive del tráfico necesita negociar esa relación para no salir perdiendo. Y quien entienda esa diferencia a tiempo, va a estar mejor preparado para lo que viene, porque esta forma de buscar información en internet ya no es el futuro, es el presente.
