La posibilidad de acceder a información disponible públicamente mediante herramientas automatizadas es un valor y una ventaja fundamentales de una Internet libre y abierta. El acceso automatizado —que a menudo se conoce como «crawling» o «scraping»— es la base de herramientas importantes y útiles para localizar, conservar y analizar información en línea. Por ejemplo, el rastreo y el scraping ayudan a periodistas, investigadores y organizaciones de control a informar de las noticias, detectar fallos de seguridad e investigar casos de discriminación. El rastreo de la web permite a organizaciones sin ánimo de lucro como Internet Archive conservar copias históricas de sitios web. Las herramientas para la comparación de precios automatizada permiten a los consumidores encontrar las mejores ofertas en los artículos que quieren comprar. Y así sucesivamente.
Sin embargo, el acceso abierto a Internet se ve cada vez más amenazado tanto por los editores como por las grandes empresas tecnológicas. Por miedo a perder ingresos por publicidad y licencias, los operadores de sitios web afirman cada vez más que necesitan bloquear el acceso a sus sitios a los bots que rastrean contenido web público para entrenar u operar modelos de IA. Algunas empresas incluso están intentando integrar sus modelos de negocio en los estándares de Internet mediante la modificación de los estándares técnicos del Grupo de Trabajo de Ingeniería de Internet (IETF) que dan forma a gran parte de Internet.
Muchas de sus preocupaciones económicas son comprensibles. Los bots de IA pueden sobrecargar la infraestructura de los sitios web , lo que en algunos casos puede reducir el rendimiento de los sitios o incluso dejarlos fuera de servicio por completo. Actualizar los sistemas cuesta dinero, y puede que algunos sitios no lo tengan. Además, es probable que la IA altere los modelos de negocio que muchos editores adoptaron como respuesta al auge de Internet, si los usuarios se fían de los resúmenes generados por IA en lugar de visitar los sitios web originales.
Por muy razonables que sean estos temores, la solución no es cambiarlos estándares de la IETF, pasando de protocolos neutrales que fomentan la apertura a requisitos restrictivos diseñados para monetizar el acceso a Internet.
Lo peor de estas normas propuestas es que darían a los sitios web una capacidad mucho mayor para bloquear automáticamente el scraping y el rastreo legítimos y legales. Por ejemplo, el grupo de trabajo Preferencias de IA está trabajando en propuestas para ofrecer a los editores una forma de expresar « señales de preferencia» contra el rastreo de datos web con fines relacionados con la IA, como entrenar modelos, generar resultados y ayudar a los usuarios a buscar en la web. Estas señales de preferencia se expresarían a través del archivo robots.txt y podrían llegar a ser legalmente vinculantes en algunas jurisdicciones.
Otro grupo de trabajo, llamado Web Bot Auth, está trabajando para proteger los sitios web de los bots demasiado agresivos ques agotan los recursos de los sitios web—un objetivo positivo que podría mejorar significativamente Internet en la era de la IA. Pero Web Bot Auth también está tomando al mismo tiempo un camino mucho más peligroso: cambios en los estándares que permitirían a los sitios identificar criptográficamente a los bots para poder bloquear más fácilmente a quien quieran —no solo a los «malos», sino también a competidores, disidentes o cualquiera que no haya’ pagado por el derecho a acceder a los sitios usando herramientas automatizadas. Si los sitios restringen el rastreo a una lista preaprobada de bots autenticados criptográficamente, podrían exigir el pago de licencias a quienes quieran rastrear sus sitios. Esto cerraría la web abierta a investigadores, archiveros y startups que no puedan permitirse pagar por el acceso automatizado.
Los sitios web pueden tener razones legítimas para preocuparse por el impacto de la IA’en su tráfico y sus ingresos publicitarios, pero esas razones deben sopesarse frente a los beneficios de la web abierta. Estas propuestas darían, en la práctica, a los operadores de sitios web poder de veto sobre una amplia gama de usos importantes: desde las investigaciones y los trabajos de archivo descritos anteriormente hasta las herramientas de accesibilidad para personas con discapacidad, pasando por los esfuerzos de investigación destinados a exigir responsabilidades a los gobiernos.
Por eso estamos luchando contra estas amenazas al acceso abierto. La EFF y nuestros aliados de la comunidad de Internet abierta hemos logrado resistir con éxito algunas de las propuestas más peligrosas de la IETF hasta la fecha, y no vamos’a dejar de trabajar para proteger la web abierta frente a los intentos de manipular los estándares de Internet con el fin de socavar el derecho a acceder libremente a Internet de cualquier forma legal, incluso con herramientas automatizadas.
