Anthropic, OpenAI y Elon Musk coincidieron en la necesidad de moderar el desarrollo de los modelos más avanzados.
Políticos y especialistas aumentan las advertencias por agentes autónomos, ciberataques, vigilancia y posibles usos biológicos.
La advertencia ya no llega únicamente desde gobiernos, organismos internacionales o especialistas que observan el avance de la inteligencia artificial (IA) desde fuera de Silicon Valley.
Esta semana fueron los propios responsables de algunas de las compañías que lideran la carrera tecnológica quienes plantearon que ha llegado el momento de pisar el freno.
Los directores ejecutivos de Anthropic y OpenAI, Dario Amodei y Sam Altman, coincidieron en la necesidad de moderar el ritmo con el que mejoran las capacidades de los modelos más avanzados. Elon Musk, fundador de xAI, se sumó después al llamado con un mensaje escueto: "Dario tiene razón".
Las mismas empresas que compiten por desarrollar sistemas cada vez más potentes reconocen ahora que esa velocidad podría estar superando su capacidad para comprenderlos, supervisarlos y mantenerlos bajo control.
El giro se produjo después de una semana marcada por dimisiones, advertencias sobre una eventual catástrofe global y nuevos antecedentes sobre el uso de la IA en operaciones de vigilancia, ciberataques y posibles investigaciones relacionadas con armas biológicas.
Amodei pidió una desaceleración inmediata ante el riesgo de que la inteligencia artificial entre en una dinámica de "automejora recursiva", en la que los propios sistemas contribuyan a desarrollar modelos todavía más avanzados.
El ejecutivo advirtió que, dentro de seis a 12 meses, un enjambre de agentes autónomos podría llegar a tomar el control de amplias zonas de internet mediante una red persistente de bots, con daños económicos de cientos de miles de millones de dólares.
Su preocupación se apoya, entre otros antecedentes, en un incidente en el que agentes de IA de OpenAI salieron de su entorno de pruebas y vulneraron los sistemas de la plataforma Hugging Face. Según la descripción de Amodei, los programas atacaron objetivos que no formaban parte de la tarea asignada e intentaron intervenir el mecanismo encargado de evaluar su desempeño.
El episodio puso el foco sobre los denominados "agentes de IA": sistemas que no se limitan a responder preguntas o generar contenido, sino que pueden ejecutar acciones, tomar decisiones y coordinarse con otros programas con un nivel creciente de autonomía.
Las capacidades de este tipo de herramientas ya habían encendido alertas en Chile. En abril, expertos advirtieron en Cooperativa que los agentes autónomos podían buscar y explotar vulnerabilidades informáticas durante las 24 horas, dando paso a una nueva generación de "portonazos digitales".
Amodei sostuvo que la industria debe privilegiar la cautela por sobre la velocidad y evitar que los incentivos comerciales conduzcan a una "carrera hacia el abismo". Una desaceleración de uno o dos años, afirmó, permitiría avanzar en el alineamiento y la interpretación de los modelos, además de abrir espacio para un debate público.
Como primera medida, Anthropic anunció que permitirá el ingreso de evaluadores independientes a sus instalaciones, con un acceso similar al de sus propios trabajadores, para auditar los procesos de entrenamiento y publicar sus conclusiones.
Altman respaldó pocas horas después la propuesta de su principal competidor y confirmó que OpenAI también permitirá auditorías externas.
"Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica", afirmó el creador de ChatGPT, quien aseguró que la posibilidad de desacelerar ha sido uno de los temas centrales de las conversaciones internas de la empresa durante las últimas semanas.
OpenAI, según los antecedentes conocidos esta semana, ya habría suspendido algunos procesos de entrenamiento por motivos de seguridad. Altman también descartó llevar próximamente la compañía a la bolsa, pues considera que las presiones de los inversionistas podrían dificultar decisiones que prioricen la seguridad por encima de los beneficios inmediatos.
El ejecutivo calificó como "inaceptable" cualquier escenario en el que exista una probabilidad del 10 por ciento de que los sistemas superinteligentes causen una catástrofe por falta de control.
Musk también apoyó la desaceleración, aunque no anunció que xAI vaya a someter sus modelos a las auditorías independientes comprometidas por Anthropic y OpenAI.
Las advertencias sobre amenazas futuras coincidieron con revelaciones sobre los usos que ya se están dando a estas herramientas.
Anthropic informó que durante los últimos ocho meses detectó y bloqueó posibles investigaciones que podían contribuir al desarrollo de armas biológicas. La compañía aclaró que no logró determinar si sus responsables perseguían fines legítimos o maliciosos, pero decidió impedirlas ante el riesgo de facilitar la creación de patógenos peligrosos.
La empresa también documentó usos indebidos de Claude relacionados con actores estatales de China, Rusia, Irán y Yemen.
En el caso iraní, usuarios vinculados al Gobierno habrían utilizado el modelo para apoyar tareas de vigilancia, procesar información sobre disidentes, periodistas, activistas y políticos, además de elaborar recomendaciones para eventuales ataques contra fuerzas navales estadounidenses en la región.
La inquietud dentro de las compañías quedó en evidencia con la dimisión de Jacob Coxon, investigador que trabajó para Anthropic y OpenAI. El especialista acusó a ambas empresas de estar más preocupadas de superarse mutuamente que de garantizar la seguridad de sus productos.
Otros integrantes de Anthropic respaldaron sus temores. El investigador Evan Hubinger estimó en más de un 10 por ciento la posibilidad de que la IA pueda acabar con la humanidad durante la próxima década.
Las declaraciones reactivaron la discusión política en Estados Unidos. El senador Bernie Sanders recordó que prepara una iniciativa para prohibir el desarrollo de una superinteligencia y pausar el avance de los modelos, mientras los congresistas Greg Casar, Lori Trahan y Jay Obernolte impulsan distintas fórmulas para aumentar la supervisión.
La presión también se extendió fuera de Washington. El alto comisionado de la ONU para los Derechos Humanos, Volker Türk, solicitó un esfuerzo internacional coordinado antes de que los sistemas más avanzados se vuelvan incontrolables y cuestionó que un grupo reducido de personas concentre un poder "casi ilimitado" sobre su desarrollo.
El llamado profundiza una discusión abierta dentro de Naciones Unidas, organismo que ya había pedido un pacto internacional para proteger a los niños de los riesgos de sistemas no regulados y advertido que la tecnología avanza más rápido que la capacidad de respuesta de los Estados.
Este domingo, el presidente de Sudáfrica, Cyril Ramaphosa, llevó la discusión a la cumbre de los BRICS y propuso crear un mecanismo internacional de evaluación científica independiente, acompañado de la obligación de informar incidentes graves.
"Nuestra responsabilidad es garantizar que la gobernanza humana avance tan rápidamente como la propia inteligencia artificial", sostuvo el mandatario.
En medio de las predicciones más extremas, la investigadora española Nuria Oliver introdujo una distinción relevante: los incidentes conocidos no demuestran que exista una inteligencia superior con una voluntad destructiva, sino que revelan los peligros de delegar acciones sin mantener una supervisión humana efectiva.
El cambio decisivo no estaría únicamente en que los modelos sean más inteligentes, sino en que reciban permiso para actuar, coordinarse y tomar decisiones con consecuencias reales.
Para Oliver, ninguna IA debería ejecutar de forma autónoma tareas capaces de afectar a millones de personas. Los seres humanos tendrían que comprender siempre lo que está ocurriendo, conservar la posibilidad de intervenir y determinar para qué quieren utilizar la tecnología.
El escritor británico Ian McEwan resumió el temor que recorre este debate: quizás sea necesaria una catástrofe para que la humanidad decida regular la inteligencia artificial.
