(Reuters) – Los directores de los principales laboratorios de IA de Estados Unidos se reunieron el fin de semana en una inusual muestra de unidad para pedir una pausa en el desarrollo de la tecnología, advirtiendo que pronto podría mejorar por sí sola y escapar al control humano.
Las declaraciones de los acérrimos rivales comerciales Dario Amodei, de Anthropic, Sam Altman, de OpenAI, y Elon Musk, de xAI, demuestran la rapidez con la que ha avanzado la IA, desde el ChatGPT de 2022, propenso a las alucinaciones, hasta lo que muchos consideran un hito fundamental: la auto-mejora recursiva.
¿QUÉ ES LA AUTO-MEJORA RECURSIVA?
El santo grial de la IA es la idea de que un sistema de IA pueda llegar a ser capaz de mejorarse a sí mismo, con poca o ninguna ayuda de los humanos, y que cada avance contribuya a producir el siguiente.
Esto ha resultado atractivo para los investigadores, ya que ofrece la posibilidad de avances rápidos en campos que van desde la medicina hasta la ingeniería.
¿POR QUÉ LA URGENCIA?
Las advertencias del director ejecutivo se producen tras los informes sobre enjambres de agentes de IA —sistemas diseñados para perseguir objetivos y realizar acciones en nombre de un usuario— que conspiraron para vulnerar sitios web y repositorios de IA.
Las advertencias sobre los riesgos de la IA no son nuevas. Pero este mes cobraron mayor urgencia después de que investigadores de los principales laboratorios de IA les asignaran un plazo y una probabilidad a dichas preocupaciones.
Jacob Coxon, antiguo investigador de Anthropic, advirtió que la IA podría acabar con todos nosotros para finales de la década. Evan Hubinger, responsable de la ciencia de la alineación en Anthropic, se hizo eco de la advertencia de Coxon, afirmando que existe una probabilidad superior al 10 % de que tal evento ocurra en la próxima década.
Detrás de estas advertencias subyace la creciente convicción de que el RSI (Síndrome de Insuficiencia Respiratoria) está finalmente al alcance de la mano, aunque algunos ejecutivos de IA sitúan su consecución entre tres y cinco años después.
La preocupación radica en que la IA podría llegar a ser capaz de mejorarse a sí misma antes de que los investigadores hayan desarrollado métodos fiables para alinear, supervisar y controlar sistemas cada vez más potentes.
En un ensayo publicado durante el fin de semana, Amodei advirtió que la auto-mejora recursiva podría, con el tiempo, superar la capacidad de la humanidad para comprender y controlar los sistemas de IA si se persigue sin las salvaguardas suficientes.
¿HA MOSTRADO LA IA ALGÚN INDICADOR DE DAÑO?
No se han registrado casos importantes de inteligencia artificial que hayan perjudicado intencionadamente a los humanos, pero en los últimos meses, los modelos en desarrollo en OpenAI y otros laboratorios han escapado de los entornos de prueba, han infringido las normas y han pirateado sitios web.
En un caso de gran repercusión, agentes deshonestos de OpenAI piratearon Hugging Face, tomando el control de los servidores de la plataforma de código abierto e intentando borrar sus huellas.
Los investigadores temen que los sistemas futuros sean cada vez más difíciles de supervisar, sobre todo porque algunos métodos de entrenamiento más recientes reducen la visibilidad humana sobre cómo los modelos llegan a sus conclusiones.
«El escenario en sí suena un poco a ciencia ficción», dijo Coxon, quien renunció a Anthropic este mes por motivos de seguridad. «Pero creo que es terriblemente real».
¿CÓMO PODIMOS PASAR DE LA NO ALINEACIÓN A LA EXTINCIÓN HUMANA?
Uno de los ejemplos más conocidos es el «maximizador de clips» del filósofo Nick Bostrom, en el que una máquina programada únicamente para fabricar clips persigue ese objetivo con tal implacabilidad que convierte toda la materia, incluidos los seres humanos, en clips o en los medios para fabricar más.
La analogía sugiere que casi cualquier objetivo impulsa a un sistema suficientemente capaz a adquirir recursos, resistir el apagado e impedir que su objetivo se vea alterado, no por malicia, sino porque un sistema apagado no puede completar su tarea. Aún no existe ningún plan para descartar esa posibilidad.
¿LA IA YA ES CAPAZ DE MEJORARSE A SÍ MISMA?
No del todo, pero hay indicios de que la IA está contribuyendo cada vez más a crear una IA mejor.
Uno de los mayores cambios desde ChatGPT ha sido el auge de los agentes de IA que pueden generar código y crear aplicaciones de forma autónoma, en lugar de simplemente guiar a los usuarios como un chatbot.
Anthropic afirmó este año que Claude Code, su herramienta de codificación, produce la mayor parte del código utilizado en muchos proyectos internos, y que los ingenieros están generando ocho veces más código por trimestre que entre 2021 y 2025.
Competidores como OpenAI han reportado ganancias similares gracias al mayor uso interno de la IA.
La IA también está mejorando en su capacidad para mantenerse concentrada en la tarea antes de fallar.
METR, una organización sin ánimo de lucro que evalúa modelos de vanguardia, descubrió el año pasado que la duración de las tareas de software que los modelos avanzados podían completar con un 50 % de fiabilidad se ha estado duplicando aproximadamente cada siete meses desde 2019.
En junio, Anthropic afirmó que ese ritmo se había acelerado a cada cuatro meses, una tendencia que, de mantenerse, pronto podría permitir que la IA se encargue de proyectos que actualmente ocupan a investigadores cualificados durante días o semanas.
ENTONCES, ¿POR QUÉ LAS EMPRESAS DE IA NO HACEN UNA PAUSA YA?
Muchos investigadores describen la situación como un clásico dilema del prisionero. Incluso las empresas que creen que los riesgos son reales se enfrentan a una intensa presión por parte de la competencia. Cualquier empresa que ralentice su desarrollo corre el riesgo de quedarse atrás respecto a sus rivales en una carrera tecnológica que se ha convertido en una de las más importantes del mundo.
La situación se complica aún más por el hecho de que tanto OpenAI como Anthropic están buscando salir a bolsa, lo que podría valorarlas en billones de dólares; valoraciones que dependen del potencial del próximo modelo.
La administración del presidente estadounidense Donald Trump también ha rechazado los llamamientos a ralentizar el proceso, recelosa de que cualquier pausa solo le daría a China margen para cerrar la brecha en una tecnología que considera fundamental para la seguridad nacional y económica.
¿QUÉ SIGNIFICARÍA UNA PAUSA EN EL DESARROLLO?
Esta semana, los mercados ofrecieron un atisbo de las implicaciones, con la caída de las acciones relacionadas con la IA tras los pronósticos de desaceleración. Los fabricantes de chips, los proveedores de servicios en la nube y los operadores de centros de datos han basado su crecimiento en esta tecnología, y cualquier desaceleración amenaza los ingresos que dependen de la rapidez con la que los laboratorios necesitan nuevo hardware.
Sin embargo, algunos analistas creen que, incluso sin nuevos requisitos de capacitación, la demanda de inferencia y la cartera de pedidos existente podrían impulsar el crecimiento de Nvidia y sus competidores.
¿POR QUÉ ALGUNAS PERSONAS SON ESCÉPTICAS?
En un estudio dirigido por Princeton, los principales agentes de IA fueron capaces de realizar tareas de ingeniería, pero tuvieron dificultades para identificar ideas científicas valiosas.
Algunos ejecutivos y críticos de Silicon Valley también cuestionan los motivos detrás de las advertencias, sugiriendo que sirven tanto para avivar el interés en la tecnología como para justificar regulaciones que aumentarían los costos para los rivales justo cuando los modelos de código abierto reducen la brecha con los sistemas líderes.
David Sacks, quien se desempeñó como zar de la IA y las criptomonedas en la Casa Blanca, ha dicho que los principales laboratorios podrían estar buscando una «captura regulatoria», impulsando normas que imponen a los competidores más pequeños costosas cargas de cumplimiento y debilitan la competencia.
