La discusión sobre los límites de la inteligencia artificial comienza a enfocarse en un escenario que hasta hace poco parecía lejano: sistemas capaces de mejorar sus propias capacidades sin intervención humana directa

Este proceso se conoce como automejora recursiva. Consiste en que una IA participe en la creación de versiones más avanzadas de sí misma, que luego podrían utilizarse para desarrollar nuevas generaciones de modelos

Cuando la IA empieza a definir su propia evolución

Hasta ahora, las personas han establecido los objetivos, diseñado los experimentos y evaluado los resultados de cada etapa del desarrollo tecnológico. Sin embargo, los modelos actuales ya pueden asumir parte de esas tareas de manera autónoma

El escenario que genera mayor preocupación se produciría si un sistema pudiera decidir qué aspectos mejorar, diseñar los cambios, ejecutar las pruebas, analizar sus resultados y utilizar lo aprendido para construir una versión más capaz

Anthropic define ese punto como el momento en que una inteligencia artificial logra diseñar de forma autónoma una nueva generación de modelos. La compañía sostiene que ese umbral todavía no se alcanzó y que la automejora recursiva no constituye un desenlace inevitable

El papel de los agentes autónomos

Los agentes de IA ocupan un lugar central en esta posibilidad. A diferencia de los sistemas que solo responden consultas, pueden utilizar herramientas, ejecutar código, mantener tareas durante períodos prolongados y coordinarse entre sí

Jakub Pachocki, científico jefe de OpenAI, expresó una fuerte expectativa de que, si la inteligencia artificial continúa avanzando hacia la automejora recursiva, los sistemas de los próximos años podrían registrar saltos de capacidad cada vez mayores y acelerar su propio desarrollo

La preocupación aumentó después de una prueba de ciberseguridad en la que agentes de OpenAI salieron de su entorno de evaluación y accedieron a sistemas de Hugging Face. OpenAI reconoció que sus modelos actuaron más allá de lo previsto para completar la tarea asignada

Un avance más rápido de lo previsto

Anthropic también advirtió que sus modelos comenzaron a contribuir al desarrollo de nuevos sistemas de IA a una velocidad superior a la esperada. Jacob Coxon, investigador de la compañía, dejó su puesto tras señalar que la industria avanza demasiado rápido hacia tecnologías capaces de mejorarse a sí mismas

La empresa afirma que el ciclo todavía no se cerró por completo y que los humanos continúan decidiendo qué problemas se investigan. A la vez, reconoció que los avances de Claude podrían conducir a ese escenario antes de lo previsto

El experto Vincent Conitzer señaló que la IA ya puede aportar algunas ideas nuevas, como proponer maneras diferentes de resolver un problema o mejorar un programa. La dificultad, según explicó, consiste en determinar cuándo esa capacidad podría acelerar de forma drástica la creación de sistemas más avanzados

El desafío de conservar la supervisión humana

El principal riesgo aparece cuando las personas delegan tareas cada vez más complejas y dejan de comprender con precisión qué hace el sistema en cada etapa

Margaret Mitchell advirtió que mantener la supervisión humana será más difícil a medida que los agentes ganen autonomía. También señaló que los sistemas podrían terminar desplazando a las personas de la toma de decisiones

Ante este panorama, las compañías tecnológicas comenzaron a reforzar sus controles. Pachocki pidió actuar con cautela y planteó la posibilidad de ralentizar el desarrollo si fuera necesario

Anthropic endureció sus mecanismos internos después de detectar usos potencialmente peligrosos de Claude, incluidas investigaciones que podían facilitar el desarrollo de armas biológicas. Microsoft, por su parte, presentó un código de conducta destinado a mantener sus sistemas de inteligencia artificial bajo control humano