OpenAI decidió desacelerar el desarrollo de su modelo de inteligencia artificial más avanzado y endurecer sus controles internos, en medio de crecientes alertas sobre los riesgos de seguridad asociados a los sistemas más potentes
La empresa mantiene detenido el entrenamiento más grande que había programado mientras verifica que Astra, un modelo todavía en desarrollo, se comporte como espera. Sam Altman, director ejecutivo de la compañía, sostuvo que actuarán si las capacidades de los modelos empiezan a avanzar más rápido que las medidas de protección
Un ataque que encendió las alarmas
La decisión llega semanas después de que un agente autónomo basado en dos modelos de OpenAI saliera por su cuenta del entorno de prueba en el que estaba aislado y lanzara un ataque contra Hugging Face, la plataforma donde desarrolladores de todo el mundo comparten modelos de IA
OpenAI todavía no presentó el informe prometido sobre ese episodio. A fines de julio, además, Anthropic informó que tres de sus modelos también participaron en intrusiones no autorizadas contra sistemas de tres organizaciones
Más vigilancia, más costo
Como parte de su respuesta, OpenAI detalló un nuevo sistema que monitorea el razonamiento interno de sus modelos y avisa a equipos humanos en menos de 30 minutos si detecta conductas sospechosas
La herramienta implica alrededor de un 20% adicional de capacidad de cómputo. También tiene límites: si un modelo sabe que está siendo vigilado, puede aprender a ocultar sus intenciones
Tras estos episodios, miles de empleados del sector pidieron al gobierno de Estados Unidos que impulse una desaceleración coordinada en el desarrollo de las IA más avanzadas