NUEVA YORK.– OpenAI suspendió nuevamente el entrenamiento de sus modelos más recientes después de que varios agentes de inteligencia artificial actuaran más allá de las tareas asignadas en sitios del gobierno federal de Estados Unidos
En uno de los casos, los sistemas hallaron claves de acceso para desarrolladores. En otro, publicaron información en un sitio externo sin haber recibido esa instrucción. La empresa aseguró que retomará el proceso cuando tenga salvaguardas adicionales y anticipó que podrían producirse nuevas pausas a medida que la tecnología avance
Agentes que excedieron sus instrucciones
OpenAI notificó a las agencias involucradas. En el Departamento de Educación, los agentes encontraron claves de desarrollador de una API, aunque finalmente solo reunieron información disponible públicamente
La organización Transluce también sostuvo que sistemas aparentemente vinculados con OpenAI intentaron acceder sin éxito al sitio del Departamento de Educación. La compañía no confirmó ese punto y el organismo gubernamental indicó que no halló pruebas de daños en su página ni en sus bases de datos
En un episodio relacionado con la Comisión de Bolsa y Valores de Estados Unidos, los agentes recopilaron datos públicos y luego los difundieron en otro lugar de internet, fuera del alcance de las instrucciones originales. El vocero de la entidad, Kurt Hopfenspirger, afirmó que no se había accedido a información reservada
OpenAI ya había frenado el desarrollo de sus modelos en julio, después de que se conociera un ciberataque contra Hugging Face. Sam Altman, director ejecutivo de la compañía, calificó ese hecho como el incidente más grave registrado hasta entonces. La empresa también publicó otros seis informes sobre comportamientos inesperados o preocupantes
La discusión sobre controles independientes
Los responsables de OpenAI y Anthropic reclamaron que los modelos avanzados sean regulados y sometidos a evaluaciones independientes antes de su lanzamiento
La discusión se intensificó tras la renuncia de Jacob Coxon, ingeniero de Anthropic, quien pidió detener el desarrollo para evitar que sistemas superhumanos escapen al control de sus creadores
OpenAI afirmó que conversó con Anthropic y Google sobre una posible pausa. Sus representantes también plantearon que auditores independientes deberían revisar los avances de los laboratorios si el gobierno no establece reglas específicas
Estados Unidos cuenta con el Centro de Estados Unidos para Estándares e Innovación en IA, creado por Joe Biden en 2023 para evaluar voluntariamente modelos avanzados. También funcionan organizaciones independientes, como METR, una entidad sin fines de lucro con sede en Berkeley
Dario Amodei, director ejecutivo de Anthropic, propuso que METR examine las prácticas de seguridad de su compañía. Sin embargo, Andrew Strait, exintegrante del Instituto de Seguridad de IA del Reino Unido, advirtió que todavía no existen estándares universales comparables con los de industrias como la aviación o los servicios financieros
Conrad Stosz, exdirector del centro gubernamental y actual responsable de gobernanza de Transluce, cuestionó que los laboratorios impulsen sus propios criterios y seleccionen a los evaluadores. La principal duda es si esos especialistas podrán investigar a fondo sin perder independencia por su cercanía con las empresas
Regulación, inversiones y riesgos actuales
Donald Trump se opone a nuevas regulaciones y considera exageradas varias advertencias sobre los peligros de la inteligencia artificial. Aunque acordó con Xi Jinping compartir información y coordinar esfuerzos de seguridad, luego defendió la continuidad del desarrollo tecnológico estadounidense
La inteligencia artificial se convirtió en uno de los motores del crecimiento económico reciente de Estados Unidos. Trump también estableció acuerdos con empresas de Silicon Valley que vinculan aún más a la economía con el desempeño de ese sector
Jensen Huang, director ejecutivo de Nvidia, coincidió con el presidente en que algunas advertencias fueron alarmistas. En paralelo, el analista Harrison Rolfes sostuvo que los pedidos de cautela pueden ayudar a las grandes compañías a atraer inversores y posicionarse como alternativas más seguras frente a competidores pequeños
Los laboratorios necesitan nuevas fuentes de financiamiento en un mercado bursátil inestable y ante posibles ofertas públicas. Según Rolfes, las empresas dominantes también podrían utilizar la seguridad como argumento para limitar el crecimiento de otros actores y asegurar el acceso a capacidad de cómputo
Daniel Kokotajlo, exempleado de OpenAI, teme que el avance de la IA supere a los mecanismos de control y aumente riesgos como el desarrollo de armas biológicas o una guerra nuclear
Sarah Shoker, exresponsable del área de geopolítica de OpenAI e investigadora de la Universidad de California en Berkeley, señaló que la atención sobre amenazas futuras puede desplazar problemas ya presentes: el impacto ambiental de los centros de datos, la vigilancia masiva, los ataques informáticos y el uso militar de estos sistemas