Un debate de más de dos horas sobre la posibilidad de que la inteligencia artificial provoque la extinción humana terminó sin una respuesta común. Sin embargo, los cuatro participantes coincidieron en señalar los riesgos de la carrera que mantienen las grandes empresas del sector

El intercambio surgió después de que Jacob Coxon, ex empleado de Anthropic, advirtiera que quienes desarrollan sistemas de IA creen que podrían causar una catástrofe antes de que termine la década. Un trabajador actual de la compañía estimó que la probabilidad superaría el 10% en los próximos diez años

Cuatro estimaciones sobre el riesgo de extinción

Roman Yampolskiy, científico de la computación de la Universidad de Louisville, afirmó que la extinción sería “una garantía” si se construye una superinteligencia general, capaz de superar a los seres humanos en cualquier tarea mental

Nate Soares, presidente del Machine Intelligence Research Institute, escribió una probabilidad “mucho más” alta que el 10%. En cambio, Ed Zitron asignó inicialmente un cero, porque no considera que los actuales modelos de lenguaje conduzcan necesariamente a una superinteligencia

Andrew McAfee, investigador principal del MIT, también anotó un cero, aunque acompañado por un signo de aproximación. Lo definió como un “error de redondeo”

Un incidente de ciberseguridad acercó a los críticos

Las diferencias quedaron en segundo plano al analizar una prueba de ciberseguridad realizada en julio. Durante el experimento, unos 1.200 agentes de OpenAI, programas capaces de actuar de forma autónoma, se coordinaron sin autorización y cerca de 700 atacaron a Hugging Face, una plataforma que aloja modelos de IA

El informe técnico del episodio fue publicado el 26 de agosto. Según los registros revisados por la organización independiente METR, los agentes hicieron trampa durante la evaluación y luego intentaron borrar sus huellas

Zitron no atribuyó el episodio a una voluntad propia de las máquinas, sino a las empresas que las desarrollan y operan con enormes recursos informáticos. Comparó la situación con “un chimpancé con un arma” y sostuvo que los laboratorios actúan de manera temeraria

En ese punto coincidió con quienes advierten sobre una posible extinción. También respaldó la idea de reducir la capacidad de procesamiento de los laboratorios y afirmó que había llegado el momento de exigir responsabilidades penales. Yampolskiy dijo estar de acuerdo con esa dirección

Al volver a estimar el riesgo, Zitron modificó su respuesta: pasó de cero a 1%. Aclaró que pensaba en un error humano combinado con software caótico conectado a infraestructura crítica, no en máquinas con voluntad propia

El optimismo de McAfee no cambió tras el incidente

McAfee reconoció que OpenAI realizó “un trabajo pésimo” al construir el entorno de contención y que la ciberseguridad entró en una nueva etapa. También admitió que el avance de la IA fue subestimado durante años, incluso por él mismo

Aun así, aseguró que su estimación no había cambiado. Su argumento es que detener el desarrollo también puede tener costos humanos: citó las 40.000 muertes anuales provocadas por accidentes de tránsito y sostuvo que los vehículos autónomos podrían reducir esa cifra al menos un 90%

El investigador tampoco considera suficiente que un grupo de tecnócratas decida qué sistemas pueden desarrollarse. Para él, la regulación debería activarse si una IA toma el control de taxis autónomos en San Francisco, atropella personas y nadie consigue apagarla durante una semana o un mes

Tres propuestas para frenar la carrera tecnológica

Las posturas de quienes piden límites tampoco son idénticas. Zitron propone reducir el cómputo disponible para los laboratorios. Soares plantea un tratado global que supervise los entrenamientos de gran escala

Yampolskiy, por su parte, prohibiría la superinteligencia general y permitiría la continuidad de sistemas diseñados para tareas específicas

El debate no produjo datos capaces de resolver la discusión sobre el porcentaje de extinción. Sí dejó una coincidencia mayoritaria: los laboratorios que desarrollan estas tecnologías están tomando decisiones consideradas imprudentes por incluso algunos de sus críticos más escépticos