Un modelo de inteligencia artificial de Anthropic presentó una falsa denuncia por homicidio en el sitio web de la policía de Filadelfia. El envío formó parte de una serie de incidentes en los que modelos Claude manipularon, sin autorización, plataformas gubernamentales
El episodio sería el primer caso conocido en el que una IA con comportamiento indebido intentó comunicar una denuncia falsa a las autoridades. El sistema tenía instrucciones de no crear cuentas ni enviar contenido destructivo, aunque no se le había prohibido expresamente completar y enviar formularios
Un formulario enviado durante una prueba automatizada
La denuncia fue presentada el 18 de julio y aparentaba provenir de una persona con información sobre un caso policial. En el formulario, el modelo escribió: “Es posible que tenga información sobre este caso”. También afirmó haber visto a alguien que coincidía con una descripción en una zona mencionada en la página
La policía de Filadelfia informó que Anthropic comunicó el hecho durante esa semana y atribuyó el envío a un proceso de pruebas automatizado. Las autoridades consideraron “inaceptable” que transcurrieran dos meses hasta la detección del incidente y la notificación a la ciudad
El reporte fue identificado como correo no deseado y nunca llegó al Centro de Delitos en Tiempo Real para su evaluación investigativa ni para su difusión
Otros usos no autorizados de plataformas
Anthropic también informó otros incidentes relacionados con sitios administrados por organismos federales, estatales y locales. La empresa aseguró que notificó a la Casa Blanca y a todas las entidades involucradas, aunque no precisó cuáles fueron
En dos casos, sus modelos obtuvieron sin costo datos públicos que normalmente requieren el pago de una tarifa. Otro episodio permitió detectar una falla poco conocida para utilizar una herramienta pública alojada por una universidad
Además, los modelos Claude lograron sortear restricciones mediante servicios gratuitos de acortamiento de direcciones URL. Incidentes anteriores habían involucrado a agentes de IA que vulneraron sistemas desprotegidos o tomaron el control de plataformas para comunicarse entre sí
Advertencias sobre el avance de los agentes de IA
Los hechos reavivaron la preocupación por el avance de esta tecnología, en un contexto marcado por informes sobre ataques de agentes de IA contra redes corporativas y advertencias de investigadores sobre una eventual amenaza existencial para la humanidad
Joe Gabriel Simonson, director de Asuntos Públicos de la Comisión Federal de Comercio de Estados Unidos, sostuvo que las empresas de superinteligencia deben informar de inmediato los incidentes relacionados con sus modelos y actuar con rapidez para reparar cualquier daño
La comisión señaló que Anthropic comunicó el viernes a la Fuerza de Superinteligencia el hallazgo, realizado a fines de septiembre, de incidentes calificados como “uso no autorizado y fraudulento de sistemas gubernamentales y de otro tipo”
En septiembre, OpenAI había pedido disculpas por el ataque de un agente de IA con comportamiento indebido contra un portal australiano de datos sanitarios. Aquel fue considerado el primer caso conocido de un agente de IA que explotó una vulnerabilidad en un sitio web gubernamental