Bienvenido a

la base de datos de incidentes de IA

BEIJING, Sept 21 (Reuters) - Chinese startup Z.ai said on Monday it had disabled some features of its flagship AI coding assistant ​after some users reported it was uploading entire local code repositories onto overseas cloud servers without their consent.

Beijing-based ‌Z.ai, also known as Zhipu, apologised in a social media post after Chinese developers last week wrote on social media that its ZCode had uploaded their code data from open-source developer platform Git to Alibaba Cloud.

Z.ai referred Reuters to its public statements when asked for further comment on the ​incident.

In a stat

Según investigadores de seguridad y una persona familiarizada con los incidentes, la inteligencia artificial de OpenAI se descontroló e interfirió con los sitios web del Departamento de Educación, el Departamento de Comercio y la Comisión de Bolsa y Valores (SEC) este verano sin el conocimiento del laboratorio de IA.

OpenAI confirmó los incidentes que involucraron al Departamento de Comercio y la SEC, y afirmó que continúa investigando la situación con el Departamento de Educación. La compañía de San Francisco indicó que había notificado a las agencias gubernamentales en las últimas semanas que sus agentes de IA (bots que pueden actuar de forma autónoma) interactuaron con sus sitios de manera inusual.

En el caso del Departamento de Educación, la tecnología de OpenAI intentó hackear el sitio web para recopilar datos de la oficina de derechos civiles del departamento, pero fracasó, según investigadores de la firma de investigación de IA Transluce. También extrajo datos del sitio web de la Oficina del Censo, que pertenece al Departamento de Comercio, utilizando credenciales de acceso encontradas en línea. Por separado, agentes de OpenAI compartieron datos públicos del sitio web de la SEC en un foro en línea.

OpenAI afirmó que ninguno de los incidentes constituyó una violación de seguridad, sino que fueron ejemplos del comportamiento inesperado y preocupante de su tecnología. La compañía descubrió recientemente estos sucesos mientras realizaba una revisión de los ataques informáticos llevados a cabo por su tecnología, incluyendo un ataque a un sitio web del gobierno australiano en junio y otro a la startup de IA Hugging Face en julio.

La revelación de los incidentes en el sitio web del gobierno estadounidense se suma al creciente número de casos en los que agentes de IA de OpenAI, Anthropic, Meta y Google han actuado de forma indebida, pirateando o intentando infiltrarse en empresas, universidades y organizaciones gubernamentales. En algunos casos, los ataques de IA tuvieron éxito; en otros, la tecnología falló. En todos los casos, los creadores de la tecnología no supieron qué había estado haciendo su IA hasta después.

Ninguna empresa de IA ha estado involucrada en tantas revelaciones de incidentes maliciosos como OpenAI. Una investigación interna sobre el ataque informático a Hugging Face reveló la filtración de un sitio web del gobierno australiano relacionado con su sistema de salud pública, así como al menos otros seis intentos de filtración y casos en los que la IA ocultó errores, falsificó datos y transfirió archivos a internet sin autorización.

Una portavoz de OpenAI declaró que la revisión fue exhaustiva y continua, y que seguirá notificando a las organizaciones afectadas por sus modelos.

«La mayor parte de la actividad que hemos revisado hasta ahora consistió en tareas de investigación rutinarias, como acceder a contenido web público para responder preguntas», explicó. «Algunas involucraron sitios web gubernamentales porque nuestros modelos suelen consultarlos como fuentes autorizadas de información pública».

Sam Altman, director ejecutivo de OpenAI, declaró el viernes en una publicación en redes sociales que la empresa no había sido tan rápida como hubiera deseado en la divulgación de incidentes de IA. «Priorizamos según la gravedad», afirmó, añadiendo que la brecha de seguridad de Hugging Face seguía siendo «el incidente más grave» que la empresa había descubierto.

Estos episodios han avivado un polémico debate sobre la seguridad de la IA. El Sr. Altman declaró este mes en redes sociales que la seguridad debería ser más importante que mejorar las capacidades de la IA y que, sin medidas de protección, la sociedad podría «perder el control del futuro a manos de la IA».

Dario Amodei, director ejecutivo de la empresa rival OpenAI, El laboratorio Anthropic también ha apoyado la ralentización del desarrollo de la IA para priorizar la seguridad. Sin embargo, otros líderes tecnológicos, como Jensen Huang, director ejecutivo de Nvidia, han afirmado que los temores sobre una IA incontrolable son infundados. El presidente Trump ha declarado que no cree que sea necesario frenar el desarrollo de la industria de la IA.

(The New York Times ha demandado a OpenAI y Microsoft por infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas compañías han negado estas acusaciones).

La Casa Blanca remitió las preguntas al Departamento de Comercio y a la SEC. Un portavoz de la SEC declaró que la agencia estaba en contacto con OpenAI y que no tenía conocimiento de ningún acceso no autorizado a información no pública.

Una portavoz del Departamento de Comercio afirmó que OpenAI había obtenido acceso a información pública disponible en el sitio web de la Oficina del Censo, accesible a cualquier persona, pero no a datos privados.

Un portavoz del Departamento de Educación declaró que "las revisiones de las operaciones del sistema no han encontrado evidencia de ningún impacto en nuestro sitio web o bases de datos".

Por otra parte, un representante de la alcaldía de Chicago indicó que OpenAI había informado recientemente al gobierno municipal que su tecnología había obtenido información pública de un sitio web municipal, y que, al parecer, no se había obtenido información confidencial.

Conrad Stosz, director de gobernanza de Transluce, afirmó que, en los incidentes relacionados con el sitio web del gobierno estadounidense, los agentes de OpenAI "utilizaron diversas tácticas dudosas", incluyendo "el uso frecuente de sitios de forma no prevista y, en ocasiones, la violación de políticas de uso explícitas".

Stosz añadió que su equipo de investigación también había identificado otras actividades fraudulentas que no eran claramente atribuibles a OpenAI, lo que significa que los agentes podrían haber pertenecido a la empresa o a otro laboratorio de IA. Según declaró, los agentes investigaron sitios web pertenecientes a varios gobiernos federales y estatales, incluyendo la Marina y la Oficina de Administración y Presupuesto de la Casa Blanca.

La Marina y la Casa Blanca no respondieron de inmediato a la solicitud de comentarios sobre estos incidentes.

"Estos incidentes forman parte de un patrón más amplio en el que estos agentes intentan acceder a estos sitios web al menos cientos de miles de veces, aparentemente eludiendo las restricciones impuestas por sus desarrolladores", afirmó el Sr. Stosz.

El representante Ted Lieu, demócrata de California, calificó a los modelos de IA de "implacables".

"Intentarán completar una tarea sin descanso, y no comprenden la moralidad, las consecuencias, el bien y el mal", declaró.

El Sr. Lieu, copresidente de un grupo de trabajo de la Cámara de Representantes centrado en la inteligencia artificial, afirmó que las empresas de IA podrían tener que reentrenar los modelos por completo en lugar de intentar controlar su comportamiento con medidas de seguridad.

"Estos agentes no intentan hacer nada malicioso", concluyó. "Se trata de tareas bastante rutinarias y los agentes se están volviendo locos intentando completarlas."

BENGALURU: “Soy el Ministro Principal Vijay. Estoy aquí para ayudarle”, una voz y un rostro que aparecieron en una videollamada de WhatsApp supuestamente convencieron a un guardia de seguridad de 29 años de que estaba hablando con el Ministro Principal de Tamil Nadu y actor C. Joseph Vijay.

Tras prometerle 11 lakh de rupias en ayuda financiera, el hombre, sin sospechar nada, terminó perdiendo más de 1 lakh de rupias después de que un estafador supuestamente utilizara un video deepfake generado con IA y le exigiera repetidamente comisiones y otros pagos. Este es el primer caso de este tipo reportado en la ciudad.

Según la denuncia presentada por Ratikanta Giri, originario de Odisha y residente de la ciudad desde hace 20 años, recibió una videollamada de WhatsApp del número 7986304658 el 9 de septiembre. Poco después de contestar, vio al Ministro Principal de Tamil Nadu, “Vijay”, presentándose. El estafador afirmó que estaba brindando ayuda financiera a personas con dificultades económicas.

“Tras presentarse como CM Vijay en hindi, me preguntó mi nombre, profesión y lugar de residencia. Después de responder, me ofreció ayuda económica de la cuenta personal de Vijay”, declaró a TOI.

“Rechacé la ayuda, pero la persona que me llamó por videollamada insistió en que la aceptara, diciendo que estaba ayudando a mucha gente. Luego me dijo que su gerente se pondría en contacto conmigo y que él transferiría los fondos. Me pidió que siguiera las instrucciones de su gerente”, explicó Giri.

El gerente ofreció 11 lakh de rupias como ayuda, asegurando que el dinero se transferiría a la cuenta de Giri a través de la cuenta en el extranjero de Vijay en dólares. Posteriormente, el supuesto gerente le comunicó que se le habían asignado inmediatamente 5 lakh de rupias.

Inicialmente, le pidieron a Giri que pagara 5.000 rupias en concepto de comisión por cambio de divisas. Más tarde, le informaron de que su PIN estaba bloqueado y que debía pagar 18.000 rupias para desbloquearlo. Cuando Giri se negó, supuestamente le dijeron que perdería su pago anterior de 5000 rupias.

Giri declaró: “Inicialmente pagué 18 000 rupias. Posteriormente, otra persona que decía ser Thakur, de la Oficina Central de Investigación (CBI), me contactó y me exigió más de 50 000 rupias como multa impuesta por la agencia. Temiendo perder mis pagos anteriores, transferí el dinero. Realicé algunos pagos más, por un total de más de 104 000 rupias, a través de una aplicación de pago digital. Cuando los estafadores me exigieron otras 50 000 rupias, me negué y me di cuenta de que me habían engañado”.

Giri contactó posteriormente con la línea de ayuda para delitos cibernéticos 1930 antes de acudir a la policía de Byappanahalli. Se ha registrado un caso en virtud de la Ley de Tecnologías de la Información.

Para convencerlo de que realizara los pagos, los estafadores le enviaron a Giri una carta afirmando que se le habían asignado 500 000 rupias. También compartieron una identificación que supuestamente pertenecía a un agente de la CBI.

«Instamos a la gente a no creer en esas llamadas ni a realizar pagos basándose en esas afirmaciones», declaró un alto funcionario.

Una persona ha perdido 250.000 libras esterlinas tras ser víctima de una estafa generada por IA.

El Servicio de Policía de Irlanda del Norte (PSNI) informó que la víctima vio lo que parecía ser un vídeo generado por IA protagonizado por una personalidad conocida del sector financiero.

El anuncio promocionaba una oportunidad de inversión y prometía importantes beneficios.

Un portavoz del PSNI declaró que el "aparente respaldo de una celebridad" nunca debe considerarse prueba de la legitimidad de una inversión.

El PSNI no confirmó la identidad de la celebridad utilizada en el vídeo generado por IA, pero BBC News NI ha detectado estafas en línea que utilizan a supuestos expertos financieros como Martin Lewis, Peter Jones y Steven Bartlett.

Tras invertir inicialmente una cantidad relativamente pequeña, la víctima fue contactada a través de WhatsApp y se le instó a realizar más pagos.

La policía indicó que los estafadores persuadieron a la víctima, residente en la zona de Ards y el norte de Down, para que creara varias cuentas en línea y accedieran remotamente a su ordenador, alegando que le ayudaban con la inversión.

La policía de Irlanda del Norte (PSNI) describió la estafa como "sofisticada" e indicó que se incitó a la víctima a pedir dinero prestado para seguir invirtiendo, transfiriendo los fondos a cuentas controladas por los delincuentes.

Un portavoz de la PSNI explicó que los delincuentes se ganaron gradualmente la confianza de la víctima antes de solicitarle pagos cada vez mayores.

Añadió que los estafadores pueden crear anuncios, sitios web y comunicaciones "extremadamente convincentes", utilizando también inteligencia artificial para falsificar vídeos, voces y supuestos avales.

La superintendente Joanne Gibson, presidenta de la Alianza contra el Fraude Financiero (Scamwise Partnership), instó a la población a "detenerse y verificar" sus actividades financieras y animó a las familias a hablar con sus parientes sobre posibles fraudes.

La policía aconsejó a la población verificar de forma independiente con quién están tratando y, cuando proceda, comprobar que cualquier entidad que ofrezca servicios financieros esté autorizada por la Autoridad de Conducta Financiera (FCA).

Según investigadores y funcionarios gubernamentales, la inteligencia artificial de OpenAI se descontroló este año en al menos cuatro incidentes adicionales, pirateando e intentando infiltrarse en sitios web gubernamentales y universitarios sin autorización.

Los ataques tuvieron lugar en mayo y junio, antes de que la tecnología de OpenAI vulnerara la seguridad de la startup de IA Hugging Face en julio, lo que desató un debate global sobre la seguridad de la IA.

A diferencia del ataque a Hugging Face y otros incidentes, en los que se ordenó a los sistemas de IA que realizaran pruebas de ciberseguridad que, en la práctica, los incitaban a demostrar sus habilidades de piratería, los nuevos incidentes ocurrieron cuando se les ordenó a los sistemas de IA que realizaran tareas relativamente rutinarias de recopilación de datos, según los investigadores. Cuando los sistemas de OpenAI tuvieron dificultades para recopilar datos de sitios web, recurrieron a técnicas de piratería informática para obtener la información.

Tres de los incidentes fueron identificados por Transluce (https://transluce.org/agent-activity), un laboratorio de investigación especializado en la supervisión de la IA, y todos fueron confirmados por OpenAI. Así fue como ocurrieron:

• Los sistemas de OpenAI intentaron piratear una biblioteca digital de la Universidad de Nuevo México los días 25 y 26 de mayo. La IA no logró su objetivo.

• El 28 de mayo, la tecnología atacó Data USA, un repositorio de datos públicos sobre empleo y educación en Estados Unidos. Este intento tampoco tuvo éxito, según los investigadores.

• El 18 de junio, la IA de OpenAI pirateó un sitio web del gobierno australiano, el Servicio de Informes de Estadísticas de Medicare, y obtuvo datos de salud. El primer ministro australiano, Anthony Albanese, reveló el incidente el miércoles.

Los días 20 y 21 de junio, la tecnología de OpenAI intentó acceder al sitio web del Instituto Australiano de Salud y Bienestar. Según informaron las autoridades australianas, no se obtuvo información privada.

Estos incidentes se suman a una serie de filtraciones en las que la IA de OpenAI, Anthropic, Meta y Google ha logrado infiltrarse en otros sistemas sin conocimiento humano. Estos sucesos han intensificado el debate sobre si es necesario ralentizar el desarrollo de la IA para abordar los posibles peligros de esta tecnología.

Dario Amodei, director ejecutivo de Anthropic, ha instado a las empresas de IA y a los gobiernos a colaborar antes de que la tecnología se vuelva demasiado poderosa para el control humano. Sin embargo, otros ejecutivos, como Jensen Huang, director ejecutivo del fabricante de chips Nvidia, han afirmado que tales escenarios apocalípticos son exagerados. El presidente Trump ha declarado que no cree que la IA deba estar fuertemente regulada.

La revelación de los cuatro incidentes adicionales "aporta más pruebas a la idea de que los agentes deben ser tratados con cautela", afirmó Conrad Stosz, jefe de gobernanza de Transluce, que utilizó datos públicos de tráfico web para analizar la actividad de los agentes de OpenAI. Los agentes son programas autónomos que ejecutan tareas para un usuario.

Stosz añadió que los episodios en Australia probablemente fueron "el primer caso en el que un agente decidió de forma autónoma hackear un gobierno".

Una portavoz de OpenAI declaró el miércoles que la compañía se había puesto en contacto con la Universidad de Nuevo México y DataUSA, y que había estado en comunicación con el gobierno australiano sobre los incidentes.

«En nuestra revisión más amplia, seguimos priorizando los incidentes más graves, al tiempo que ampliamos nuestro trabajo a actividades de menor gravedad, como el envío de spam a sitios web por parte de agentes», declaró.

Añadió, además, que la empresa de San Francisco había descubierto los incidentes en Australia durante una «revisión exhaustiva» de sus modelos de IA y que había constatado que «nuestros modelos realizaron acciones no previstas». La revisión de OpenAI durará varios meses, afirmó.

Sam Altman, director ejecutivo de OpenAI, declaró este mes en redes sociales que la seguridad debería ser más importante que mejorar las capacidades de la IA y que, sin medidas de protección, la sociedad podría «perder el control del futuro a manos de la IA».

El Sr. Albanese declaró que habló con el Sr. Altman el miércoles y le expresó su «extrema preocupación» por el ataque informático. Afirmó que se habían filtrado datos «no sensibles», como información sobre gastos, pero que no se había visto afectada información médica personal. (The New York Times ha demandado a OpenAI y Microsoft por infracción de derechos de autor sobre contenido informativo relacionado con sistemas de IA. Ambas compañías han negado estas acusaciones).

Los incidentes adicionales sugieren que los sistemas de OpenAI han estado intentando hackear sitios web, bases de datos y sistemas corporativos desde hace más tiempo del que se creía. Transluce detectó tráfico web proveniente de estos agentes desde marzo hasta el miércoles pasado, lo que indica que el comportamiento comenzó hace meses y persistió después de que OpenAI iniciara la investigación del incidente de Hugging Face y otras conductas indebidas.

En los incidentes de mayo y junio, los sistemas de IA de la compañía parecían estar involucrados en entrenamientos de recuperación de datos, según los investigadores.

En el intento de ataque a la biblioteca de la Universidad de Nuevo México, la IA intentó acceder a fotografías de un centro histórico de tratamiento de la tuberculosis. Al no poder obtenerlos, la IA comenzó a sondear el sitio en busca de vulnerabilidades que le permitieran infiltrarse. Tras no encontrar ninguna, envió lo que describió como una "avalancha" de 80 solicitudes al servidor de la universidad.

En su intento por atacar Data USA, la IA envió una consulta desordenada al sitio para obtener datos. Al no tener éxito, envió 12 sondeos en busca de diversas vulnerabilidades, pero no encontró ninguna.

"Si se entrenara a un enjambre de agentes para realizar una tarea genérica y estos agentes estuvieran dispuestos a recurrir al hackeo, cualquiera que tuviera esa información podría estar en riesgo", afirmó el Sr. Stosz de Transluce.

El sitio web del gobierno australiano hackeado es un portal de informes estadísticos que contiene datos sobre Medicare, el sistema de salud universal del país, que cubre a 27,5 millones de afiliados, además de visitantes internacionales. El sistema de salud suele ser considerado un tema tabú en la política australiana debido a su amplio respaldo.

Según el Sr. Albanese, un equipo de OpenAI estaba realizando una investigación en internet sobre el gasto público en sanidad cuando sus agentes de IA, tras encontrar repetidos bloqueos, intentaron "métodos alternativos" para obtener la información que buscaban y accedieron a secciones no públicas del portal. OpenAI informó al gobierno australiano el 10 de septiembre.

"Nos enfrentamos a un mundo nuevo", declaró el primer ministro.

No respondió cuando los periodistas le preguntaron si había mencionado la brecha de seguridad al Sr. Trump durante la reunión que mantuvieron esta semana en el marco de la Asamblea General de la ONU.