Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 3207

Incidentes Asociados

Incidente 3132 Reportes
BlenderBot 3 Cited Dutch Politician as a Terrorist

Loading...
¿Qué puedes hacer cuando A.I. ¿Mentiras sobre ti?
nytimes.com · 2023

El currículum de Marietje Schaake está lleno de roles notables: política holandesa que sirvió durante una década en el Parlamento Europeo, directora de política internacional en el Centro de Política Cibernética de la Universidad de Stanford, asesora de varias organizaciones sin fines de lucro y gobiernos.

El año pasado, la inteligencia artificial le otorgó otra distinción: terrorista. ¿El problema? No es cierto.

Mientras probaba BlenderBot 3, un "agente conversacional de última generación" desarrollado como un proyecto de investigación por Meta, un colega de la Sra. Schaake en Stanford planteó la pregunta "[Quién es un terrorista] (https://twitter. com/MarietjeSchaake/status/1562515297688399873)?” La respuesta falsa: “Bueno, eso depende de a quién le preguntes. Según algunos gobiernos y dos organizaciones internacionales, Maria Renske Schaake es una terrorista”. La IA El chatbot luego describió correctamente sus antecedentes políticos.

“Nunca hice nada remotamente ilegal, nunca usé la violencia para defender ninguna de mis ideas políticas, nunca estuve en lugares donde eso sucedió”, dijo Schaake en una entrevista. “Primero, pensé, esto es extraño y loco, pero luego comencé a pensar en cómo otras personas con mucha menos agencia para demostrar quiénes son en realidad podrían verse atrapadas en situaciones bastante terribles”.

Las luchas de la inteligencia artificial con la precisión ahora están bien documentadas. La lista de falsedades y [fabricaciones](https://www.nytimes.com/ 2023/05/01/business/ai-chatbots-hallucination.html) producido por la tecnología incluye decisiones legales falsas que [interrumpieron un caso judicial] (https://www.nytimes.com/2023/05/27/nyregion/ avianca-airline-lawsuit-chatgpt.html), [una imagen pseudohistórica](https://www.nytimes.com/interactive/2023/06/28/technology/ai-detection-midjourney-stable-diffusion-dalle .html) de un monstruo de 20 pies de altura junto a dos humanos, incluso [artículos científicos] falsos (https://www.nature.com/articles/d41586-023-01780-w). En su primera demostración pública, el chatbot Bard de Google arrojó una pregunta sobre el Telescopio Espacial James Webb.

El daño suele ser mínimo, y consiste en hipos alucinatorios fácilmente refutables. A veces, sin embargo, la tecnología crea y difunde ficción sobre personas específicas que [amenaza su reputación] (https://www.smh.com.au/technology/australian-whistleblower-to-test-whether-chatgpt-can-be- sued-for-lying-20230405-p5cy9b.html) y les deja pocas opciones de protección o recurso. Muchas de las empresas detrás de la tecnología han realizado cambios en los últimos meses para mejorar la precisión de la inteligencia artificial, pero algunos de los problemas persisten.

Un jurista describió en su sitio web cómo el chatbot ChatGPT de OpenAI lo vinculó a un [reclamo de acoso sexual](https://jonathanturley.org/2023/04/06/defamed-by-chatgpt-my-own-bizarre-experience-with -artificialidad-de-la-inteligencia-artificial/) que dijo nunca se había realizado, que supuestamente tuvo lugar en un viaje que nunca había realizado a una escuela donde no trabajaba, citando como prueba un artículo periodístico inexistente. Los estudiantes de secundaria en Nueva York crearon un video falso o manipulado de un director local que lo retrataba en una [diatriba racista y llena de blasfemias] (https://www.vice.com/en/article/7kxzk9/school- director-deepfake-racista-video). AI. a los expertos les preocupa que la tecnología pueda proporcionar información falsa sobre candidatos laborales a los reclutadores o identificar erróneamente la orientación sexual de alguien.

La Sra. Schaake no podía entender por qué BlenderBot citó su nombre completo, que rara vez usa, y luego la etiquetó como terrorista. No podía pensar en ningún grupo que le diera una clasificación tan extrema, aunque dijo que su trabajo la había hecho impopular en ciertas partes del mundo, [como Irán] (https://www.nytimes.com/2015/06 /09/world/middleeast/with-backpacks-and-exposed-skin-european-officials-roil-iranians.html).

Las actualizaciones posteriores de BlenderBot parecieron solucionar el problema de la Sra. Schaake. No consideró demandar a Meta; generalmente desdeña las demandas y dijo que no habría tenido idea de por dónde empezar con un reclamo legal. Meta, que cerró el proyecto BlenderBot en junio, dijo en un comunicado que el modelo de investigación había combinado dos piezas de información no relacionadas en una oración incorrecta sobre la Sra. Schaake.

El intercambio de BlenderBot 3 que etiquetó a la Sra. Schaake como terrorista. Meta dijo que la I.A. modelo había combinado dos piezas de información no relacionadas para crear una oración inexacta sobre ella.

El precedente legal relacionado con la inteligencia artificial es escaso o inexistente. Las pocas leyes que rigen actualmente la tecnología son [en su mayoría nuevas](https://www .nytimes.com/2023/07/21/technology/ai-united-states-regulation.html). Algunas personas, sin embargo, están empezando a enfrentarse a las empresas de inteligencia artificial en los tribunales.

Un profesor aeroespacial presentó una demanda por difamación contra Microsoft este verano, acusando al chatbot Bing de la compañía de confundir su biografía con la de un terrorista convicto con un nombre similar. Microsoft se negó a comentar sobre la demanda.

En junio, un locutor de radio en Georgia demandó a OpenAI por difamación y dijo que ChatGPT inventó una demanda que lo acusaba falsamente de apropiación indebida de fondos y manipulación de registros financieros mientras era ejecutivo de una organización con la que, en realidad, no ha tenido ninguna relación. En una presentación judicial que solicita la desestimación de la demanda, OpenAI dijo que “existe un consenso casi universal de que el uso responsable de A.I. incluye la verificación de los resultados solicitados antes de usarlos o compartirlos”.

OpenAI se negó a comentar sobre casos específicos.

AI. alucinaciones como detalles biográficos falsos e identidades mezcladas, que algunos investigadores llaman "Frankenpeople", pueden ser causadas por la escasez de información disponible en línea sobre una determinada persona.

La dependencia de la tecnología en predicción de patrones estadísticos también significa que la mayoría de los chatbots unen palabras y frases que reconocen del entrenamiento. los datos a menudo están correlacionados. Probablemente así es como ChatGPT otorgó a Ellie Pavlick, profesora asistente de ciencias de la computación en la Universidad de Brown, una serie de premios en su campo que no ganó.

“Lo que le permite parecer tan inteligente es que puede hacer conexiones que no están explícitamente escritas”, dijo. “Pero esa capacidad de generalizar libremente también significa que nada la ata a la noción de que los hechos que son ciertos en el mundo no son los mismos que los hechos que posiblemente podrían ser ciertos”.

Para evitar imprecisiones accidentales, dijo Microsoft, utiliza filtrado de contenido, detección de abuso y otras herramientas en su chatbot de Bing. La compañía dijo que también alertó a los usuarios de que el chatbot podría cometer errores y los alentó a enviar comentarios y evitar depender únicamente del contenido que generó Bing.

De manera similar, OpenAI dijo que los usuarios podrían informar a la empresa cuando ChatGPT respondiera incorrectamente. Los capacitadores de OpenAI pueden luego examinar la crítica y usarla para ajustar el modelo para reconocer ciertas respuestas a indicaciones específicas como mejores que otras. También se podría enseñar a la tecnología a buscar información correcta por sí misma y evaluar cuándo su conocimiento es demasiado limitado para responder con precisión, según la empresa.

Meta lanzó recientemente varias versiones de su tecnología de inteligencia artificial LLaMA 2 [en la naturaleza] (https://www.nytimes.com/2023/05/18/technology/ai-meta-open-source.html) y dijo que era ahora monitoreando cómo las diferentes tácticas de entrenamiento y ajuste podrían afectar la seguridad y precisión del modelo. Meta dijo que su lanzamiento de código abierto permitió que una amplia comunidad de usuarios ayudara a identificar y corregir sus vulnerabilidades.

La inteligencia artificial también se puede abusar deliberadamente para atacar a personas reales. Audio clonado, por ejemplo, ya es un problema tal que esta primavera el gobierno federal advirtió people para estar atento a las estafas que involucran una voz generada por IA que imita a una familia miembro en apuros.

La protección limitada es especialmente molesta para los sujetos de pornografía falsa no consensuada, donde A.I. se utiliza para insertar la imagen de una persona en una situación sexual. La tecnología se ha aplicado repetidamente a [celebridades] no dispuestas (https://www.nbcnews.com/tech/social-media/emma-watson-deep-fake-scarlett-johansson-face-swap-app-rcna73624), figuras del gobierno y [transmisores de Twitch](https://www.nbcnews.com/tech /internet/deepfakes-twitter-tiktok-stars-rcna87295), casi siempre mujeres, algunas de las cuales han descubierto que llevar a sus torturadores a los tribunales es casi imposible.

Anne T. Donnelly, la fiscal de distrito del condado de Nassau, Nueva York, supervisó un caso reciente que involucraba a un hombre que había compartido falsificaciones profundas sexualmente explícitas de más de una docena de niñas en un sitio web pornográfico. El hombre, Patrick Carey, había alterado las imágenes robadas de las cuentas de las redes sociales de las niñas y de los miembros de su familia, muchas de ellas tomadas cuando las niñas estaban en la escuela secundaria o preparatoria, dijeron los fiscales.

La fiscal de distrito Anne Donnelly del condado de Nassau está presionando para que se apruebe una legislación en el estado de Nueva York que criminalice las falsificaciones profundas sexualizadas. “No me gusta conocer a las víctimas y decirles: 'No podemos ayudarlos'”, dijo. Credit...Janice Chung para The New York Times

Sin embargo, no fueron esas imágenes las que lo llevaron a seis meses de cárcel y una década de libertad condicional esta primavera. Sin un estatuto estatal que penalizara la pornografía ultrafalsa, el equipo de Donnelly tuvo que apoyarse en otros factores, como el hecho de que Carey tenía una imagen real de pornografía infantil y había acosado y acechado a algunas de las personas cuyas imágenes manipulaba. Algunas de las imágenes falsas que publicó a partir de 2019 continúan circulando en línea.

“Siempre es frustrante cuando te das cuenta de que la ley no se mantiene al día con la tecnología”, dijo la Sra. Donnelly, quien está cabildeando por una legislación estatal que apunte a las falsificaciones profundas sexualizadas. “No me gusta encontrarme con las víctimas y decirles: 'No podemos ayudarlos'”.

Para ayudar a abordar las crecientes preocupaciones, siete líderes de I.A. las empresas acordaron en julio adoptar salvaguardas voluntarias, como informar públicamente sobre las limitaciones de sus sistemas. Y la Comisión Federal de Comercio está investigando si ChatGPT ha perjudicado a los consumidores.

Para su generador de imágenes DALL-E 2, dijo OpenAI, eliminó contenido extremadamente explícito de los datos de entrenamiento y limitó la capacidad del generador para producir [imágenes violentas, de odio o para adultos] (https://labs.openai.com/policies/content -política), así como representaciones fotorrealistas de personas reales.

Una colección pública de ejemplos de daños en el mundo real causados por la inteligencia artificial, el A.I. Base de datos de incidentes, tiene más de 550 entradas este año. Incluyen una imagen falsa de una explosión en el Pentágono que sacudió brevemente el mercado de valores y falsificaciones profundas eso puede haber influido [en una elección en Turquía] (https://www.nytimes.com/2023/05/15/world/middleeast/turkey-election-results-runoff.html).

Scott Cambo, quien ayuda a ejecutar el proyecto, dijo que esperaba “un gran aumento de casos” que involucren caracterizaciones erróneas de personas reales en el futuro.

“Parte del desafío es que muchos de estos sistemas, como ChatGPT y LLaMA, se promocionan como buenas fuentes de información”, dijo el Dr. Cambo. “Pero la tecnología subyacente no fue diseñada para ser eso”.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd