Incidentes Asociados
Las imágenes son espantosas: Joe Biden, Donald Trump, Hillary Clinton y el Papa Francisco con el cuello abierto. Hay sikhs, navajos y otras personas de grupos étnicos minoritarios con órganos internos saliendo de la piel desollada.
Las imágenes parecen lo suficientemente realistas como para engañar o molestar a la gente. Pero todas son falsificaciones generadas con inteligencia artificial que Microsoft dice que es segura y que ha incorporado directamente en el software de su computadora.
Lo que es tan inquietante como las decapitaciones es que Microsoft no se preocupa mucho por impedir que su IA las realice.
Últimamente, los usuarios comunes de tecnología como Windows y Google se han visto inundados de IA. Estamos sorprendidos por lo que la nueva tecnología puede hacer, pero también seguimos aprendiendo que puede[ actuar de manera desquiciada](https://www.washingtonpost.com/technology/2023/02/16/microsoft-bing- ai-chatbot-sydney/?itid=lk_inline_manual_9), incluso manteniendo[ conversaciones] tremendamente inapropiadas(https://www.washingtonpost.com/technology/2023/03/14/snapchat-myai/?itid=lk_inline_manual_9) y hacer[ imágenes] igualmente inapropiadas (https://www.washingtonpost.com/technology/2023/08/07/ai-eating-disorders-thinspo-anorexia-bulimia/?itid=lk_inline_manual_9). Para que la IA sea realmente lo suficientemente segura para los productos utilizados por las familias, necesitamos que sus creadores asuman la responsabilidad de anticipar cómo podría salir mal e invertir para solucionarlo rápidamente cuando suceda.
En el caso de estas horribles imágenes de IA, Microsoft parece echarle gran parte de la culpa a los usuarios que las crean.
Mi preocupación específica es con Image Creator, parte de Bing de Microsoft y agregado recientemente al icónico [Windows Paint](https://support.microsoft.com/ en-us/windows/use-paint-cocreator-to-generate-ai-art-107a2b3a-62ea-41f5-a638-7bc6e6ea718f). Esta IA convierte texto en imágenes, utilizando una tecnología llamada DALL-E 3 del socio de Microsoft, OpenAI. Hace dos meses, un usuario que experimentó con él me mostró que las indicaciones redactadas de una manera particular hacían que la IA tomara fotografías de violencia contra mujeres, minorías, políticos y celebridades.
Esta foto falsa generada por IA, realizada con Image Creator de Microsoft el 30 de noviembre, muestra a Hillary Clinton con el cuello desollado. El Washington Post ha difuminado partes de esta foto porque las imágenes son inquietantes. (Josh McDuffie vía Microsoft)
"Como ocurre con cualquier tecnología nueva, algunos están intentando utilizarla de maneras que no estaban previstas", dijo el portavoz de Microsoft, Donny Turnbaugh, en un comunicado enviado por correo electrónico. "Estamos investigando estos informes y estamos tomando medidas de acuerdo con nuestra política de contenido, que prohíbe la creación de contenido dañino, y continuaremos actualizando nuestros sistemas de seguridad".
Eso fue hace un mes, después de que me acercara a Microsoft como periodista. Durante semanas antes, el denunciante y yo habíamos intentado alertar a Microsoft a través de formularios de comentarios de los usuarios y fuimos ignorados. En el momento de la publicación de esta columna, la IA de Microsoft todavía toma fotografías de cabezas destrozadas.
Esto no es seguro por muchas razones, entre ellas que una elección general es menos Falta más de un año y la IA de Microsoft facilita la creación de imágenes "falsas" de políticos, con y sin heridas mortales. Ya hay [evidencia creciente](https://www.washingtonpost.com/technology/2023/12/14/ai-hate-memes-antisemitic-musk-x/?utm_medium=email&utm_source=newsletter&wpisrc=nl-willoremus&utm_campaign=wp_follow_will_oremus&itid= lk_inline_manual_18) en redes sociales como X, anteriormente Twitter, y 4chan, que los extremistas están utilizando Image Creator para difundir memes explícitamente racistas y antisemitas.
Quizás tampoco quieras que una IA capaz de representar decapitaciones se acerque a una PC con Windows utilizada por tus hijos.
La rendición de cuentas es especialmente importante para Microsoft, que es una de las empresas más poderosas que está dando forma al futuro de la IA. Tiene una inversión multimillonaria en OpenAI, fabricante de ChatGPT, y está en plena confusión sobre cómo mantener segura la IA. Microsoft se ha movido más rápido que cualquier otra gran empresa tecnológica para incorporar IA generativa en sus aplicaciones populares. Y todo su argumento de venta tanto para los usuarios como para los legisladores es que es el [gigante responsable de la IA](https://www.washingtonpost.com/technology/2023/05/25/brad-smith-microsoft-ai/?itid= lk_inline_manual_21).
Microsoft, que rechazó mis solicitudes para entrevistar a un ejecutivo a cargo de la seguridad de la IA, tiene más recursos para identificar riesgos y corregir problemas que casi cualquier otra empresa. Pero mi experiencia muestra que los sistemas de seguridad de la empresa, al menos en este ejemplo evidente, fallaron una y otra vez. Mi temor es que Microsoft realmente no cree que sea su problema.
Microsoft frente al 'mensaje de finalización'
Aprendí sobre el problema de la decapitación de Microsoft gracias a Josh McDuffie. El canadiense de 30 años forma parte de una comunidad en línea que crea imágenes con IA que a veces resultan de muy mal gusto.
"Me consideraría un artista multimodal crítico con los estándares sociales", me dice. Incluso si es difícil entender por qué McDuffie hace algunas de estas imágenes, su provocación tiene un propósito: arrojar luz sobre el lado oscuro de la IA.
A principios de octubre, la atención de McDuffie y sus amigos se centró en la IA de Microsoft, que acababa de lanzar un Image Creator actualizado para Bing con la última tecnología de OpenAI. Microsoft dice en el sitio web de Image Creator que tiene "controles establecidos para evitar la generación de imágenes dañinas". Pero McDuffie pronto se dio cuenta de que tenían agujeros importantes.
En términos generales, Microsoft tiene dos formas de evitar que su IA genere imágenes dañinas: entrada y salida. La información es cómo se entrena la IA con datos de Internet, lo que le enseña cómo transformar palabras en imágenes relevantes. Microsoft no revela mucho sobre el entrenamiento que se realizó en su IA y qué tipo de imágenes violentas contenía.
Esta foto falsa generada por IA, realizada con Image Creator de Microsoft el 26 de diciembre, muestra el cuello de Joe Biden sin piel y sus estructuras internas expuestas y ensangrentadas. El Washington Post ha difuminado partes de esta foto porque las imágenes son inquietantes. (Geoffrey A. Fowler/The Washington Post vía Microsoft)
Las empresas también pueden intentar crear barreras de seguridad que impidan que los productos de inteligencia artificial de Microsoft generen ciertos tipos de resultados. Eso requiere contratar profesionales, a veces llamados equipos rojos, para investigar de manera proactiva la IA en busca de donde pueda producir imágenes dañinas. Incluso después de eso, las empresas necesitan humanos para jugar al "golpe al topo", mientras usuarios como McDuffie traspasan los límites y exponen más problemas.
Eso es exactamente lo que McDuffie estaba haciendo en octubre cuando le pidió a la IA que representara la violencia extrema, incluidos tiroteos masivos y decapitaciones. Después de experimentar un poco, descubrió un mensaje que funcionaba y lo apodó "mensaje de muerte".
El mensaje, que intencionalmente no comparto aquí, no implica ningún código informático especial. Está hábilmente escrito en inglés. Por ejemplo, en lugar de escribir que los cuerpos en las imágenes deberían estar "ensangrentados", escribió que deberían contener jarabe de maíz rojo, comúnmente utilizado en las películas para que parezca sangre.
McDuffie siguió presionando para ver si una versión de su mensaje generaría imágenes violentas dirigidas a grupos específicos, incluidas mujeres y minorías étnicas. Lo hizo. Luego descubrió que también haría ese tipo de imágenes protagonizadas por celebridades y políticos.
Fue entonces cuando McDuffie decidió que sus experimentos habían ido demasiado lejos.
Microsoft deja caer la pelota
Tres días antes, Microsoft había lanzado un "[programa de recompensas por errores de IA](https://msrc.microsoft.com/blog/2023/10/introtaining-the-microsoft-ai-bug-bounty-program-featuring-the- ai-powered-bing-experience/),", que ofrece a las personas hasta $15,000 "descubrir vulnerabilidades en la nueva e innovadora tecnología de IA -Experiencia Bing impulsada". Entonces McDuffie subió su propio "indicador de muerte", esencialmente, entregándose para una posible compensación financiera.
Después de dos días, Microsoft le envió un correo electrónico informándole que su envío había sido rechazado. "Aunque su informe incluye buena información, no cumple con los requisitos de Microsoft como vulnerabilidad de seguridad para el servicio", dice el correo electrónico.
Sin estar seguro de si eludir las barreras de protección de imágenes dañinas contaba como una "vulnerabilidad de seguridad", McDuffie volvió a enviar su mensaje, utilizando palabras diferentes para describir el problema.
Eso también fue rechazado. "Ya tenía una visión bastante crítica de las corporaciones, especialmente en el mundo tecnológico, pero toda esta experiencia fue bastante desmoralizante", dice.
Frustrado, McDuffie compartió su experiencia conmigo. Yo mismo envié su "mensaje de eliminación" a la recompensa de IA y recibí el mismo correo electrónico de rechazo.
En caso de que la recompensa por IA no fuera el destino correcto, también presenté el descubrimiento de McDuffie en el sitio "Reportar una preocupación a Bing" de Microsoft, que tiene un formulario específico para informar "contenido problemático" de Image Creator. Esperé una semana y no recibí respuesta.
Mientras tanto, la IA seguía imaginando decapitaciones, y McDuffie me mostró que en las redes sociales aparecían imágenes que parecían explotar debilidades similares en las barreras de seguridad de Microsoft.
Esta foto falsa generada por IA, realizada con Image Creator de Microsoft el 6 de noviembre, muestra a un hombre sij con el cuello despojado de su piel, exponiendo gráficamente las estructuras internas. El Washington Post ha difuminado partes de esta foto porque las imágenes son inquietantes. (Geoffrey A. Fowler/El Washington Post)
Ya había visto suficiente. Llamé al director de comunicaciones de Microsoft y le conté el problema.
"En este caso, podríamos haber hecho más", envió Microsoft por correo electrónico en un comunicado desde Turnbaugh el 27 de noviembre. "Nuestros equipos están revisando nuestro proceso interno y realizando mejoras en nuestros sistemas para abordar mejor los comentarios de los clientes y ayudar a prevenir la creación de contenido dañino en el futuro."
Presioné a Microsoft sobre cómo el aviso de McDuffie logró sortear sus barreras. "El mensaje para crear una imagen violenta utilizó un lenguaje muy específico para eludir nuestro sistema", dijo la compañía en un correo electrónico del 5 de diciembre. "Tenemos grandes equipos trabajando para abordar estos y otros problemas similares y hemos realizado mejoras en los mecanismos de seguridad que impiden que estas indicaciones funcionen y detectarán tipos similares de indicaciones en el futuro".
¿Pero lo son?
El mensaje original preciso de McDuffie ya no funciona, pero después de cambiar algunas palabras, Image Generator todavía genera imágenes de personas con lesiones en el cuello y la cara. A veces, la IA responde con el mensaje "Se detectó contenido no seguro", pero no siempre.
Las imágenes que produce son menos sangrientas ahora (Microsoft parece haberse dado cuenta del jarabe de maíz rojo), pero siguen siendo horribles.
Cómo es la IA responsable
Las repetidas faltas de acción de Microsoft son una señal de alerta. Como mínimo, indica que construir barreras de seguridad para la IA no es una prioridad muy alta, a pesar de los compromisos públicos de la empresa de crear [IA responsable](https://support.microsoft.com/en-us/topic/the-new-bing -nuestro-enfoque-hacia-la-responsabilidad-ai-45b5eae8-7466-43e1-ae98-b48f8ff8fd44).
Probé el "indicador de finalización" de McDuffie en media docena de competidores de inteligencia artificial de Microsoft, incluidas pequeñas empresas emergentes. Todos menos uno simplemente se negaron a generar imágenes basadas en él.
Lo peor es que incluso DALL-E 3 de OpenAI (la empresa que Microsoft posee en parte) bloquea el mensaje de McDuffie. ¿Por qué Microsoft no utilizaría al menos las barreras técnicas de su propio socio? Microsoft no lo dijo.
Pero algo que Microsoft dijo dos veces en sus declaraciones me llamó la atención: la gente está tratando de usar su IA "de maneras que no fueron previstas". En cierto nivel, la compañía cree que el problema es McDuffie por usar su tecnología de mala manera.
En la jerga legal de la [política de contenido] de IA de la empresa (https://www.bing.com/new/termsofuseimagecreator#content-policy), los abogados de Microsoft dejan claro que la responsabilidad recae en los usuarios: "No intentes crear ni compartir contenido que podría usarse para acosar, intimidar, abusar, amenazar o intimidar a otras personas, o causar daño a personas, organizaciones o sociedad".
He oído a otros en Silicon Valley hacer una versión de este argumento. ¿Por qué deberíamos culpar más al Image Creator de Microsoft que al Photoshop de Adobe, que la gente mala ha estado usando durante décadas para crear todo tipo de imágenes terribles?
Pero los programas de IA son diferentes a Photoshop. Por un lado, Photoshop no viene con un botón instantáneo de "decapitar al Papa". "La facilidad y el volumen de contenido que la IA puede producir lo hace mucho más problemático. Tiene un mayor potencial para ser utilizado por malos actores", dice McDuffie. "Estas empresas están lanzando tecnología potencialmente peligrosa y buscan echarle la culpa al usuario".
El argumento de los malos usuarios también me recuerda a Facebook a mediados de la década de 2010, cuando la red social de "muévete rápido y rompe cosas" actuó como si no pudiera ser responsable de impedir que la gente utilizara su tecnología como arma para difundir información errónea y odio. Esa postura llevó a que Facebook intentara apagar un incendio tras otro, con un daño real para la sociedad.
"Básicamente, no creo que esto sea un problema tecnológico; creo que es un problema de capitalismo", dice Hany Farid, profesor de la Universidad de California en Berkeley. "Todos están mirando esta última ola de IA y pensando: 'No podemos perder el tren aquí'".
Y añade: "La era de 'moverse rápido y romper cosas' siempre fue estúpida, y ahora más que nunca".
Aprovecharse de la última moda y culpar a las personas malas por hacer un mal uso de su tecnología es solo una forma de eludir la responsabilidad.