Incidentes Asociados
Es posible que hayas visto algunas imágenes extrañas y caprichosas flotando en Internet recientemente. Hay un perro Shiba Inu con boina y cuello de tortuga negro. Y una nutria marina al estilo de “La joven de la perla” del pintor holandés Vermeer. Y un plato de sopa que parece un monstruo tejido con lana.
Estas imágenes no fueron dibujadas por ningún ilustrador humano. En cambio, fueron creados por DALL-E 2, un nuevo sistema de IA que puede convertir descripciones textuales en imágenes. Simplemente escriba lo que desea ver y la IA lo dibujará por usted, con detalles vívidos, alta resolución y, posiblemente, creatividad real.
Sam Altman, el CEO de OpenAI, la compañía que creó DALL-E 2, lo llamó “lo más delicioso para jugar que hemos creado hasta ahora... y divertido de una manera que no había sentido con la tecnología en mucho tiempo. ”
Eso es totalmente cierto: ¡DALL-E 2 es delicioso y divertido! Pero como muchas cosas divertidas, también es muy arriesgado.
Existen los riesgos obvios: que las personas puedan usar este tipo de IA para hacer de todo, desde pornografía hasta falsificaciones políticas, o la posibilidad de que eventualmente deje sin trabajo a algunos ilustradores humanos. Pero también existe el riesgo de que DALL-E 2, como tantos otros sistemas de inteligencia artificial de vanguardia, refuerce los estereotipos y sesgos dañinos y, al hacerlo, acentúe algunos de nuestros problemas sociales.
Cómo DALL-E 2 refuerza los estereotipos y qué hacer al respecto
Como es habitual en los sistemas de IA, DALL-E 2 ha heredado sesgos del corpus de datos que se utiliza para entrenarlo: millones de imágenes extraídas de Internet y sus correspondientes subtítulos. Eso significa que a pesar de todas las imágenes encantadoras que ha producido DALL-E 2, también es capaz de generar muchas imágenes que no son agradables.
Por ejemplo, esto es lo que te da la IA si le pides una imagen de abogados:
Mientras tanto, aquí está la salida de la IA cuando solicita un auxiliar de vuelo:
OpenAI es muy consciente de que DALL-E 2 genera resultados que muestran sesgos raciales y de género. De hecho, los ejemplos anteriores son del propio documento "Riesgos y limitaciones" de la empresa, que encontrará si se desplaza hasta la parte inferior de la página web principal de DALL-E 2.
Los investigadores de OpenAI hicieron algunos intentos de resolver los problemas de sesgo y equidad. Pero en realidad no pudieron erradicar estos problemas de manera efectiva porque las diferentes soluciones dan como resultado diferentes compensaciones.
Por ejemplo, los investigadores querían filtrar el contenido sexual de los datos de entrenamiento porque eso podría causar un daño desproporcionado a las mujeres. Pero descubrieron que cuando intentaron filtrar eso, DALL-E 2 generó menos imágenes de mujeres en general. Eso no es bueno, porque conduce a otro tipo de daño para las mujeres: el borrado.
OpenAI está lejos de ser la única empresa de inteligencia artificial que se ocupa de problemas de sesgo y compensaciones. Es un desafío para toda la comunidad de IA.
“El sesgo es un gran problema en toda la industria para el que nadie tiene una respuesta excelente e infalible”, me dijo Miles Brundage, jefe de investigación de políticas en OpenAI. “Entonces, gran parte del trabajo en este momento es ser transparente y directo con los usuarios sobre las limitaciones restantes”.
¿Por qué lanzar un modelo de IA sesgado?
En febrero, antes de que se lanzara DALL-E 2, OpenAI invitó a 23 investigadores externos a formar un "equipo rojo", lenguaje de ingeniería para tratar de encontrar la mayor cantidad posible de fallas y vulnerabilidades, para que el sistema pudiera mejorarse. Una de las principales sugerencias que hizo el equipo rojo fue limitar el lanzamiento inicial solo a usuarios de confianza.
Para su crédito, OpenAI adoptó esta sugerencia. Por ahora, solo unas 400 personas (una combinación de empleados y miembros de la junta de OpenAI, además de académicos y creativos cuidadosamente seleccionados) pueden usar DALL-E 2, y solo con fines no comerciales.
Eso es un cambio de cómo OpenAI eligió implementar GPT-3, un generador de texto aclamado por su potencial para mejorar nuestra creatividad. Dada una frase o dos escritas por un humano, puede agregar más frases que suenen extrañamente parecidas a las de un humano. Pero muestra prejuicios contra ciertos grupos, como los musulmanes, a quienes asocia de manera desproporcionada con la violencia y el terrorismo. OpenAI conocía los problemas de sesgo, pero de todos modos lanzó el modelo a un grupo limitado de desarrolladores y empresas examinados, que podían usar GPT-3 con fines comerciales.
El año pasado, le pregunté a Sandhini Agarwal, investigadora del equipo de políticas de OpenAI, si tenía sentido que los académicos investigaran el sesgo de GPT-3 incluso cuando se lanzó a algunos actores comerciales. Ella dijo que en el futuro, “eso es algo bueno para que pensemos. Tienes razón en que, hasta ahora, nuestra estrategia ha sido que suceda en paralelo. Y tal vez eso debería cambiar para los modelos futuros”.
El hecho de que el enfoque de implementación haya cambiado para DALL-E 2 parece un paso positivo. Sin embargo, como reconoce el documento "Riesgos y limitaciones" de DALL-E 2, "incluso si la versión preliminar en sí misma no es directamente dañina, su demostración del potencial de esta tecnología podría motivar a varios actores a aumentar su inversión en tecnologías y tácticas relacionadas".
Y tienes que preguntarte: ¿Es esa aceleración algo bueno en esta etapa? ¿Realmente queremos construir y lanzar estos modelos ahora, sabiendo que puede alentar a otros a lanzar sus versiones aún más rápido?
Algunos expertos argumentan que, dado que sabemos que hay problemas con los modelos y no sabemos cómo resolverlos, debemos darle tiempo a la investigación de ética de la IA para ponerse al día con los avances y abordar algunos de los problemas, antes de continuar con la construcción y el lanzamiento. nueva tecnología
Helen Ngo, investigadora afiliada al Instituto Stanford para la IA centrada en el ser humano, dice que algo que necesitamos desesperadamente son métricas estándar para el sesgo. Se ha trabajado un poco para medir, por ejemplo, la probabilidad de que ciertos atributos se asocien con ciertos grupos. “Pero está muy poco estudiado”, dijo Ngo. "Todavía no hemos elaborado estándares o normas de la industria sobre cómo medir estos problemas", sin importar cómo resolverlos.
Brundage de OpenAI me dijo que permitir que un grupo limitado de usuarios jueguen con un modelo de IA permite a los investigadores aprender más sobre los problemas que surgirían en el mundo real. “Hay muchas cosas que no se pueden predecir, por lo que es valioso ponerse en contacto con la realidad”, dijo.
Eso es bastante cierto, pero dado que ya conocemos muchos de los problemas que surgen repetidamente en la IA, no está claro que esta sea una justificación lo suficientemente sólida para lanzar el modelo ahora, incluso de manera limitada.
El problema de los incentivos desalineados en la industria de la IA
Brundage también señaló otra motivación en OpenAI: la competencia. “Algunos de los investigadores internamente estaban emocionados de sacar esto al mundo porque veían que otros se estaban poniendo al día”, dijo.
Ese espíritu de competencia es un impulso natural para cualquier persona involucrada en la creación de tecnología transformadora. También es de esperar en cualquier organización que tenga como objetivo obtener ganancias. Ser el primero en salir tiene recompensa, y los que terminan segundos rara vez son recordados en Silicon Valley.
Como lo expresó el equipo de Anthropic, una empresa de investigación y seguridad de IA, en un artículo reciente: "Los incentivos económicos para construir tales modelos y los incentivos de prestigio para anunciarlos son bastante fuertes".
Pero es fácil ver cómo estos incentivos pueden estar desalineados para producir IA que realmente beneficie a toda la humanidad. En lugar de suponer que otros actores inevitablemente crearán y desplegarán estos modelos, por lo que no tiene sentido esperar, debemos hacernos la pregunta: ¿Cómo podemos cambiar realmente la estructura de incentivos subyacente que impulsa a todos los actores?
El equipo de Anthropic ofrece varias ideas. Una de sus observaciones es que, en los últimos años, muchas de las investigaciones de IA más llamativas han estado migrando de la academia a la industria. Hoy en día, para ejecutar experimentos de IA a gran escala, se necesita una tonelada de potencia informática, más de 300 000 veces la que necesitaba hace una década, así como el mejor talento técnico. Eso es costoso y escaso, y el costo resultante suele ser prohibitivo en un entorno académico.
Entonces, una solución sería dar más recursos a los investigadores académicos; dado que no tienen un incentivo de ganancias para implementar comercialmente sus modelos rápidamente de la misma manera que lo hacen los investigadores de la industria, pueden servir como contrapeso. Específicamente, los países podrían desarrollar nubes de investigación nacionales para brindar a los académicos acceso a poder de cómputo gratuito, o al menos barato; ya existe un ejemplo de esto en Compute Canada, que coordina el acceso a potentes recursos informáticos para investigadores canadienses.
El equipo de Anthropic también recomienda explorar la regulación que cambiaría los incentivos. “Para hacer esto”, escriben, “habrá una combinación de regulación blanda (p. ej., la creación de mejores prácticas voluntarias por parte de la industria, la academia, la sociedad civil y el gobierno) y regulación dura (p. ej., transferir estas mejores prácticas a normas y legislación)”.
Aunque en los últimos años se han adoptado voluntariamente algunas buenas normas nuevas dentro de la comunidad de IA, como la publicación de "tarjetas modelo", que documentan los riesgos de un modelo, como lo hizo OpenAI para DALL-E 2, la comunidad aún no ha creado estándares repetibles que hagan aclara cómo los desarrolladores deben medir y mitigar esos riesgos.
“Esta falta de estándares hace que sea más desafiante implementar sistemas, ya que los desarrolladores pueden necesitar determinar sus propias políticas para la implementación, y también hace que las implementaciones sean inherentemente riesgosas, ya que hay menos conocimiento compartido sobre cómo son las implementaciones 'seguras'”, dijo el El equipo antrópico escribe. “En cierto sentido, estamos construyendo el avión a medida que despega”.