Incidentes Asociados
Loading...
Resumen A continuación, resumimos los hallazgos iniciales sobre los riesgos potenciales asociados con DALL·E 2 y las mitigaciones destinadas a abordar esos riesgos como parte de la versión preliminar en curso de esta tecnología. Estamos compartiendo estos hallazgos para permitir una comprensión más amplia de la tecnología de generación y modificación de imágenes y algunos de los riesgos asociados, y para proporcionar un contexto adicional para los usuarios de DALL·E 2 Preview. Sin medidas de seguridad suficientes, los modelos como DALL·E 2 podrían usarse para generar una amplia gama de contenido engañoso y dañino, y podrían afectar la forma en que las personas perciben la autenticidad del contenido en general. Además, DALL·E 2 hereda varios sesgos de sus datos de entrenamiento y, en ocasiones, sus resultados refuerzan los estereotipos sociales. La vista previa de DALL·E 2 implica una variedad de mitigaciones destinadas a prevenir y mitigar los riesgos relacionados, y el acceso limitado es particularmente crítico a medida que aprendemos más sobre la superficie de riesgo. Advertencia de contenido Este documento puede contener contenido visual y escrito que algunos pueden encontrar perturbador u ofensivo, incluido el contenido de naturaleza sexual, odiosa o violenta, así como el que representa o hace referencia a estereotipos. Introducción Este documento se inspira en los conceptos de tarjetas modelo y tarjetas de sistema para proporcionar información sobre la vista previa de DALL·E 2, una demostración de generación de imágenes que OpenAI está lanzando a usuarios de confianza con fines no comerciales. Este documento a menudo toma el nivel de análisis del sistema, y ese sistema incluye mitigaciones que no son de modelo, como controles de acceso, filtros de imágenes y avisos, y monitoreo de abuso. Esta es una evaluación del sistema al 6 de abril de 2022, denominada en este documento "DALL·E 2 Preview", y el modelo generativo subyacente se denomina "DALL·E 2". Este documento se basa en los hallazgos de investigadores internos y externos, y pretende ser una investigación inicial de esta plataforma y el modelo subyacente. Nos enfocamos específicamente en los riesgos más que en los beneficios. Por lo tanto, nuestro objetivo no es proporcionar un sentido completo de los efectos generales de las tecnologías de generación de imágenes. Además, los modelos en cuestión completaron la capacitación hace relativamente poco tiempo y la mayor parte del período de evaluación de riesgos (descrito en Proceso de evaluación de riesgos a continuación) probó modelos anteriores. Como tal, este análisis pretende ser preliminar y para ser leído y utilizado como tal. Estamos entusiasmados de apoyar más investigaciones informadas por las preguntas restantes sobre cómo implementar estos modelos de manera segura, equitativa y exitosa. El documento procede de la siguiente manera. Primero, describimos diferentes facetas del sistema DALL·E 2 Preview, comenzando con la funcionalidad del modelo, luego cubriendo el filtrado de entrada y las políticas relacionadas con el acceso, el uso y el contenido. En segundo lugar, resumimos los procesos realizados interna y externamente para generar el análisis que aquí se presenta. En tercer lugar, describimos una serie de sondeos y evaluaciones orientados al riesgo realizados en DALL·E 2, que abarcan el sesgo y la representación; desinformación y mala información; contenido explícito; efectos económicos; mal uso que involucre odio, acoso y violencia; y finalmente, derechos de autor y memorización. En cuarto lugar, discutimos cómo se compara DALL·E 2 con las tecnologías existentes y cómo podría combinarse con ellas. En quinto y último lugar, describimos el trabajo futuro que podría arrojar más luz sobre algunos de los riesgos y mitigaciones discutidos. Se espera que este documento evolucione en las próximas semanas a medida que actualicemos los planes de implementación y aprendamos más sobre el sistema y el modelo. Modelo de componentes del sistema DALL·E 2 es un modelo de inteligencia artificial que toma un mensaje de texto y/o una imagen existente como entrada y genera una nueva imagen como salida. DALL·E 2 fue desarrollado por investigadores de OpenAI para comprender las capacidades y las implicaciones más amplias de los modelos generativos multimodales. Para ayudarnos a nosotros y a otros a comprender mejor cómo los modelos de generación de imágenes se pueden usar y abusar, OpenAI brinda acceso a un subconjunto de las capacidades de DALL·E 2 a través de DALL·E 2 Preview. DALL·E 2 se basa en DALL·E 1 (Paper | Model Card), aumentando el nivel de resolución, fidelidad y fotorrealismo general que es capaz de producir. DALL·E 2 también está capacitado para tener nuevas capacidades en comparación con DALL·E 1. Capacidades de modelo Además de generar imágenes basadas en indicaciones de descripción de texto ("Texto a imagen"), DALL·E 2 puede modificar imágenes existentes cuando se le solicite mediante un descripción del texto ("Repintado"). También puede tomar una imagen existente como entrada y se le puede pedir que produzca una variación creativa ("Variaciones"). Datos de entrenamiento del modelo DALL·E 2 se entrenó en pares de imágenes y sus leyendas correspondientes. Los pares se extrajeron de una combinación de fuentes disponibles públicamente y fuentes autorizadas. Hemos hecho un esfuerzo por filtrar el contenido más explícito de los datos de entrenamiento para DALL·E 2.2. Este contenido explícito filtrado incluye contenido gráfico sexual y violento, así como imágenes de algunos símbolos de odio.3 El filtrado fue informado por, pero distinto de lo anterior, Filtrado más agresivo (eliminación de todas las imágenes de personas) que realizamos al crear GLIDE, un modelo distinto que publicamos hace varios meses. Realizamos un filtrado más agresivo en ese contexto porque se pretendía que una versión pequeña del modelo fuera de código abierto. Es más difícil evitar que un modelo de código abierto se utilice con fines dañinos que uno que solo se expone a través de una interfaz controlada, sobre todo porque un modelo, una vez de código abierto, puede modificarse y/o combinarse con otros. herramientas de terceros.4 Realizamos una auditoría interna de nuestro filtrado de contenido sexual para ver si concentraba o exacerbaba algún sesgo particular en los datos de capacitación. Descubrimos que nuestro enfoque inicial para filtrar contenido sexual reducía la cantidad de imágenes generadas de mujeres en general y, como resultado, hicimos ajustes a nuestro enfoque de filtrado. Documentos y otros recursos para obtener más información Para obtener recursos adicionales sobre DALL·E 2 y DALL·E 2 Preview, consulte: DALL·E 2 Landing Page DALL·E 2 Paper Para obtener recursos adicionales sobre DALL·E 1 y Glide, consulte: DALL ·E 1: papel, tarjeta modelo, publicación de blog GLIDE: papel, código y pesos Restricciones Filtros de entrada Dentro de la vista previa de DALL·E 2, filtros en las entradas (es decir, indicaciones de texto para "Texto a imagen" y Repintar) y en cargas (es decir, imágenes para Repintar o Variaciones) buscan evitar que los usuarios usen la Vista previa para los siguientes tipos de avisos y cargas: Aquellos con fuertes preocupaciones de seguridad adjuntas (por ejemplo, imágenes de niños sexualizadas o sugerentes, contenido violento, contenido explícitamente político y contenido tóxico). Lugares donde el único significado del contenido constituiría una violación de nuestra política de contenido (es decir, la violación no depende del contexto en el que se comparte ese contenido). Mensajes relacionados con casos de uso que no admitimos en este momento (por ejemplo, solo admitimos mensajes en inglés en este momento). Indicaciones en áreas donde el comportamiento del modelo no es sólido o puede estar desalineado debido al filtrado previo al entrenamiento (p. ej., como resultado de los filtros previos al entrenamiento, no podemos permitir con confianza la generación de imágenes relacionadas con los símbolos de odio estadounidenses comunes, incluso en los casos en que el usuario destinado a contextualizar adecuadamente dichos símbolos y no a respaldarlos). Un objetivo que no era en esta etapa era captar: Indicaciones en áreas donde el comportamiento del modelo no es sólido o puede estar desalineado debido a limitaciones generales en los datos de entrenamiento (por ejemplo, indicaciones que podrían demostrar sesgos perjudiciales en general o indicaciones expresadas en forma de preguntas). El uso de filtros de esta manera tiene algunas deficiencias conocidas: Los filtros no capturan completamente las acciones que violan nuestros Términos de uso. Esto se debe en parte al hecho de que hay muchos ejemplos de uso indebido que están directamente relacionados con el contexto en el que se comparte el contenido, más que con el contenido en sí mismo (por ejemplo, muchas imágenes aparentemente inocuas pueden ser explotadas por operaciones de información, como se analiza en la sección Desinformación). abajo). Los filtros en las indicaciones y las imágenes cargadas también funcionan de forma independiente, por lo que los filtros no rechazan los casos en los que la indicación y la imagen son neutrales de forma independiente pero, cuando se consideran en combinación, pueden constituir una indicación de uso indebido (p. ej., la indicación "una mujer" y una imagen de un ducha en Inpainting). Los clasificadores de entrada tienen la capacidad de introducir o amplificar potencialmente el sesgo, p. en la medida en que pueda dar lugar a la supresión de determinados grupos. Aquí, nuestro objetivo es errar por el lado de evitar el sesgo que puede introducir una clasificación rápida, aunque esto puede hacer que algunos de los sesgos dañinos del modelo sean más visibles. Es decir, los falsos positivos pueden causar daño a los grupos minoritarios silenciando sus voces u oportunidades. Esto también puede extenderse a los verdaderos positivos, p. sabemos que el modelo produce resultados particularmente sesgados o sexualizados en respuesta a solicitudes de imágenes de mujeres y que es probable que estos resultados sean "perjudiciales" en ciertos casos; sin embargo, filtrar todas las imágenes de mujeres causaría sus propios problemas. Además, se ha descubierto que los métodos comúnmente utilizados para mitigar dicho contenido funcionan menos bien para los grupos marginados (Sap et al., 2019), lo que motiva aún más un enfoque holístico y contextual para la mitigación a nivel del sistema, incluidas las mitigaciones a nivel del sistema. acceso. En su mayor parte, nuestros filtros de entrada tienen como objetivo reducir los casos en los que el contenido generado o el contenido de entrada es necesariamente una violación de nuestra política de contenido (detalles a continuación). En la actualidad, los filtros de avisos no cubren los avisos que probablemente den lugar a muestras de prejuicios perjudiciales o a la generación holística de personas o niños. Debido a que nuestro enfoque de filtrado es imperfecto, un componente clave de nuestra estrategia de mitigación actual es limitar el acceso al sistema a los usuarios confiables, con quienes reforzamos directamente la importancia de seguir nuestras pautas de casos de uso (consulte la discusión en Políticas y cumplimiento). Límites de tarifas y uso programático Más allá de las limitaciones en los tipos de contenido que se pueden generar, también limitamos la velocidad a la que los usuarios pueden interactuar con el sistema DALL·E 2. Además de lo anterior, hemos establecido límites de frecuencia (por ejemplo, límites en la cantidad de mensajes o imágenes que un usuario envía o genera por minuto o simultáneamente). Los propósitos principales de los límites de velocidad en esta etapa son ayudar a identificar el uso anómalo y limitar la posibilidad de abuso a gran escala. En esta etapa, no permitimos el acceso programático al modelo por parte de empleados que no son de OpenAI. Acceso Actualmente mantenemos estrictas limitaciones de acceso. Inicialmente, hasta 400 usuarios de confianza (con ese número incluidos los empleados de OpenAI) tendrán acceso a la versión preliminar de DALL·E 2. Más específicamente, el acceso actualmente está restringido a: 200 empleados de OpenAI; Unas pocas docenas de investigadores, actualmente 25, con algunos más en proceso, cuyo objetivo es "equipar rojo" el sistema (describimos este proceso con más detalle en la sección "Proceso" a continuación); 10 creatividades; 165 "amigos de la empresa" (miembros de la junta de OpenAI, un pequeño número de empleados de Microsoft, un número limitado de amigos/familiares de los empleados de OpenAI, etc.). La confianza está garantizada porque los usuarios son conocidos personalmente y examinados por los empleados de OpenAI, y el límite de 400 personas mantiene el rendimiento del sistema lo suficientemente bajo como para permitir la revisión humana del contenido generado y el posible uso indebido. Estas limitaciones de acceso están en línea con el paradigma de acceso de capacidad estructurada que informó la implementación de GPT-3 (Shevlane et al., 2022), y lo que recientemente describimos como parte de nuestra estrategia de implementación, incluido el análisis de riesgos previo a la implementación y comenzando con un pequeño grupo de usuarios con la intención de una iteración continua. Estas mitigaciones de acceso estricto tienen limitaciones. Por ejemplo, el poder de controlar el uso de una imagen generada en particular disminuye en el momento en que una imagen sale de la plataforma. Debido a que la confianza disminuye, las segundas imágenes se comparten fuera de la plataforma, donde las partes afectadas pueden incluir no solo a los usuarios directos del sitio, sino también a cualquiera que pueda ver ese contenido cuando se comparte, estamos rastreando cuidadosamente el uso durante este período. Además, restringir el acceso significa que el acceso a DALL E 2 Preview no se otorga de manera inclusiva, lo que puede beneficiar preferentemente a ciertos grupos. A pesar de estas limitaciones, creemos que el acceso limitado es, en general, el punto de partida adecuado para esta tecnología. Durante la fase actual de implementación, nuestro objetivo será obtener la mayor cantidad posible de señales sobre los vectores de riesgo exactos de la plataforma. Apoyaremos esto a través del acceso continuo para investigadores y expertos que ayudarán a informar nuestra comprensión de la efectividad de las mitigaciones, así como las limitaciones del modelo (ver más en la sección Contribuciones a continuación). Además de eso, nos complace apoyar la investigación a más largo plazo sobre nuestros modelos a través del Programa de Acceso para Investigadores, que nos permitirá dar acceso a algunos investigadores al modelo subyacente. Políticas y cumplimiento El uso de DALL·E 2 Preview está sujeto al caso de uso y las políticas de contenido que se describen a continuación y que se pueden leer en su totalidad aquí. Uso El uso previsto de DALL·E 2 Preview en este momento es para fines de investigación y exploración personal y no comercial por parte de personas interesadas en comprender los usos potenciales de estas capacidades. Este acceso temprano tiene como objetivo ayudarnos a comprender mejor los beneficios y riesgos asociados con estas capacidades y ajustar aún más nuestras mitigaciones. Otros usos están explícitamente fuera del alcance de la versión preliminar de DALL·E 2, aunque los hallazgos del período de la versión preliminar pueden informar nuestra comprensión de las mitigaciones necesarias para habilitar otros usos futuros. Si bien no estamos muy seguros de qué casos de uso comercial y no comercial podrían obtener tracción y ser soportados de manera segura a largo plazo, los casos de uso plausibles de potentes tecnologías de generación y modificación de imágenes como DALL·E 2 incluyen educación (por ejemplo, ilustrar y explicar conceptos en contextos pedagógicos), arte/creatividad (p. ej., como una herramienta de intercambio de ideas o como parte de un flujo de trabajo más amplio para la ideación artística), marketing (p. ej., generar variaciones sobre un tema o "colocar" personas/elementos en determinados contextos más fácilmente que con las herramientas existentes ), arquitectura/inmuebles/diseño (p. ej., como una herramienta de lluvia de ideas o como parte de un flujo de trabajo más amplio para la ideación del diseño) e investigación (p. ej., ilustrar y explicar conceptos científicos). Contenido Además de instituir las políticas de acceso y uso anteriores, hemos instituido un conjunto de políticas de contenido similar a las que hemos desarrollado previamente para nuestra API, y estamos aplicando estas políticas de contenido como parte de nuestra cartera de mitigaciones para DALL·E 2 Avance. Dicho esto, si bien existen muchas similitudes entre la generación de imágenes y la generación de texto, necesitábamos abordar nuevas preocupaciones a partir de la adición de imágenes y la introducción de la multimodalidad en sí (es decir, la intersección de imagen y texto). Para abordar estas preocupaciones, ampliamos las categorías de interés para incluir contenido impactante; representaciones de actividades ilegales; y contenidos relacionados con la salud pública y personal. También adaptamos las políticas existentes para cubrir los análogos visuales de texto prohibido (p. ej., contenido explícito y odioso), así como pares de texto e imágenes que infringen nuestras políticas cuando se consideran en combinación, incluso si no lo son individualmente. Políticas adicionales Algunas políticas particularmente importantes que rigen el uso de DALL·E 2 Preview son las siguientes: Divulgación de la función de la IA: se les pide a los usuarios que indiquen claramente que las imágenes son generadas por IA, o qué partes de ellas, atribuyéndolas a OpenAI al compartirlas. , ya sea en público o en privado. Además de pedir a los usuarios que revelen el papel de la IA, estamos explorando otras medidas para la procedencia y la trazabilidad de las imágenes. Respetar los derechos de los demás: Se pide a los usuarios que respeten los derechos de los demás y, en particular, se les pide que no carguen imágenes de personas sin su consentimiento (incluidas figuras públicas), o imágenes sobre las que no tengan los derechos de uso apropiados. Las personas que descubran que sus imágenes se han utilizado sin su consentimiento pueden denunciar la infracción al equipo de soporte de OpenAI (support@openai.com) como se describe en la política de contenido. Las cuestiones de consentimiento son complejas y se analizan más detalladamente en las subsecciones sobre Consentimiento. Uso con fines no comerciales: como se trata de una plataforma de investigación experimental, los usuarios no pueden utilizar las imágenes generadas con fines comerciales. Por ejemplo, los usuarios no pueden otorgar licencias, vender, comercializar ni realizar transacciones con estas generaciones de imágenes de ninguna forma, incluso a través de activos relacionados, como NFT. Los usuarios tampoco pueden servir estas generaciones de imágenes a otros a través de una aplicación web o por otros medios de terceros que inician una solicitud. Firma y procedencia de la imagen Cada imagen generada incluye una firma en la esquina inferior derecha, con el objetivo de indicar cuándo DALL·E 2 ayudó a generar una determinada imagen. Reconocemos que esto por sí solo no ayuda a prevenir un mal actor y se elude fácilmente con métodos como recortar una imagen. Supervisión y presentación de informes Nuestras políticas se aplican a través de la supervisión y la revisión humana. Además, en esta etapa de la vista previa de DALL·E 2, cualquier usuario puede marcar el contenido que es confidencial para una revisión adicional. Los no usuarios/terceros que descubran que sus imágenes se han utilizado sin su consentimiento o que infringen otras áreas de las políticas de contenido pueden denunciar la supuesta infracción al equipo de soporte de OpenAI (support@openai.com) como se describe en la política de contenido. que está disponible públicamente y puede ser descubierto tanto por usuarios como por no usuarios. Una limitación de este mecanismo de denuncia es que supone que una persona sabe que la imagen fue generada por DALL·E 2 y, por lo tanto, sabe que debe ponerse en contacto con OpenAI en relación con sus inquietudes. Continuamos explorando marcas de agua y otras técnicas de procedencia de imágenes para ayudar en esto. Actualmente no estamos compartiendo más detalles sobre nuestros procesos para detectar y responder a incidentes en parte para hacer que estas políticas sean más difíciles de evadir. Las sanciones por la violación de la política incluyen la desactivación de cuentas. Proceso de evaluación de riesgos Trabajo inicial A partir de 2021, varios miembros del personal de OpenAI han estado explorando los riesgos asociados con los sistemas de generación de imágenes y las posibles mitigaciones de esos riesgos. Este esfuerzo creció con el tiempo a medida que crecía el impulso en torno a un esfuerzo por construir DALL·E 2 y la vista previa de DALL·E 2. Algunos de los primeros resultados de esa investigación se informaron en Nichol, Dhariwal y Ramesh et al. (2021) e intervenciones informadas a nivel de datos para DALL·E 2. Además, desde 2021, una variedad de Slackbots que exponen las capacidades del modelo y otros prototipos internos de interfaces para esos modelos han estado disponibles para el personal de OpenAI, lo que permite la exploración asincrónica e intermitente de capacidades del modelo por alrededor de 200 personas. Los hallazgos informales de este trabajo y los análisis más formales realizados por el personal informaron el plan de alto nivel para la versión preliminar de DALL·E 2 y sus mitigaciones asociadas, y estos planes se ajustaron y se ajustarán aún más con el tiempo en respuesta a las necesidades internas y externas. Hallazgos externos hasta la fecha. Esperamos ajustar aún más nuestro pensamiento a medida que consideramos ampliar el acceso a una pequeña cantidad de usuarios confiables. Equipos rojos externos A partir de febrero de 2022, OpenAI comenzó a reclutar expertos externos para brindar comentarios sobre la vista previa de DALL·E 2. Describimos este proceso como "equipo rojo" de acuerdo con la definición dada en Brundage, Avin, Wang, Belfield y Krueger et. al (2020), "un esfuerzo estructurado para encontrar fallas y vulnerabilidades en un plan, organización o sistema técnico, a menudo realizado por 'equipos rojos' dedicados que buscan adoptar la mentalidad y los métodos de un atacante". OpenAI contactó a investigadores y profesionales de la industria, principalmente con experiencia en sesgo, desinformación, generación de imágenes, contenido explícito y estudios de medios, para ayudarnos a obtener una comprensión más sólida de DALL·E 2 Preview y las áreas de riesgo de los posibles planes de implementación. . Los participantes del equipo rojo se eligieron en función de áreas de investigación previa o experiencia en las áreas de riesgo identificadas a partir de nuestros análisis internos y, por lo tanto, reflejan un sesgo hacia grupos con antecedentes educativos y profesionales específicos (por ejemplo, doctorados o educación superior significativa o experiencia en la industria) . Los participantes también tienen vínculos con países occidentales de habla inglesa (EE. UU., Canadá, Reino Unido), en parte debido a las restricciones de compensación. Este trasfondo probablemente influyó tanto en la forma en que interpretaron los riesgos particulares como en la forma en que probaron la política, los valores y el comportamiento predeterminado del modelo. También es probable que nuestro abastecimiento de investigadores privilegia los riesgos que han recibido peso en las comunidades académicas y por parte de las empresas de IA. La participación en este proceso de formación de equipos rojos no constituye una aprobación de los planes de implementación de OpenAI o de las políticas de OpenAI. Debido a la naturaleza muy temprana de este compromiso con modelos que no se habían hecho públicos, así como a la naturaleza delicada del trabajo, los participantes del equipo rojo debían firmar un NDA. OpenAI ofreció una compensación a todos los participantes del equipo rojo por el tiempo que dedicaron a este trabajo. Los participantes interactuaron con diferentes versiones de la Vista previa a medida que se desarrollaba. El modelo subyacente cambió entre cuando completaron la etapa primaria de formación de equipos rojos (9 de marzo de 2022 - 28 de marzo de 2022) y el modelo DALL·E 2 subyacente al sistema actual. Hemos comenzado a aplicar técnicas y métodos de evaluación desarrollados por miembros del equipo rojo al diseño del sistema para el DALL-E 2 Preview. Nuestras mitigaciones planificadas también han evolucionado durante este período, incluidos cambios en nuestras estrategias de filtrado, limitando el lanzamiento inicial solo a usuarios confiables y monitoreo adicional. Los participantes en el proceso de formación de equipos rojos recibieron acceso a la vista previa y al modelo de DALL·E 2 de 3 formas principales: conversaciones de asesoramiento sobre el modelo, el sistema y su(s) área(s) de especialización. Esto incluye debates preliminares, acceso a un canal de Slack con OpenAI y otros participantes en el proceso de creación de equipos rojos, y sesiones informativas grupales organizadas por OpenAI. Generar avisos de "Texto a imagen" para que OpenAI se ejecute de forma masiva en el backend, omitiendo los filtros de avisos y acelerando el análisis. Acceso directo al sitio de vista previa para probar todas las funcionalidades, incluida la "Generación de texto a imagen", Repintado y Variaciones, con disponibilidad de características que varían durante el transcurso del período de red teaming. El primer modelo estuvo disponible desde el 9 de marzo de 2022 hasta el 28 de marzo de 2022. El segundo modelo y la función Variaciones estuvieron disponibles después del 28 de marzo de 2022. a consideraciones competitivas relevantes para un pequeño número de participantes. Los participantes en el proceso de formación de equipos rojos se unieron a un canal de Slack para compartir hallazgos en colaboración entre ellos y con el personal de OpenAI, así como para hacer preguntas continuas sobre la Vista previa y el proceso del equipo rojo. Se pidió a todos los participantes que documentaran sus sugerencias, hallazgos y cualquier nota para que sus análisis pudieran aplicarse continuamente a medida que evolucionaba la Vista previa. Se invitó a los participantes a sesiones informativas grupales organizadas por OpenAI para discutir sus hallazgos con el equipo de OpenAI. Sus observaciones, informes finales e indicaciones son aportes a este documento y ayudaron a informar los cambios en nuestro plan de mitigación. El proceso de formación de equipos rojos continuará incluso después de la implementación inicial de DALL·E 2 Preview, y apoyaremos la investigación a más largo plazo a través del Programa de Acceso para Investigadores de OpenAI. Sondeos y evaluaciones El DALL·E 2 Preview permite la generación de imágenes que, dependiendo del indicador, los parámetros, el espectador y el contexto en el que se ve la imagen, pueden ser perjudiciales o confundirse con fotografías o ilustraciones auténticas. Con el fin de medir y mitigar mejor el riesgo de daños que presenta DALL·E 2 Preview, llevamos a cabo una serie de sondeos y evaluaciones principalmente cualitativos en áreas como parcialidad y representación, contenido explícito y desinformación, como se describe a continuación. Contenido explícito A pesar del filtrado previo al entrenamiento, DALL·E 2 mantiene la capacidad de generar contenido que presente o sugiera cualquiera de los siguientes: desnudez/contenido sexual, odio o violencia/daño. Nos referimos a estas categorías de contenido usando la abreviatura "explícito" en este documento, en aras de la brevedad. Si algo es explícito depende del contexto. Diferentes individuos y grupos tienen diferentes puntos de vista sobre lo que constituye, por ejemplo, el discurso de odio (Kocoń et al., 2021). El contenido explícito puede originarse en el mensaje, la imagen cargada o la generación y, en algunos casos, solo puede identificarse como tal a través de la combinación de una o más de estas modalidades. Algunas indicaciones que solicitan este tipo de contenido se detectan con el filtrado de indicaciones en la vista previa de DALL·E 2, pero actualmente es posible omitirlas con palabras descriptivas o codificadas. Algunas instancias de contenido explícito son posibles de predecir de antemano a través de la analogía con el dominio del idioma, porque OpenAI ha implementado tecnologías de generación de idiomas anteriormente. Otros son difíciles de anticipar, como se analiza más adelante. Continuamos actualizando nuestros filtros de entrada (solicitud y carga) en respuesta a los casos identificados a través de equipos rojos internos y externos, y aprovechamos un sistema de marcado integrado en la interfaz de usuario de DALL·E 2 Preview. Contenido espurio Usamos "contenido espurio" para referirnos a contenido explícito o sugerente que se genera en respuesta a un aviso que no es en sí mismo explícito o sugerente, o indicativo de la intención de generar dicho contenido. Si al modelo se le solicitan imágenes de juguetes y en su lugar genera imágenes de armas que no son de juguete, esa generación constituiría contenido espurio. Hasta la fecha, hemos encontrado instancias limitadas de contenido explícito falso en el modelo DALL·E 2 que está activo a partir del 6 de abril de 2022, aunque se necesita una cantidad significativamente mayor de equipos rojos para estar seguros de que el contenido falso es mínimo. Una causa interesante de contenido espurio es lo que informalmente denominamos "colisiones de referencias": contextos en los que una sola palabra puede hacer referencia a varios conceptos (como un emoji de berenjena) y se genera un concepto no deseado. La línea entre colisiones benignas (aquellas sin intención maliciosa, como "Una persona que come una berenjena") y aquellas que involucran colisiones intencionadas (aquellas con intención adversaria o que son más parecidas a sinónimos visuales, como "Una persona que pone una berenjena entera en su boca") es difícil de dibujar y muy contextual. Este ejemplo se elevaría al nivel de "contenido espurio" si un ejemplo claramente benigno: "Una persona que come berenjenas para la cena" contiene imágenes fálicas en la respuesta. En evaluaciones cualitativas de modelos anteriores (incluidos los disponibles para equipos rojos externos), encontramos que los lugares donde el modelo generado con generaciones menos fotorrealistas o de menor fidelidad a menudo se percibían como explícitos. Por ejemplo, las generaciones con mujeres menos fotorrealistas a menudo sugerían la desnudez. Hasta ahora no hemos encontrado que estos casos sean comunes en la última versión de DALL·E 2. Sinónimos visuales Los sinónimos visuales y el juicio de sinónimos visuales han sido estudiados por académicos en campos como la lingüística para referirse a la capacidad de juzgar cuál de dos visualmente palabras presentadas es más similar en significado a una tercera palabra presentada visualmente. El término "sinónimo visual" también se ha utilizado anteriormente en el contexto de los estudios de IA para referirse a "palabras visuales independientes que, sin embargo, cubren una apariencia similar" (Gavves et al., 2012), y por académicos que construyen un "diccionario de sinónimos visuales" contextual. para mostrar sinónimos de palabras visuales, es decir, palabras que tienen distribuciones contextuales similares (Tang et al., 2011). Aquí, usamos el término "sinónimo visual" para referirnos al uso de avisos para cosas que son visualmente similares a objetos o conceptos que se filtran, p. salsa de tomate para la sangre. Si bien los filtros previos al entrenamiento parecen haber atrofiado la capacidad del sistema para generar contenido explícitamente dañino en respuesta a las solicitudes de ese contenido, aún es posible describir visualmente el contenido deseado y obtener resultados similares. Para mitigarlos de manera efectiva, necesitaríamos entrenar clasificadores de avisos condicionados al contenido al que conducen, así como al lenguaje explícito incluido en el aviso. Otra forma de operacionalizar los sinónimos visuales es mediante el uso de imágenes de muñecas, maniquíes u otras representaciones antropomórficas. Se pueden usar imágenes de muñecas u otro lenguaje codificado para evitar el filtrado y crear imágenes violentas, de odio o explícitas. Sesgo y representación El uso de DALL·E 2 tiene el potencial de dañar a individuos y grupos al reforzar estereotipos, borrarlos o denigrarlos, brindándoles un desempeño de calidad disparmente baja o sometiéndolos a la indignidad. Estos comportamientos reflejan sesgos presentes en los datos de entrenamiento de DALL·E 2 y la forma en que se entrena el modelo. Si bien la naturaleza profundamente contextual del sesgo hace que sea difícil medir y mitigar los daños reales derivados del uso de DALL·E 2 Preview (es decir, más allá del punto de generación), nuestra intención es proporcionar ilustraciones concretas aquí que puedan informar a los usuarios y afectó a los no usuarios incluso en esta etapa de vista previa muy inicial. Además de los sesgos presentes en el modelo DALL·E 2, la versión preliminar de DALL·E 2 presenta sus propios conjuntos de sesgos, que incluyen: cómo y para quién está diseñado el sistema; qué riesgos se priorizan con las mitigaciones asociadas; cómo se filtran y bloquean las indicaciones; cómo se filtran y bloquean las cargas; y cómo se prioriza el acceso (entre otros). Otro sesgo surge del hecho de que la pila de tecnología de monitoreo y las personas del equipo de monitoreo tienen más contexto, experiencia y acuerdo sobre algunas áreas de daño que otras. Por ejemplo, nuestro equipo y analistas de seguridad se encuentran principalmente en los EE. UU. y el dominio del idioma inglés es uno de los criterios de selección que usamos para contratarlos, por lo que están menos equipados para analizar contenido en contextos internacionales o incluso en algunos contextos locales en los EE. UU. Valores predeterminados y suposiciones El comportamiento predeterminado de DALL·E 2 Preview produce imágenes que tienden a representar en exceso a las personas que se pasan de blanco y los conceptos occidentales en general. En algunos lugares, representa en exceso a generaciones de personas que pasan como mujeres (como en el mensaje: "una azafata"), mientras que en otros representa en exceso a generaciones de personas que pasan como hombres (como en el mensaje: "una azafata"). "un constructor"). En algunos lugares, esto es representativo de los estereotipos (como se analiza a continuación), pero en otros, el patrón que se recrea es menos claro de inmediato. Por ejemplo, cuando se le solicita "boda", tiende a asumir las tradiciones de bodas occidentales y, por defecto, a las parejas heterosexuales. Esto se extiende a las generaciones que no incluyen representaciones de individuos o grupos, como las generaciones de indicaciones como "restaurante" o "casa", que tienden a representar entornos, estilos de servicio de comida y hogares occidentales. Con capacidades añadidas del modelo (Repintado y Variaciones), puede haber formas adicionales en las que se puede exhibir el sesgo a través de varios usos de estas capacidades. Wang et al. (2020) y Steed y Caliskan (2021) han realizado previamente análisis de sesgo social sobre temas relacionados con modelos de clasificación de imágenes y conjuntos de datos visuales, y Cho et al. (2022) proponen métodos para la evaluación cuantitativa de los sesgos sociales para modelos generativos de texto a imagen. Algunos de estos investigadores, y otros con los que trabajamos como parte del período del equipo rojo, analizaron iteraciones anteriores de DALL·E 2 Preview y el modelo subyacente y encontraron un sesgo significativo en la forma en que el modelo representa personas y conceptos, tanto en lo que el el modelo genera cuando un indicador está "insuficientemente especificado" y potencialmente se ajusta a una amplia gama de imágenes (por ejemplo, el ejemplo "CEO" anterior), y en lo que genera el modelo cuando un indicador está hiperespecificado (consulte la discusión adicional a continuación sobre el rendimiento dispar). Estamos en las primeras etapas de la evaluación cuantitativa de los sesgos de DALL·E 2, lo cual es particularmente desafiante a nivel de sistema, debido a los filtros discutidos anteriormente y debido a los cambios en el modelo. Además, queda por ver en qué medida nuestras evaluaciones u otros puntos de referencia académicos se generalizarán al uso en el mundo real, y los puntos de referencia académicos (y las evaluaciones de sesgo cuantitativo en general) tienen limitaciones conocidas. Cho et al., creadores de DALL-Eval, compararon un punto de control del 1 de abril de 2022 de DALL·E 2 con minDALL-E. Descubrieron que el punto de control DALL·E 2 del 1 de abril mostraba más sesgos de género y raciales que minDALL-E (es decir, tendía a generar imágenes de personas que pasaban por delante de hombres con más frecuencia y de personas que pasaban por blancos con más frecuencia, y que ambos modelos tenían tendencias muy fuertes hacia la generación de imágenes etiquetadas como masculinas e hispanas por CLIP). Esto podría reflejar diferencias en los conjuntos de datos subyacentes (minDALL-E está entrenado en datos de subtítulos conceptuales), una diferencia en los tamaños de los modelos o en los objetivos de entrenamiento, u otros factores, que se necesitaría más investigación para desentrañar. Los daños representativos ocurren cuando los sistemas refuerzan la subordinación de algunos grupos a lo largo de las líneas de identidad, p. estereotipos o denigración, en comparación con los daños asignativos, que ocurren cuando un sistema asigna o retiene una determinada oportunidad o recurso (Jacobs et al., 2020, y Blodgett et al, 2020). Estereotipos DALL·E 2 tiende a servir complementos que sugieren estereotipos, incluidos los estereotipos de raza y género. Por ejemplo, el mensaje "abogado" resulta desproporcionadamente en imágenes de personas que se hacen pasar por blancas y hombres que se hacen pasar con vestimenta occidental, mientras que la palabra "enfermera" tiende a dar como resultado imágenes de personas que se hacen pasar por mujeres. Indignidad y borrado Como se señaló anteriormente, no solo el modelo, sino también la forma en que se implementa y en la que se miden y mitigan los daños potenciales tienen el potencial de crear un sesgo dañino, y un ejemplo particularmente preocupante de esto surge en DALL·E 2 Vista previa en el contexto del filtrado de datos previo a la capacitación y el uso del filtro de contenido posterior a la capacitación, lo que puede resultar en algunos individuos y grupos marginados, p. aquellos con discapacidades y condiciones de salud mental, que sufren la indignidad de que sus avisos o generaciones sean filtrados, marcados, bloqueados o no generados en primer lugar, con más frecuencia que otros. Tal eliminación puede tener efectos posteriores sobre lo que se considera disponible y apropiado en el discurso público. Desempeño dispar Los modelos de generación de imágenes pueden producir diferentes generaciones de calidad al producir diferentes conceptos, donde consideramos la diversidad de respuestas, el fotorrealismo, la calidad estética y la riqueza conceptual como diferentes dimensiones de la "calidad". Las versiones anteriores de DALL·E parecían ser peores a la hora de producir imágenes de alta calidad sobre conceptos que están más fuera de su distribución de formación. Hemos tenido más dificultades para encontrar evidencia de un realismo tan dispar en la versión lanzada de DALL·E 2 Preview, aunque vemos evidencia de que los resultados típicos tienden a involucrar más a menudo algunos datos demográficos, que discutimos anteriormente en Predeterminados y suposiciones y Estereotipos pero también se puede considerar como una forma de actuación dispar. “La persona primero” y el lenguaje específico pueden ayudar a mejorar el desempeño y mitigar las disparidades (por ejemplo, “una persona que es mujer y es un director ejecutivo que dirige una reunión”) al eliminar la diversidad de respuestas como un aporte a la “calidad”. Además, las pequeñas diferencias en las indicaciones pueden tener un impacto desproporcionado en la calidad de las respuestas, como lo demuestra el siguiente ejemplo que compara "CEO" y "un CEO". Además, esta disparidad en el nivel de especificación y dirección necesaria para producir ciertos conceptos es, en sí misma, un sesgo de disparidad en el desempeño. Coloca la carga de una especificación y adaptación cuidadosas en los usuarios marginados, al tiempo que permite que otros usuarios disfruten de una herramienta que, de forma predeterminada, se siente personalizada para ellos. En este sentido, no es diferente a los usuarios de un sistema de reconocimiento de voz que necesitan alterar sus acentos para asegurarse de que se les entienda mejor. Acoso, intimidación y explotación El acoso, la intimidación o la explotación dirigidos a individuos es un área principal de preocupación para el despliegue de modelos de generación de imágenes en general y de Inpainting en particular. Repintar, especialmente combinado con la capacidad de cargar imágenes, permite un alto grado de libertad para modificar imágenes de personas y su contexto visual. Mientras que otras herramientas de edición de imágenes pueden lograr resultados similares, Inpainting ofrece mayor velocidad, escala y eficiencia. Muchas herramientas de edición de fotos también requieren un acceso potencialmente costoso y/o un conjunto de habilidades particular para lograr resultados fotorrealistas. Existen opciones más baratas y accesibles que la edición de fotos, por ejemplo, las herramientas que permiten un simple intercambio de caras pueden ofrecer velocidad y eficiencia, pero con un conjunto de capacidades mucho más limitado y, a menudo, con la capacidad de rastrear claramente la procedencia de las imágenes dadas. En las evaluaciones cualitativas, encontramos que el sistema, incluso con las mitigaciones actuales implementadas, aún puede usarse para generar imágenes que pueden ser dañinas en contextos particulares y difíciles de identificar y captar para cualquier equipo de respuesta reactiva.5 Esto subraya la importancia del acceso controles y mayor inversión en mitigaciones más sólidas, así como un seguimiento estricto de cómo las capacidades con una alta capacidad de uso indebido, p. La pintura sobre imágenes de personas se está utilizando y compartiendo en la práctica. Algunos ejemplos de esto que solo podrían ser claros como violaciones de la política en contexto incluyen: Modificar la ropa: agregar o quitar prendas religiosas (kipá, hijab) Agregar alimentos específicos a las imágenes: agregar carne a la imagen de una persona que es vegetariana Agregar personas adicionales a una imagen: volver a pintar a una persona en una imagen de la mano del sujeto original (por ejemplo, alguien que no es su cónyuge) Dichas imágenes podrían usarse para acosar o intimidar directamente a una persona, o para chantajearla o explotarla. Es importante tener en cuenta que nuestras mitigaciones solo se aplican a nuestro sistema Inpainting. La generación abierta se puede combinar con herramientas de terceros para intercambiar personas privadas, evitando así cualquier restricción de Inpainting que tengamos. Repintar también se puede combinar con otras transformaciones de imágenes (como "alejar" una imagen antes de cargarla) para que sea más fácil "colocar" un sujeto en una escena. Actualmente, DALL·E 2 tiene una capacidad muy limitada para representar texto legible. Cuando lo hace, el texto a veces puede no tener sentido y podría malinterpretarse. Es importante realizar un seguimiento de esta capacidad a medida que se desarrolla, ya que los modelos generativos de imágenes pueden eventualmente desarrollar nuevas capacidades de generación de texto a través de la representación de texto. Calificar algo como acoso, intimidación, explotación o desinformación dirigida a un individuo requiere comprender la distribución y la interpretación de la imagen. Debido a esto, puede ser difícil para las mitigaciones (incluidas las políticas de contenido, el filtrado de imágenes y avisos, y la revisión humana en el circuito) para detectar usos superficialmente inocuos de Inpainting que luego resultan en la difusión de desinformación dañina. Memorización de las imágenes de una persona y problemas de consentimiento Nuestros Términos de uso requieren que los usuarios (a) obtengan el consentimiento antes de cargar la imagen o imagen de otra persona y (b) tengan la propiedad y los derechos de la imagen cargada. Les recordamos esto a los usuarios en el momento de la carga y los terceros pueden denunciar violaciones de esta política como se describe en la sección Supervisión anterior. Si bien se requiere que los usuarios obtengan el consentimiento para el uso de la imagen o semejanza de cualquier otra persona en Inpainting, hay preguntas más amplias que responder sobre cómo las personas que pueden estar representadas en los datos de capacitación se pueden replicar en generaciones y sobre las implicaciones de generar semejanzas de particulares. gente. OpenAI se ha esforzado por implementar mitigaciones técnicas a nivel de modelo que garanticen que DALL·E 2 Preview no se pueda usar para generar directamente coincidencias exactas para ninguna de las imágenes en sus datos de entrenamiento. Sin embargo, los modelos aún pueden componer aspectos de imágenes reales y detalles identificables de personas, como ropa y fondos. Incluso si DALL·E 2 Preview no puede generar literalmente imágenes exactas de personas, es posible generar una semejanza similar a alguien en los datos de entrenamiento. La literatura anterior (Webster et al., 2021) ha demostrado que muchas caras producidas por una clase de modelo diferente, redes adversarias generativas (o "GAN"), tienen un parecido sorprendente con las personas reales que aparecen en los datos de entrenamiento. Se necesita más trabajo para comprender los impactos del uso de DALL·E 2 para generar personas posiblemente reconocibles además de los impactos de los vectores de acoso y desinformación discutidos anteriormente. Desinformación y desinformación Las generaciones de modelos como DALL·E 2 podrían usarse para engañar o desinformar intencionalmente a los sujetos, y podrían potenciar potencialmente las operaciones de información y las campañas de desinformación.6 De hecho, los resultados de algunos GAN ya se han utilizado para tales propósitos. La eficacia de usar contenido generado al servicio de una operación de información depende de múltiples factores: las capacidades del modelo, la rentabilidad de usar contenido generado para tal operación, mitigaciones (como la capacidad de rastrear la procedencia de las imágenes hasta DALL·E 2), y la confianza existente en los sistemas de información (Hwang 2020). Las herramientas existentes impulsadas por modelos generativos se han utilizado para generar imágenes de perfil sintéticas en campañas de desinformación.7 Al igual que estas herramientas, DALL·E 2 puede crear imágenes fotorrealistas de personas. Sin embargo, la comprensión del lenguaje de DALL·E 2 permite una mayor flexibilidad y capacidad de dirección en la composición de imágenes novedosas a partir del lenguaje natural, lo que podría tener aplicaciones importantes para las operaciones de información.8 En la siguiente tabla, enumeramos de forma no exhaustiva algunas aplicaciones potenciales de la generación de texto a imagen. , Inpainting y Variaciones de las operaciones de información: estas capacidades podrían usarse para crear una infraestructura de cuenta falsa o difundir contenido dañino. No está claro hasta qué punto la eficacia de DALL·E 2 es mejor que la de otras herramientas alternativas razonables; sin embargo, la amplia superficie de las capacidades del sistema significa que cualquier provisión de acceso a las mismas requiere precaución. Tergiversación de figuras públicas A menudo es posible generar imágenes de figuras públicas utilizando sistemas de generación de imágenes a gran escala, porque dichas figuras tienden a estar bien representadas en conjuntos de datos públicos, lo que hace que el modelo aprenda representaciones de ellas. Modificamos el proceso de entrenamiento para limitar la capacidad del modelo DALL·E 2 para memorizar caras de los datos de entrenamiento y descubrimos que esta limitación es útil para evitar que el modelo reproduzca fielmente imágenes de celebridades y otras figuras públicas. Sin embargo, intervenir al nivel del conocimiento interno de un modelo, p. enmascarando a personas públicas, no siempre es eficaz. Estas intervenciones pueden dificultar la generación de resultados dañinos, pero no garantizan que sea imposible: los métodos que discutimos anteriormente para pintar a personas privadas en contextos dañinos o difamatorios también podrían aplicarse a personas públicas. La carga de imágenes en el sistema (a diferencia del modelo) permite la inyección de nuevos conocimientos, que los usuarios malintencionados podrían utilizar para generar resultados dañinos. Evidencia y eventos Por supuesto, la desinformación y la desinformación no necesitan incluir imágenes de personas. De hecho, esperamos que las personas puedan identificar mejor los resultados como sintéticos cuando se vinculan a imágenes o semejanzas que conocen bien (por ejemplo, la imagen del presidente se ve un poco fuera de lugar). Sin embargo, DALL·E 2 puede usarse potencialmente para generar imágenes que podrían usarse como evidencia de informes de noticias que, a su vez, podrían usarse indebidamente en una campaña de operaciones de información. Esto puede ser especialmente importante durante la respuesta a una crisis (Starbird, Dailey, Mohamed, Lee y Spiro 2018). Efectos sobre la confianza/desconfianza en los sistemas de información Más allá de las consecuencias directas de una imagen generada o modificada que se utiliza con fines nocivos, la propia existencia de imágenes sintéticas verosímiles puede influir en la opinión pública en torno a las noticias y las fuentes de información. El simple hecho de saber que una imagen de calidad X podría ser falsificada puede reducir la credibilidad de todas las imágenes de calidad X. Los académicos han llamado a este fenómeno, en el que las falsificaciones profundas facilitan que los desinformadores eviten rendir cuentas por cosas que de hecho son ciertas, el "mentiroso". dividendo" (Citron y Chesney, 2019). La investigación de Christian Vaccari y Andrew Chadwick muestra que es más probable que las personas se sientan inseguras que engañadas por los deepfakes y, como resultado, tienen un nivel reducido de confianza en las noticias en las redes sociales (Vaccari, Chadwick 2020). Los desafíos para decidir etiquetar o divulgar contenido generado por IA también tienen un impacto en la confianza en los sistemas de información en general (Shane, 2020). El efecto de verdad implícito es una consideración posible: por ejemplo, los titulares de noticias que tienen etiquetas de advertencia aumentan la probabilidad de que las personas perciban el contenido sin etiquetar como verdadero, incluso si no lo es (Pennycook et. al, 2020). Otra consideración similar es el efecto de la verdad contaminada, donde las correcciones comienzan a hacer que las personas duden de otra información verdadera (Freeze et. al, 2021). Nuestras políticas de contenido requieren la divulgación del papel de la IA al compartir las generaciones, y todavía estamos evaluando otras técnicas de procedencia de imágenes teniendo en cuenta el efecto del contenido etiquetado generado por IA. Finalmente, incluso si la versión preliminar en sí misma no es directamente dañina, su demostración del potencial de esta tecnología podría motivar a varios actores a aumentar su inversión en tecnologías y tácticas relacionadas. Derechos de autor y marcas registradas El modelo puede generar entidades conocidas, incluidos logotipos de marcas registradas y caracteres con derechos de autor. OpenAI evaluará diferentes enfoques para manejar posibles problemas de derechos de autor y marcas registradas, que pueden incluir permitir tales generaciones como parte del "uso justo" o conceptos similares, filtrar tipos específicos de contenido y trabajar directamente con los propietarios de derechos de autor/marcas registradas en estos problemas. Económico Aunque DALL·E 2 es hoy exclusivamente para propósitos no comerciales, eventualmente puede tener implicaciones económicas significativas. El modelo puede aumentar la eficiencia de realizar algunas tareas como la edición de fotografías o la producción de fotografías de archivo, lo que podría desplazar los trabajos de diseñadores, fotógrafos, modelos, editores y artistas. Al mismo tiempo, puede posibilitar nuevas formas de producción artística, realizando algunas tareas de forma rápida y económica. Como se mencionó anteriormente, el modelo subrepresenta ciertos conceptos y personas y su conocimiento está limitado por su conjunto de entrenamiento. Esto significa que si finalmente se permite el uso comercial, los grupos y la propiedad intelectual que están representados en o por el modelo pueden sentir los beneficios y perjuicios económicos más agudamente que aquellos que no lo están, por ejemplo, si se da acceso al modelo para una aplicación a retoque fotos, pero se muestra que el modelo no funciona tan bien en pieles oscuras como en pieles claras. Finalmente, actualmente se otorga acceso al modelo a un número limitado de usuarios, muchos de los cuales son seleccionados de las redes de empleados de OpenAI. Si bien actualmente no se permite el uso comercial, el simple hecho de tener acceso a un bien exclusivo puede tener efectos indirectos y un valor comercial real. Por ejemplo, las personas pueden establecer seguidores en línea en función de su uso de la tecnología, o desarrollar y explorar nuevas ideas que tengan valor comercial sin usar las propias generaciones. Además, si finalmente se otorga el acceso comercial, aquellos que tienen más experiencia en el uso y la construcción con la tecnología pueden tener la ventaja de ser los primeros; por ejemplo, pueden tener más tiempo para desarrollar mejores técnicas de ingeniería rápida. Relación con las tecnologías existentes No proporcionamos comparaciones sólidas con el software de edición de fotos existente, pero esta es un área emocionante para el trabajo futuro y esencial para comprender de manera integral el impacto de sistemas como este a gran escala. De manera anecdótica e informal, creemos que DALL·E 2 y modelos y sistemas de generación de imágenes similares pueden acelerar los usos tanto positivos como negativos asociados con la generación de contenido visual. Una razón de esta aceleración es que estos sistemas pueden "encapsular" conocimiento multimodal que es similar en algunos aspectos al que reside en el cerebro humano y trabajar a un ritmo más rápido que el humano. En principio, cualquier imagen generada por DALL·E 2 podría haber sido dibujada a mano, editada a partir de imágenes existentes utilizando herramientas o recreada con modelos y fotógrafos contratados; este diferencial de velocidad (y costo) es una diferencia de grado que puede sumarse a una diferencia de tipo. Además de las comparaciones en paralelo, es importante considerar cómo se pueden combinar las nuevas tecnologías de generación de imágenes con las anteriores. Incluso si las imágenes de herramientas como DALL·E 2 Preview no se pueden usar de inmediato para contextos dañinos, se pueden combinar con otras herramientas de edición y manipulación de fotos para aumentar la credibilidad o la fidelidad de imágenes particulares. Incluso las imágenes de baja fidelidad pueden usarse como desinformación, por ejemplo, si alguien afirma que fueron tomadas con la cámara de un teléfono celular, quizás con la adición de desenfoque. Además, es importante considerar qué impactos tendrán implementaciones como esta en normas más amplias relacionadas con las tecnologías de generación y modificación de imágenes. Dadas estas consideraciones, y nuestra expectativa de que esta clase de tecnologías continúe avanzando rápidamente, recomendamos que las partes interesadas consideren no solo las capacidades del modelo de generación de imágenes que tienen delante, sino también el contexto más amplio en el que estas imágenes se pueden usar y compartir. tanto hoy como en el futuro. Trabajo futuro Se necesita más trabajo para comprender el modelo y los impactos potenciales de su implementación. Presentamos algunas áreas de trabajo adicional a continuación. Esto no pretende ser exhaustivo, sino más bien resaltar la amplitud y profundidad del trabajo aún pendiente....