Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1539

Incidentes Asociados

Incidente 1671 Reporte
Researchers' Homosexual-Men Detection Model Denounced as a Threat to LGBTQ People’s Safety and Privacy

Loading...
Por qué los investigadores de Stanford intentaron crear una máquina 'Gaydar'
nytimes.com · 2017

Michal Kosinski sintió que tenía buenas razones para enseñarle a una máquina a detectar la orientación sexual.

Una empresa emergente israelí había comenzado a vender un servicio que predecía tendencias terroristas basándose en análisis faciales. Las empresas chinas estaban desarrollando software de reconocimiento facial no solo para atrapar a delincuentes conocidos, sino también para ayudar al gobierno a predecir quién podría infringir la ley a continuación.

Y en todo Silicon Valley, donde el Dr. Kosinski trabaja como profesor en la Escuela de Graduados en Negocios de Stanford, los empresarios hablaban de rostros como si fueran oro esperando a ser extraídos.

Pocos parecían preocupados. Entonces, para llamar la atención sobre los riesgos de privacidad, decidió demostrar que era posible utilizar el análisis de reconocimiento facial para detectar algo íntimo, algo que “las personas deberían tener pleno derecho a mantener en privado”.

Después de considerar el ateísmo, se decidió por la orientación sexual.

Si ahora ha creado “A.I. gaydar”, y si esa es una línea de investigación ética, se ha debatido acaloradamente durante las últimas semanas, desde que se publicó en línea un borrador de su estudio.

Al presentar fotos de hombres homosexuales y heterosexuales, un programa de computadora pudo determinar cuál de los dos era homosexual con un 81 por ciento de precisión, según el artículo del Dr. Kosinski y el coautor Yilun Wang.

La reacción ha sido feroz.

“Me imaginé que daría la alarma”, dijo el Dr. Kosinski en una entrevista. “Ahora estoy pagando el precio”. Acababa de tener una reunión con la policía del campus “debido a la cantidad de amenazas de muerte”.

Grupos de defensa como Glaad y Human Rights Campaign denunciaron el estudio como "ciencia basura" que "amenaza la seguridad y la privacidad de las personas LGBTQ y no LGBTQ por igual".

Los autores han "inventado el equivalente algorítmico de un acosador de 13 años", escribió Greggor Mattson, director del Programa de Estudios de Género, Sexualidad y Feministas en Oberlin College. Fue uno de las docenas de académicos, científicos y otros que desmenuzaron el estudio en publicaciones de blog y tormentas de tuits.

Algunos argumentaron que el estudio es solo el último ejemplo de un inquietante renacimiento de la fisonomía impulsado por la tecnología, la noción desacreditada durante mucho tiempo de que los rasgos de personalidad pueden revelarse midiendo el tamaño y la forma de los ojos, la nariz y la cara de una persona.

Destacados

'El hombre del futuro' cuenta la vida de un genio inquieto

The Queer Young Comics redefiniendo el humor estadounidense

¿Por qué 'Cyrano' sigue siendo tan potente? Pregúntele a cualquiera que sea amado en absoluto.

Los investigadores también tienen sus defensores, entre ellos LGBTQ Nation, que criticó a Glaad por no entender “cómo funciona la ciencia”. Pero incluso ellos no han podido ponerse de acuerdo sobre lo que ha mostrado la herramienta.

En el centro de la controversia está la creciente preocupación por la posibilidad de que se haga un mal uso del análisis facial y de que se distorsionen los hallazgos sobre su eficacia.

De hecho, pocas de las afirmaciones hechas por investigadores o empresas que promocionan su potencial se han replicado, dijo Clare Garvie, del Centro de Privacidad y Tecnología de la Universidad de Georgetown.

“En el mejor de los casos, es una ciencia muy inexacta”, dijo sobre las promesas de predecir el comportamiento criminal, la inteligencia y otros rasgos de carácter a partir de los rostros. “En el peor de los casos, esto es racismo por algoritmo”.

Enseñando a una máquina a 'ver' la sexualidad

El Dr. Kosinski y el Sr. Wang comenzaron copiando, o "raspando", fotos de más de 75 000 perfiles de citas en línea de hombres y mujeres en los Estados Unidos. Aquellos que buscaban parejas del mismo sexo fueron clasificados como homosexuales; se suponía que aquellos que buscaban parejas del sexo opuesto eran heterosexuales.

Unas 300.000 imágenes se redujeron a 35.000 que mostraban rostros claramente y cumplían con ciertos criterios. Todos eran blancos, dijeron los investigadores, porque no pudieron encontrar suficientes perfiles de citas de minorías homosexuales para generar un resultado estadísticamente válido.

Las imágenes se recortaron aún más y luego se procesaron a través de una red neuronal profunda, un sistema matemático en capas capaz de identificar patrones en grandes cantidades de datos.

El Dr. Kosinski dijo que no construyó su herramienta desde cero, como muchos sugirieron; más bien, comenzó con un programa de análisis facial ampliamente utilizado para mostrar cuán fácil sería para cualquiera lograr algo similar.

El software extrae información de miles de puntos de datos faciales, incluido el ancho de la nariz, la forma del bigote, las cejas, las comisuras de la boca, la línea del cabello e incluso aspectos de la cara para los que no tenemos palabras. Luego convierte las caras en números.

“Demostramos que este modelo produce números ligeramente diferentes para rostros homosexuales y heterosexuales”, dijo el Dr. Kosinski.

Entonces, los autores estaban listos para enfrentar su modelo de predicción contra los humanos en lo que se convertiría en una notoria competencia de radar gay. Tanto los humanos como las máquinas recibieron parejas de dos caras, una heterosexual y otra gay, y se les pidió que eligieran quién era más heterosexual.

A los participantes, que fueron adquiridos a través de Amazon Mechanical Turk, un proveedor de tareas digitales, se les aconsejó que "usaran lo mejor de su intuición". Hicieron la selección correcta el 54 por ciento de las veces para las mujeres y el 61 por ciento de las veces para los hombres, un poco mejor que lanzar una moneda al aire.

El algoritmo del Dr. Kosinski, en comparación, eligió correctamente el 71 por ciento del tiempo para las mujeres y el 81 por ciento para los hombres. Cuando a la computadora se le dieron cinco fotos para cada persona en lugar de solo una, la precisión aumentó al 83 por ciento para las mujeres y al 91 por ciento para los hombres.

Después de que se hiciera referencia al estudio en un artículo de The Economist, la cifra del 91 por ciento cobró vida propia. Los titulares de las noticias “lo hicieron sonar casi como una radiografía que puede decir si eres heterosexual o gay”, dijo el Dr. Jonathan M. Metzl, director del Centro de Medicina, Salud y Sociedad de la Universidad de Vanderbilt.

Sin embargo, ninguno de los escenarios se parecía ni remotamente a un escaneo de personas "en la naturaleza", como lo expresó la Sra. Garvie. Y cuando la herramienta fue desafiada con otros escenarios, como distinguir entre fotos de Facebook de hombres homosexuales y fotos de citas en línea de hombres heterosexuales, la precisión se redujo al 74 por ciento.

También está el problema de los falsos positivos, que plagan cualquier modelo de predicción destinado a identificar un grupo minoritario, dijo William T.L. Cox, psicóloga que estudia estereotipos en la Universidad de Wisconsin-Madison.

Digamos que el 5 por ciento de la población es gay, o 50 de cada 1000 personas. Un escaneo facial con una precisión del 91 por ciento identificaría erróneamente al 9 por ciento de las personas heterosexuales como homosexuales; en el ejemplo anterior, son 85 personas.

El software también confundiría al 9 por ciento de las personas homosexuales con personas heterosexuales. El resultado: de 130 personas que el escaneo facial identificó como homosexuales, 85 en realidad serían heterosexuales.

“Cuando un algoritmo con un 91 por ciento de precisión opera en el mundo real”, dijo el Dr. Cox, “casi dos tercios de las veces que dice que alguien es gay, sería incorrecto”.

Señaló en un correo electrónico que "los algoritmos solo se entrenaron y probaron en hombres blancos, estadounidenses, abiertamente homosexuales (y en comparaciones presuntamente heterosexuales blancas, estadounidenses)" y, por lo tanto, probablemente no tendrían implicaciones más amplias.

Lo que revela una cara

Independientemente de la efectividad, el estudio plantea preguntas espinosas sobre las percepciones de la orientación sexual.

Nicholas Rule, profesor de psicología en la Universidad de Toronto, también estudia la percepción facial. Usando fotos de perfil de citas, así como fotos tomadas en un laboratorio, ha encontrado consistentemente que las fotos de una cara brindan pistas sobre todo tipo de atributos, incluida la sexualidad y la clase social.

“¿Puede la inteligencia artificial realmente decir si eres gay por tu cara? Se siente raro, se siente como fisonomía”, dijo.

“Personalmente, a veces todavía me siento incómodo, y tengo que conciliar esto como científico, pero esto es lo que muestran los datos”, dijo el Dr. Rule, que es gay.

Eso no quiere decir que todas las personas LGBTQ tengan rasgos faciales similares, o incluso que solo haya dos tipos de sexualidad, dijo. Pero pretender que la orientación sexual es invisible “sofoca nuestra capacidad de abordar la inequidad”.

Dado que el estudio de Stanford se basó en fotos de perfil de citas, que pueden contener todo tipo de pistas adicionales sobre preferencias, los resultados deben tomarse "no solo con un grano, sino con una cucharada de sal", agregó.

El Dr. Kosinski no es ajeno a la atención. En 2013, publicó un estudio que demostró que los “me gusta” de Facebook revelan atributos personales inesperados.

El gusto por las papas fritas rizadas, por ejemplo, fue un predictor confiable de una inteligencia superior a la media. Gustar a Wu-Tang Clan fue un indicio de la heterosexualidad masculina. Todos nuestros "me gusta" en línea, dijo el Dr. Kosinski, nos han dejado vulnerables a la microfocalización por parte de candidatos políticos, empresas y otros con intenciones nefastas.

Varias semanas después de la publicación, Facebook había cambiado su configuración predeterminada, manteniendo los "me gusta" privados. “Es muy similar” a la controversia sobre su proyecto actual, dijo. “Básicamente estaba tratando de advertir a la gente. La gente no se lo tomó en serio”.

Sin embargo, una diferencia importante es que el Dr. Kosinski no intentó explicar por qué "gustar" las papas fritas rizadas indicaba inteligencia. Era simplemente un patrón identificado por una máquina.

Para dar cuenta de un vínculo entre la apariencia y la sexualidad, el Dr. Kosinski fue más allá y se basó en lo que su estudio llamó “la teoría hormonal prenatal ampliamente aceptada (P.H.T.) de la orientación sexual”, que “predice la existencia de vínculos entre la apariencia facial y la orientación sexual”. ” determinado por la exposición hormonal temprana.

La noción de que es "ampliamente aceptada" fue rápidamente cuestionada.

“Esa teoría es un desastre”, dijo Rebecca Jordan Young, presidenta de estudios de mujeres, género y sexualidad en Barnard College, quien escribió un libro sobre P.H.T. “Hay más datos contradictorios y negativos que positivos”.

Incluso muchos expertos que apoyan la teoría dijeron que no podían ver cómo un estudio de fotos de citas autoseleccionadas demostraba que las personas homosexuales tienen rostros de género atípico, y mucho menos una teoría que atribuye características distintivas a las hormonas.

La discusión de P.H.T. hizo que los autores parecieran fuera de lugar, dijo el Dr. Cox: "La mayoría de los científicos sexuales están de acuerdo en que no existe una causa única para la orientación sexual".

Entonces, ¿qué vieron las máquinas?

El Dr. Kosinski y el Sr. Wang dicen que el algoritmo responde a rasgos faciales fijos, como la forma de la nariz, junto con "opciones de aseo personal", como el maquillaje de ojos.

Pero también es posible que el algoritmo esté viendo algo totalmente desconocido.

“Cuantos más datos tenga, mejor será para detectar patrones”, dijo Sarah Jamie Lewis, investigadora independiente de privacidad que tuiteó una crítica del estudio. “Pero los patrones no son necesariamente los que crees que son”.

Tomaso Poggio, director del Centro de Cerebros, Mentes y Máquinas del M.I.T., ofreció una parábola clásica para ilustrar esta desconexión. El Ejército entrenó un programa para diferenciar los tanques estadounidenses de los tanques rusos con un 100 por ciento de precisión.

Solo más tarde los analistas se dieron cuenta de que los tanques estadounidenses habían sido fotografiados en un día soleado y los tanques rusos habían sido fotografiados en un día nublado. La computadora había aprendido a detectar el brillo.

El Dr. Cox ha detectado una versión de esto en sus propios estudios de perfiles de citas. Descubrió que las personas homosexuales tienden a publicar fotos de mayor calidad.

El Dr. Kosinski dijo que hicieron todo lo posible para garantizar que tales factores de confusión no influyeran en sus resultados. Aún así, estuvo de acuerdo en que es más fácil enseñarle a una máquina a ver que a entender lo que ha visto.

El estudio aún está en camino de ser publicado por el Journal of Personality and Social Psychology, aunque no se ha fijado una fecha. El documento ya había pasado por el proceso oficial de revisión por pares antes de que los revisores no oficiales comenzaran a romperlo en pedazos.

Una representante de la Asociación Estadounidense de Psicología, que administra la revista, negó que el estudio haya sido colocado bajo “revisión ética” debido al alboroto, como sugirieron algunos informes, aunque dijo que se tomó un paso adicional relacionado con el papeleo.

La reputación del Dr. Kosinski puede verse dañada permanentemente, dijo, pero no se arrepiente. Los funcionarios de un país donde la homosexualidad está penalizada pronto podrían recurrir al análisis facial para identificar a hombres y mujeres homosexuales.

“La pregunta es, ¿puedes vivir contigo mismo si sabías que es posible y no le avisaste a nadie?” preguntó.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd