Incidentes Asociados
Cuando el empresario tecnológico David Heinmeier Hansson acudió recientemente a Twitter diciendo que la Apple Card le otorgaba un límite de crédito 20 veces mayor que el de su esposa, a pesar de que ella tenía un puntaje de crédito más alto, pudo haber sido el primer titular importante sobre algoritmos bias que lees en tu vida cotidiana. No fue el primero, ha habido historias importantes sobre posibles sesgos algorítmicos en el cuidado infantil y los seguros, y no será el último.
Heinmeier, director de tecnología de la firma de software de gestión de proyectos Basecamp, no fue la única figura tecnológica que habló sobre el sesgo algorítmico y la Apple Card. De hecho, el propio cofundador de Apple, Steve Wozniak [tuvo una experiencia similar](https://www.cnbc.com/2019/11/14/apple-card-algo-affair-and-the-future-of-ai -en-tu-vida-cotidiana.html#). La candidata presidencial Elizabeth Warren incluso [participó en la acción] (https://www.cnbc.com/2019/11/14/warren-rips-goldman-over-its-apple-card-discriminatory-algorithms.html), criticando a Apple y Goldman, y los reguladores dijeron que están [lanzando una investigación](https://www.cnbc.com/2019/11/11/regulator-probing-goldmans-apple-card-no-room-for-bias- en-algoritmos.html).
Goldman Sachs, que administra la tarjeta de Apple, ha negado las acusaciones de algoritmo sesgo de género, y también ha dicho que [examinará las evaluaciones de crédito](https://www.cnbc.com/2019/11/11/goldman-sachs-to-reevaluate-apple-card-credit-limits-after-bias -claim.html) caso por caso cuando los solicitantes sientan que la determinación de la tarjeta es injusta.
El portavoz de Goldman, Patrick Lenihan, dijo que el sesgo algorítmico es un tema importante, pero la Apple Card no es un ejemplo de ello. "Goldman Sachs no ha tomado y nunca tomará decisiones basadas en factores como el género, la raza, la edad, la orientación sexual o cualquier otro factor legalmente prohibido al determinar la solvencia crediticia. No existe una 'caja negra'", dijo, refiriéndose a un término que a menudo Se utiliza para describir algoritmos. "Para las decisiones crediticias que tomamos, podemos identificar qué factores del informe de crédito emitido por la oficina de crédito de un individuo o los ingresos declarados contribuyen al resultado. Damos la bienvenida a una discusión sobre este tema con los legisladores y reguladores".
A medida que la IA y los algoritmos que subyacen a la tecnología se vuelven una parte cada vez más importante de la vida cotidiana, es importante saber más sobre la tecnología. Una de las principales afirmaciones de las empresas de tecnología que utilizan algoritmos en decisiones como la calificación crediticia es que los algoritmos están menos sesgados que los seres humanos. Eso se está utilizando en áreas como la contratación laboral: el estado de California aprobó recientemente una regla para fomentar el desarrollo de más algoritmos basados en el trabajo para eliminar el sesgo humano del proceso de contratación. Pero está lejos de ser 100% probado científicamente que una IA que se basa en un código escrito por humanos, así como en los datos que se le introducen como mecanismo de aprendizaje, no reflejará los sesgos existentes en nuestro mundo.
Aquí hay puntos clave sobre los algoritmos de IA que tendrán en cuenta los titulares futuros.
1. I.A. ya se está utilizando ampliamente en áreas clave de la vida
Como descubrieron Hansson y su esposa, los sistemas de inteligencia artificial se están volviendo más comunes en áreas en las que confía la gente común.
Esta tecnología no solo se está introduciendo en créditos y contratación laboral, sino también en seguros, [hipotecas](https://www.cnbc.com/2019/10/03/huds-new-housing-rule-has-an-ai-loophole -thats-bad-for-america.html) y bienestar infantil.
En 2016, el condado de Allegheny, Pensilvania, introdujo una herramienta llamada Allegheny Family Screening Tool. Es una herramienta de modelado de riesgo predictivo que se utiliza para ayudar con las decisiones de selección de llamadas de bienestar infantil cuando se plantean inquietudes de maltrato infantil al departamento de servicios humanos del condado.
El sistema recolectó datos sobre cada persona en la referencia y los usa para crear un "puntaje familiar general". Ese puntaje determina la probabilidad de un evento futuro.
Allegheny enfrentó algunas reacciones violentas, pero una conclusión fue que creó ["sesgo menos malo".](https://medium.com/mps-seminar-one/less-bad-bias-an-analysis-of-the- allegheny-family-screening-tool-ef6ffa8a56fb) Otros lugares, incluido Los Ángeles, [usaron tecnología similar en un intento por mejorar el bienestar infantil] (https://www.cnbc.com/2016/01/14/an-80 -billion-annual-tax-bill-thats-failing-our-children.html), y es un ejemplo de cómo los sistemas de IA se utilizarán de maneras que pueden afectar a las personas en gran medida y, como resultado, es importante para saber cómo esos sistemas pueden ser defectuosos.
2. I.A. puede ser parcial
La mayor parte de la IA se crea a partir de un proceso llamado aprendizaje automático, que le enseña algo a una computadora al proporcionarle miles de datos para ayudarlo a aprender la información del conjunto de datos por sí mismo.
Un ejemplo sería darle a un sistema de IA miles de imágenes de perros, con el propósito de enseñarle al sistema qué es un perro. A partir de ahí, el sistema podría mirar una foto y decidir si es un perro o no en función de esos datos anteriores.
Entonces, ¿qué pasa si los datos que está alimentando a un sistema son 75% golden retrievers y 25% dálmatas?
La investigadora postdoctoral del Instituto AI Now, la Dra. Sarah Myers West, dice que estos sistemas están diseñados para reflejar los datos que reciben, y que los datos se pueden construir sobre la base de sesgos.
"Estos sistemas están siendo entrenados en datos que reflejan nuestra sociedad en general", dijo West. "Por lo tanto, la IA reflejará y realmente amplificará las formas pasadas de desigualdad y discriminación".
Un ejemplo del mundo real: si bien el proceso de contratación basado en gerentes humanos sin duda puede estar sesgado, sigue habiendo debate sobre si la tecnología algorítmica de solicitud de empleo elimina sin duda el sesgo humano. El proceso de aprendizaje de IA podría incorporar los sesgos de los datos que reciben, por ejemplo, los currículos de los candidatos con mejor desempeño en las principales empresas.
3. Las personas que programan A.I. puede ser parcial
El Instituto AI Now también ha encontrado sesgos en las personas que están creando sistemas de IA. En un estudio de abril de 2019, encontraron que solo el 15 % del personal de IA en Facebook son mujeres, y solo el 4 % de su fuerza laboral total son negros. La fuerza laboral de Google es aún menos diversa, con solo el 10 % de su personal de inteligencia artificial siendo mujeres y el 2,5 % de sus trabajadores negros.
Joy Buolamwini, científica informática del MIT, descubrió durante su investigación sobre un proyecto que proyectaría máscaras digitales en un espejo, que el software genérico de reconocimiento facial que estaba usando no identificaría su rostro a menos que usara una máscara de color blanco.
Descubrió que su sistema no podía identificar el rostro de una mujer negra, porque el conjunto de datos en el que se ejecutaba era abrumadoramente de piel más clara.
"Claramente, no es un problema resuelto", dijo West. "En realidad, es un problema muy real que sigue resurgiendo en los sistemas de IA semanalmente, casi a diario".
4. Los algoritmos no son información pública
Los algoritmos de IA son propiedad exclusiva de la empresa que los creó.
"Los investigadores enfrentan desafíos realmente significativos para comprender dónde hay un sesgo algorítmico porque muchos de ellos son opacos", dijo West.
Incluso si pudiéramos verlos, no significa que los entenderíamos, dice el codirector del Proyecto de Plataformas Digitales y Democracia y miembro de Shorenstein en la Universidad de Harvard, Dipayan Ghosh.
"Es difícil sacar conclusiones basadas en el código fuente", dijo Ghosh. "El algoritmo de solvencia patentado de Apple es algo que ni siquiera Apple puede precisar fácilmente y decir: 'Está bien, aquí está el código para esto', porque probablemente involucra muchas fuentes diferentes de datos y muchas implementaciones diferentes de código para analizar esos datos en diferentes áreas aisladas de la empresa".
Para ir un paso más allá, empresas como Apple escriben su código para que sea legible para los empleados de Apple, y es posible que no tenga sentido para quienes están fuera de la empresa.
5. Existe una supervisión gubernamental limitada de la I.A.
En este momento, hay poca supervisión gubernamental de los sistemas de IA.
"Cuando los sistemas de IA se utilizan en áreas que tienen una importancia social, política y económica increíble, tenemos interés en comprender cómo afectan nuestras vidas", dijo West. "Actualmente no tenemos las vías para el tipo de transparencia que necesitaríamos para la rendición de cuentas".
Un candidato presidencial está tratando de cambiar eso. El senador de Nueva Jersey, Cory Booker, patrocinó un proyecto de ley a principios de este año llamado "Ley de responsabilidad algorítmica".
El proyecto de ley requiere que las empresas analicen algoritmos defectuosos que podrían crear situaciones injustas o discriminatorias para los estadounidenses. Según el proyecto de ley, la Comisión Federal de Comercio podría crear regulaciones para "realizar evaluaciones de impacto de sistemas de decisión automatizados altamente sensibles". Ese requisito afectaría los sistemas bajo la jurisdicción de la FTC, nuevos o existentes.
La descripción del proyecto de ley del sitio web de Cory Booker cita directamente la mala práctica algorítmica de Facebook y [Amazon](https://www.cnbc. com/quotes/AMZN) en los últimos años.
Booker no es el primer político que pide una mejor regulación de la IA. En 2016, la administración Obama pidió el desarrollo dentro de la industria de la auditoría algorítmica y las pruebas externas de los sistemas de big data.
6. Los algoritmos se pueden auditar, pero no es un requisito
Si bien la supervisión del gobierno es rara, una práctica cada vez mayor es la auditoría de algoritmos por parte de terceros.
El proceso implica que una entidad externa entre y analice cómo se crea el algoritmo sin revelar secretos comerciales, lo cual es una de las principales razones por las que los algoritmos son privados.
Ghosh dice que esto sucede con más frecuencia, pero no todo el tiempo.
"Sucede cuando las empresas se sienten obligadas por la opinión pública o la influencia del público a hacer algo porque no quieren que las llamen porque no han tenido ninguna auditoría", dijo Ghosh.
Ghosh también dijo que pueden ocurrir acciones regulatorias, como se vio en las numerosas investigaciones de la FTC sobre Google y Facebook. "Si se demuestra que una empresa discrimina de manera dañina, entonces podría hacer que una agencia reguladora entre y diga 'Oye, te vamos a demandar en la corte, o vas a hacer X, Y y Z. ¿Cuál ¿quieres hacer?'"
Esta historia se ha actualizado para incluir un comentario de Goldman Sachs de que no ha tomado y nunca tomará decisiones basadas en factores como el género, la raza, la edad, la orientación sexual o cualquier otro factor legalmente prohibido al determinar la solvencia crediticia.