Incidentes Asociados
Trescientos veinticuatro. Esa fue la puntuación que recibió Mary Louis mediante una herramienta de selección de inquilinos impulsada por IA. El software, SafeRent, no explicó en su informe de 11 páginas cómo se calculó la puntuación ni cómo se ponderaron varios factores. No dijo qué significaba realmente la puntuación. Solo mostró el número de Louis y determinó que era demasiado bajo. En un recuadro junto al resultado, el informe decía: "Recomendación de puntuación: RECHAZAR".
Louis, que trabaja como guardia de seguridad, había solicitado un apartamento en un suburbio del este de Massachusetts. Cuando visitó la unidad, la empresa de gestión le dijo que no debería tener problemas para que se aceptara su solicitud. Aunque tenía una puntuación crediticia baja y algunas deudas con tarjetas de crédito, tenía una excelente referencia de su propietario de 17 años, quien dijo que siempre pagaba el alquiler a tiempo. También utilizaría un vale para inquilinos de bajos ingresos, lo que garantizaría que la empresa de gestión recibiera al menos una parte del alquiler mensual en pagos del gobierno. Su hijo, también nombrado en el vale, tenía una puntuación crediticia alta, lo que indicaba que podría servir como respaldo en caso de impagos.
Pero en mayo de 2021, más de dos meses después de que solicitara el apartamento, la empresa de gestión le envió un correo electrónico a Louis para informarle de que un programa informático había rechazado su solicitud. Necesitaba tener una puntuación de al menos 443 para que su solicitud fuera aceptada. No hubo más explicaciones ni forma de apelar la decisión.
"Mary, lamentamos informarle que el servicio de terceros que utilizamos para evaluar a todos los posibles inquilinos ha rechazado su alquiler", decía el correo electrónico. "Desafortunadamente, la puntuación de alquiler SafeRent del servicio fue inferior a la permitida según nuestros estándares de alquiler".
Un inquilino presenta una demanda
Louis tuvo que alquilar un apartamento más caro. La administración no la puntuó mediante un algoritmo. Pero se enteró de que su experiencia con SafeRent no era única. Ella formaba parte de un grupo de más de 400 inquilinos negros e hispanos en Massachusetts que utilizan vales de vivienda y dijeron que sus solicitudes de alquiler fueron rechazadas debido a su puntuación en SafeRent.
En 2022, se unieron para demandar a la empresa en virtud de la Ley de Equidad de Vivienda (https://www.theguardian.com/society/housing), alegando que SafeRent los discriminaba. Louis y la otra demandante nombrada, Monica Douglas, alegaron que el algoritmo de la empresa puntuaba desproporcionadamente a los inquilinos negros e hispanos que utilizan vales de vivienda más bajos que a los solicitantes blancos. Afirmaron que el software ponderaba de forma incorrecta información irrelevante de la cuenta sobre si serían buenos inquilinos (puntuaciones crediticias, deudas no relacionadas con la vivienda), pero no tenía en cuenta que utilizarían un vale de vivienda. Los estudios han demostrado que los solicitantes de alquiler negros e hispanos tienen más probabilidades de tener puntuaciones crediticias más bajas y utilizar vales de vivienda que los solicitantes blancos.
“Fue una pérdida de tiempo esperar a que me rechazaran”, dijo Louis. “Sabía que mi crédito no era bueno, pero la IA no conoce mi comportamiento: sabía que me atrasaba en el pago de mi tarjeta de crédito, pero no sabía que siempre pago el alquiler”.
Han pasado dos años desde que el grupo demandó por primera vez a SafeRent, tanto tiempo que Louis dice que ha seguido adelante con su vida y prácticamente se ha olvidado de la demanda, aunque fue una de las dos únicas demandantes nombradas. Pero sus acciones aún pueden proteger a otros inquilinos que hacen uso de programas de vivienda similares, conocidos como vales de la Sección 8 por su lugar en el código legal federal de EE. UU., de perder la vivienda debido a una puntuación determinada algorítmicamente.
SafeRent ha llegado a un acuerdo con Louis y Douglas. Además de realizar un pago de 2,3 millones de dólares, la empresa ha acordado dejar de utilizar un sistema de puntuación o hacer cualquier tipo de recomendación cuando se trata de posibles inquilinos que utilizaron vales de vivienda durante cinco años. Aunque SafeRent legalmente no admitió ninguna irregularidad, es raro que una empresa de tecnología acepte cambios en sus productos principales como parte de un acuerdo; El resultado más común de tales acuerdos sería un acuerdo financiero.
“Si bien SafeRent sigue creyendo que los puntajes SRS cumplen con todas las leyes aplicables, los litigios requieren mucho tiempo y son costosos”, dijo Yazmin Lopez, portavoz de la empresa, en un comunicado. “Se hizo cada vez más evidente que defender el puntaje SRS en este caso desviaría tiempo y recursos que SafeRent puede utilizar mejor para cumplir con su misión principal de brindarles a los proveedores de vivienda las herramientas que necesitan para evaluar a los solicitantes”.
Su nuevo propietario con inteligencia artificial
Los sistemas de evaluación de inquilinos como SafeRent se utilizan a menudo como una forma de “evitar interactuar” directamente con los solicitantes y pasar la culpa de una denegación a un sistema informático, dijo Todd Kaplan, uno de los abogados que representa a Louis y al grupo de demandantes que demandó a la empresa.
La empresa de administración de propiedades le dijo a Louis que el software solo decidió rechazarla, pero el informe de SafeRent indicó que fue la empresa de administración la que estableció el umbral de qué tan alto necesitaba una puntuación para que se aceptara su solicitud.
La IA no conoce mi comportamiento: sabía que me atrasaba en el pago de mi tarjeta de crédito, pero no sabía que siempre pago el alquiler
Mary Louis
Aun así, incluso para las personas involucradas en el proceso de solicitud, el funcionamiento del algoritmo es opaco. La administradora de la propiedad que le mostró el apartamento a Louis dijo que no entendía por qué Louis tendría problemas para alquilar el apartamento.
“Están ingresando un montón de información y SafeRent está creando su propio sistema de puntuación”, dijo Kaplan. “Esto hace que sea más difícil para las personas predecir cómo los va a ver SafeRent. No solo para los inquilinos que están solicitando, incluso los propietarios no conocen los detalles de la puntuación de SafeRent”.
Como parte del acuerdo de Louis con SafeRent, que se aprobó el 20 de noviembre, la empresa ya no puede usar un sistema de puntuación ni recomendar si aceptar o rechazar a un inquilino si está usando un vale de vivienda. Si la empresa crea un nuevo sistema de puntuación, está obligada a que una organización independiente de vivienda justa lo valide.
“Eliminar la determinación de aprobación o desaprobación realmente permite al inquilino decir: ‘Soy un gran inquilino’”, dijo Kaplan. “Hace que la determinación sea mucho más individualizada”.
La IA se extiende a partes fundamentales de la vida
Casi la totalidad de los 92 millones de personas que se consideran de bajos ingresos en los EE. UU. han estado expuestas a la toma de decisiones mediante IA en partes fundamentales de la vida, como el empleo, la vivienda, la medicina, la educación o la asistencia gubernamental, según un nuevo informe sobre los daños de la IA del abogado Kevin de Liban, que representó a personas de bajos ingresos como parte de la Legal Aid Society. De Liban, fundador de una nueva organización de justicia basada en inteligencia artificial llamada TechTonic Justice, comenzó a investigar estos sistemas en 2016 cuando se le acercaron pacientes con discapacidades en Arkansas que de repente dejaron de recibir tantas horas de atención domiciliaria financiada por el estado debido a la toma de decisiones automatizada que reducía la intervención humana. En un caso, la dispensa de Medicaid del estado dependía de un programa que determinaba que un paciente no tenía ningún problema con su pie porque se lo habían amputado.
“Esto me hizo darme cuenta de que no deberíamos confiar en los [sistemas de inteligencia artificial] como una especie de forma supremamente racional de tomar decisiones”, dijo De Liban. Dijo que estos sistemas hacen varias suposiciones basadas en “ciencia estadística basura” que producen lo que él llama “absurdos”.
En 2018, después de que De Liban demandara al Departamento de Servicios Humanos de Arkansas en nombre de estos pacientes por el proceso de toma de decisiones del departamento, la legislatura estatal dictaminó que la agencia ya no podía automatizar la determinación de las asignaciones de atención domiciliaria de los pacientes. La de De Liban fue una victoria temprana en la lucha contra los daños causados por la toma de decisiones algorítmica, aunque su uso en todo el país persiste en otros ámbitos, como el empleo.
Pocas regulaciones frenan la proliferación de la IA a pesar de los defectos
Las leyes que limitan el uso de la IA, especialmente en la toma de decisiones importantes que pueden afectar la calidad de vida de una persona, son pocas, al igual que las vías de rendición de cuentas para las personas perjudicadas por decisiones automatizadas.
Una encuesta realizada por Consumer Reports, publicada en julio, concluyó que la mayoría de los estadounidenses se sentían “incómodos con el uso de la IA y la tecnología de toma de decisiones algorítmica en torno a los momentos importantes de la vida relacionados con la vivienda, el empleo y la atención médica”. Los encuestados dijeron que les inquietaba no saber qué información utilizaban los sistemas de IA para evaluarlos.
A diferencia del caso de Louis, a menudo no se notifica a las personas cuando se utiliza un algoritmo para tomar una decisión sobre sus vidas, lo que dificulta apelar o impugnar esas decisiones.
“Las leyes existentes que tenemos pueden ser útiles, pero están limitadas en lo que pueden ofrecer”, dijo De Liban. “Las fuerzas del mercado no funcionan cuando se trata de personas pobres. Todo el incentivo está básicamente en producir más tecnología mala, y no hay incentivos para que las empresas produzcan buenas opciones para las personas de bajos ingresos”.
Los reguladores federales bajo el mando de Joe Biden han hecho varios intentos de ponerse al día con la rápida evolución de la industria de la IA. El presidente emitió una orden ejecutiva que incluía un marco destinado, en parte, a abordar los riesgos relacionados con la seguridad nacional y la discriminación en los sistemas de IA. Sin embargo, Donald Trump ha hecho promesas de deshacer ese trabajo y recortar las regulaciones, incluida la orden ejecutiva de Biden sobre la IA.
Eso puede hacer que demandas como la de Louis sean una vía más importante que nunca para la rendición de cuentas de la IA. La demanda ya despertó el interés del Departamento de Justicia de EE. UU. y el Departamento de Vivienda y Desarrollo Urbano, ambos se ocupan de políticas de vivienda discriminatorias que afectan a las clases protegidas.
"En la medida en que este es un caso histórico, tiene el potencial de proporcionar una hoja de ruta sobre cómo analizar estos casos y alentar otros desafíos", dijo Kaplan.
Aun así, hacer que estas empresas rindan cuentas en ausencia de regulación será difícil, dijo De Liban. Las demandas demandan tiempo y dinero, y las empresas pueden encontrar una forma de crear soluciones alternativas o productos similares para personas que no están cubiertas por demandas colectivas. “No se pueden presentar este tipo de casos todos los días”, dijo.