Incidentes Asociados
Rite Aid ha "utilizado tecnología de reconocimiento facial en sus tiendas minoristas sin tomar medidas razonables para abordar los riesgos de que su implementación de dicha tecnología pudiera resultar en daño a los consumidores como resultado de alertas de coincidencias de reconocimiento facial falsas positivas". Ese es el lenguaje jurídico de la acción que acaba de presentar la FTC contra la cadena de farmacias Rite Aid y una filial. Dicho en un lenguaje más común, [la FTC alega que Rite Aid lanzó un programa de vigilancia encubierta insuficientemente probado y operativamente deficiente contra sus clientes](https://www.ftc.gov/news-events/news/press-releases/2023/ 12/rite-aid-banned-using-ai-facial-recognition-after-ftc-says-retailer-implemented-technology-sin) sin considerar el impacto que su inexacta tecnología de reconocimiento facial tendría en las personas identificadas erróneamente como "coincidentes" alguien en la base de datos de la lista de seguimiento de la empresa. Entre otras cosas, un acuerdo propuesto en el caso prohibiría a Rite Aid utilizar cualquier sistema de reconocimiento facial con fines de seguridad o vigilancia durante cinco años.
Desde al menos 2012 hasta 2020, Rite Aid ha utilizado tecnología de reconocimiento facial en cientos de sus establecimientos minoristas para "conducir y mantener a las personas de interés fuera de las tiendas [Rite Aid]". La mayoría de esas tiendas estaban en grandes zonas urbanas. Es más, la queja alega que Rite Aid no les dijo a los consumidores que utilizó tecnología de reconocimiento facial e instruyó específicamente a los empleados a no revelar ese hecho a los consumidores ni a los medios.
¿Cómo funcionó el sistema de reconocimiento facial de Rite Aid? Rite Aid supervisó la creación de una “base de datos de lista de vigilancia” de imágenes de personas que, según la empresa, habían participado en una actividad delictiva real o intentada en una de sus tiendas. Llamadas “inscripciones”, estas entradas incluían, en la medida en que se conocían, nombres y apellidos, años de nacimiento y una descripción del comportamiento que Rite Aid afirmó que había tenido la persona en la foto. Subidas por empleados de Rite Aid en la tienda, las imágenes eran a menudo de baja calidad: a veces capturas de pantalla de un circuito cerrado de televisión o fotografías tomadas con los teléfonos móviles de los empleados. Según la denuncia, Rite Aid ordenó a la seguridad de la tienda que "presionara para lograr tantas inscripciones como fuera posible", lo que dio como resultado una base de datos de lista de vigilancia que incluía a decenas de miles de personas.
Si alguien que ingresaba a la tienda supuestamente “coincidía” con una imagen en la base de datos de la lista de seguimiento de Rite Aid, los empleados recibían una alerta en el teléfono celular de su empresa. Basado total o parcialmente en esa alerta, se ordenó al personal de Rite Aid que tomara medidas según las categorías de la base de datos que informaron la respuesta del personal. Según la denuncia, “a la mayoría de los inscritos en reconocimiento facial de Rite Aid se les asignó la instrucción de alerta de coincidencia 'Acercarse e identificar', lo que significaba que los empleados debían acercarse a la persona, pedirle que se fuera y, si la persona se negaba, llamar a la policía. .” Pero según la denuncia, en numerosos casos, las alertas de coincidencias que llevaron a esas acciones fueron falsos positivos; en otras palabras, la tecnología identificó incorrectamente a los clientes de Rite Aid como personas en la base de datos de la lista de vigilancia.
Querrá leer la queja para conocer las acusaciones sobre la considerable – y perjudiciales: imprecisiones del sistema, pero he aquí sólo un ejemplo. Durante un período de cinco días, Rite Aid generó más de 900 alertas separadas en más de 130 tiendas desde Nueva York hasta Seattle, todas afirmando coincidir con una sola imagen en la base de datos. Dicho de otra manera, la tecnología de reconocimiento facial de Rite Aid les dijo a los empleados que solo una persona en la foto había ingresado a más de 130 ubicaciones de Rite Aid de costa a costa más de 900 veces en menos de una semana. Al darle un significado completamente nuevo a la frase "facialmente inexacto", Rite Aid supuestamente utilizó esa información para expulsar a los consumidores de sus tiendas.
Las empresas que estén considerando utilizar tecnologías de vigilancia mediante IA u otros sistemas de vigilancia biométrica, tomen nota. La FTC dice que al implementar tecnología de reconocimiento facial en algunas de sus ubicaciones, Rite Aid no ha tomado medidas razonables para evitar daños a los consumidores. Estas son solo algunas de las acusaciones de la denuncia.
- Rite Aid no tuvo en cuenta los riesgos que los falsos positivos tenían para los consumidores, incluidos los riesgos de identificación errónea por motivos de raza o género. Por una serie de razones descritas en la demanda, la FTC alega que las personas negras, asiáticas, latinas y Las consumidoras corrían un mayor riesgo de ser “emparejadas” incorrectamente con una imagen en la base de datos de la lista de seguimiento de la empresa, lo que conllevaba consecuencias humillantes y perjudiciales. Como se detalla en la denuncia, “Como resultado de los fracasos de Rite Aid, los consumidores negros, asiáticos, latinos y mujeres tenían especialmente probabilidades de verse perjudicados por el uso de la tecnología de reconocimiento facial por parte de Rite Aid”.
- Rite Aid no pudo probar la precisión del sistema. Según la FTC, Rite Aid no se molestó en preguntar a su primer proveedor de tecnología de reconocimiento facial si se había probado la precisión del sistema. De hecho, Rite Aid implementó la tecnología a pesar de la declaración expresa del proveedor de que:
NO HACE DECLARACIONES NI GARANTÍAS EN CUANTO A LA EXACTITUD Y CONFIABILIDAD DEL PRODUCTO EN EL DESEMPEÑO DE SUS CAPACIDADES DE RECONOCIMIENTO FACIAL. [VENDEDOR] NIEGA CUALQUIER RESPONSABILIDAD O GARANTÍA, EXPRESA O IMPLÍCITA, CON RESPECTO A CUALQUIER IDENTIFICACIÓN FALSA O IDENTIFICACIÓN MAL QUE SURJA DEL USO DEL PRODUCTO.
Antes de acudir a un segundo proveedor, Rite Aid supuestamente estaba consciente del problema de los falsos positivos y una vez más no pidió los resultados de las pruebas sobre la precisión del sistema de ese proveedor.
Rite Aid no hizo cumplir los controles de calidad de la imagen. Como explicó un proveedor a Rite Aid: “La calidad de las fotografías utilizadas para la [tecnología de reconocimiento facial] es extremadamente importante. . . Sin fotografías de buena calidad, una inscripción no sirve”. Consciente de esa advertencia, Rite Aid afirmó establecer estándares de calidad de imagen. Pero según la FTC, Rite Aid incumplió sus propias políticas al utilizar periódicamente imágenes borrosas y de baja calidad tomadas con poca luz, lo que aumenta la probabilidad de falsos positivos.
Rite Aid no capacitó a su personal. La capacitación de Rite Aid se centró en navegar por el sitio web para utilizar la tecnología y cargar nuevas inscripciones. La denuncia alega que los materiales de capacitación de Rite Aid no abordaron el riesgo de falsos positivos o cubrieron el tema solo brevemente. Incluso cuando la empresa tenía evidencia del problema de los falsos positivos, la FTC dice que Rite Aid no tomó medidas razonables para mejorar su capacitación.
Rite Aid no supervisó, probó ni realizó un seguimiento de la precisión de los resultados. Incluso después de que el problema con las coincidencias falsas positivas se hizo evidente, la FTC dice que Rite Aid no abordó el problema adecuadamente. Como alega la denuncia, “En parte debido a las fallas de Rite Aid para rastrear, monitorear, evaluar o probar su tecnología de reconocimiento facial, Rite Aid no tenía una base razonable para creer que cualquier alerta de coincidencia dada fuera probablemente precisa. Sin embargo, Rite Aid continuó instruyendo a los empleados de las tiendas para que tomaran medidas contra los consumidores basándose en alertas de coincidencias de reconocimiento facial”. Además, la FTC dice que Rite Aid no mantuvo registros precisos de los resultados de las alertas y no realizó un seguimiento de los falsos positivos.
La denuncia incluye más ejemplos del impacto que tuvieron las fallas de Rite Aid en las personas que compraron en sus tiendas. Por citar un ejemplo, en mayo de 2020 el personal de Rite Aid en el Bronx subió una imagen a la base de datos de la lista de vigilancia. Durante los siguientes meses, la tecnología de reconocimiento facial de Rite Aid generó más de 1000 alertas de coincidencias para esa foto, casi el 5 % de todas las alertas de coincidencias generadas por el sistema de Rite Aid durante ese período. Es más, el 99% de esas alertas de partidos provinieron del área de Los Ángeles. De hecho, cuatro de las alertas de coincidencia le dijeron al personal de Rite Aid que la única persona fue vista en tiendas de Nueva York y California en el mismo período de 24 horas.
¿Cómo resultaron perjudicados los consumidores por las alertas de coincidencias falsas positivas generadas por la tecnología de reconocimiento facial de Rite Aid? Según la FTC, numerosos consumidores fueron identificados erróneamente como ladrones o malhechores. Como resultado, la denuncia alega que Rite Aid los vigiló y los siguió por la tienda; les dijeron que se fueran sin hacer compras, incluidos medicamentos recetados o sin receta; los busqué; los acusó públicamente de ser ladrones y los humilló frente a sus empleadores, compañeros de trabajo y familiares, incluidos sus hijos; y llamó a la policía para confrontarlos o eliminarlos, todo ello basado en tecnología de reconocimiento facial que se sabe que produce falsos positivos y que es especialmente probable que resulte en coincidencias inexactas para consumidores negros, latinos, asiáticos y mujeres.
La FTC presentó su demanda contra Rite Aid en un tribunal federal de Pensilvania. El cargo I de esa demanda alega que Rite Aid utilizó tecnología de reconocimiento facial en sus tiendas sin tomar medidas razonables para abordar los riesgos de que su uso probablemente perjudicaría a los consumidores debido a alertas de coincidencias falsas positivas, especialmente las consumidoras y los consumidores de color. El cargo II surge de una orden de 2010 bajo la cual Rite Aid ya se encuentra y que le exige mantener un programa integral de seguridad de la información para proteger la información personal de los consumidores. Ese cargo alega que el hecho de que Rite Aid no mantenga ese programa requerido es una práctica desleal, en violación de la Ley de la FTC.
La FTC dice que las fallas en el programa de seguridad de la información de Rite Aid fueron significativas. La denuncia cita una serie de deficiencias y deficiencias específicas, entre ellas:
Rite Aid no investigó adecuadamente a los proveedores que tenían acceso a la información personal de los consumidores. Realizar una evaluación precisa y verificable de las capacidades de seguridad de los datos de los proveedores es una parte esencial de cualquier programa integral de seguridad de la información. Según la FTC, Rite Aid confió datos confidenciales de los consumidores a proveedores, incluidos aquellos que la empresa consideraba de “alto riesgo”, basándose únicamente en conversaciones, en lugar de una evaluación exhaustiva de materiales escritos y otra documentación. Claro, hablar sobre las cosas puede ser parte de un programa de seguridad de la información, pero no debería constituir todo el proceso de evaluación.
Rite Aid no reevaluó periódicamente las prácticas de seguridad de datos de los proveedores de servicios. Los procedimientos y las capacidades pueden cambiar, por lo que cuando están en juego datos confidenciales, evaluar a los proveedores de servicios no es una tarea única. La FTC dice que Rite Aid no realizó reevaluaciones periódicas para garantizar que la información de los consumidores estuviera segura en manos de los proveedores de servicios, un componente clave de cualquier programa integral de seguridad de la información.
Rite Aid no incluyó suficientes requisitos de seguridad de la información en los contratos con proveedores de servicios. La FTC alega que los contratos de Rite Aid con los proveedores carecían de estándares de seguridad de la información o solo tenían requisitos mínimos. Las cláusulas contractuales ejecutables ayudan a proteger la información de los consumidores cuando está en manos de proveedores u otros terceros.
El acuerdo propuesto prohibiría a Rite Aid utilizar cualquier sistema de análisis o reconocimiento facial con fines de seguridad o vigilancia en sus tiendas minoristas o en línea durante cinco años. Además, la empresa tendría que eliminar las fotos o vídeos recopilados como parte del sistema de reconocimiento facial que operó entre 2012 y 2020, así como cualquier dato, modelo o algoritmo derivado de esas imágenes.
El acuerdo propuesto cubre el uso por parte de la empresa de todos los sistemas automáticos de seguridad o vigilancia biométrica, no solo los sistemas de análisis y reconocimiento facial. Si la empresa utiliza algún sistema automatizado de este tipo en el futuro, debe implementar un programa de seguimiento que requiera controles técnicos y organizativos sólidos. Entre otras cosas, el programa de seguimiento debe abordar los riesgos potenciales para los consumidores que plantea cualquier sistema biométrico automático que la empresa pueda implementar. Querrá leer la nueva orden propuesta para obtener detalles específicos, pero implementaría disposiciones amplias para garantizar la capacitación, las pruebas y la evaluación adecuadas. Antes de implementar cualquier sistema de vigilancia o seguridad biométrica automática, Rite Aid necesitará pruebas sólidas de que es preciso. Y si Rite Aid tiene motivos para creer en algún momento que las imprecisiones del sistema contribuyen a un riesgo de daño a los consumidores, la empresa debe cerrar el sistema.
Además, si Rite Aid cuenta con un sistema automático de seguridad o vigilancia biométrica en el futuro, según la orden propuesta, debe dar un aviso individualizado por escrito a cualquier consumidor que la empresa agregue a su sistema y a cualquier persona contra quien tome medidas como resultado. . Rite Aid también tendría que implementar un sólido procedimiento de quejas de los consumidores. Además, la empresa tendría que revelar claramente a los consumidores en establecimientos minoristas y en línea si está utilizando seguridad y vigilancia biométrica automática y los avisos deben colocarse donde los consumidores puedan leerlos a tiempo para evitar la recopilación de su información biométrica.
Además, Rite Aid debe implementar un programa integral de seguridad de la información, obtener evaluaciones bienales de ese programa por parte de un evaluador externo y proporcionar una certificación anual a la FTC de su director ejecutivo que indique que Rite Aid cumple con la orden propuesta. Querrá leer el pedido propuesto para obtener más información sobre requisitos específicos.
Debido a que Rite Aid se encuentra actualmente en quiebra, el acuerdo propuesto está sujeto a la aprobación del Tribunal de Quiebras.
¿Su empresa utiliza IA u otras tecnologías de vigilancia biométrica automatizada? La acción de la FTC contra Rite Aid demuestra la necesidad de probar, evaluar y monitorear el funcionamiento de esos sistemas y garantizar que su desempeño en entornos del mundo real cumpla con los estándares de protección al consumidor.