Incidentes Asociados
El 19 de diciembre de 2023, la Comisión Federal de Comercio (FTC) [anunció](https://www.ftc.gov/news-events/news/press-releases/2023/12/rite-aid-banned-using-ai -facial-recognition-after-ftc-says-retailer-deployed-technology- without) una acción coercitiva contra la farmacia minorista Rite Aid por prácticas desleales asociadas con el uso de un sistema de vigilancia de tecnología de reconocimiento facial (FRT) para disuadir el robo en sus tiendas minoristas y por violaciones de una orden anterior de la FTC. La queja de 54 páginas de la FTC alega que Rite Aid (1) no tomó medidas razonables para evitar daños a los consumidores por el uso de tecnología de reconocimiento facial y (2) violó disposiciones de la Orden de 2010 que requería un programa integral de seguridad de la información y retención de documentos. para la gestión de proveedores.
Esta acción marca un momento importante en la historia regulatoria de la IA, ya que es la primera vez que la FTC toma medidas coercitivas contra una empresa por utilizar la IA de una manera supuestamente sesgada e injusta. También continúa una tendencia que estamos viendo en las acciones de cumplimiento de la FTC en términos de que la agencia se base en datos y devolución algorítmica como remedio: Rite Aid (y cualquier tercero con quien haya compartido información cubierta) debe eliminar todos los datos biométricos de Rite Aid. que fue procesado injustamente, y cualquier modelo o algoritmo de IA asociado con dichos datos.
Esta decisión de cumplimiento también sirve como advertencia y guía para las empresas que utilizan y desarrollan sistemas de IA, especialmente si esos sistemas de IA utilizan tecnología de reconocimiento facial para identificar a las personas y tomar decisiones automatizadas sobre ellas que podrían resultar en daños potenciales. La acción de cumplimiento de la FTC en este caso se alinea con los criterios de injusticia descritos por la agencia en su [declaración de política de mayo de 2023](https://www.ftc.gov/news-events/news/press-releases/2023/05/ftc -warns-about-maluses-biometric-information-harm-consumers) advierte sobre usos indebidos de la información biométrica y daños a los consumidores. Además, esta acción de cumplimiento destaca la importancia de realizar evaluaciones de riesgos para comprender los posibles impactos en los consumidores, implementar estrategias de mitigación de prejuicios, supervisar a los proveedores, capacitar a los empleados y cumplir con los estándares de seguridad de la empresa en cada etapa de la adquisición y el despliegue de un sistema de inteligencia artificial (selección de proveedores). , desarrollo de modelos, mantenimiento de modelos y seguimiento posterior a la implementación).
En esta publicación, resumimos la queja de la FTC, incluidos sus cargos formales contra Rite Aid y las acusaciones que la respaldan. También presentamos una evaluación consolidada de su orden estipulado y algunas conclusiones clave que las empresas que actualmente implementan o están interesadas en implementar tecnología de IA deben tener en cuenta. Para mantenerse actualizado sobre los últimos acontecimientos relacionados con la FTC y otros reguladores de privacidad, [suscríbase](https://www.wilmerhalecommunications.com/12/50/landing-pages/subscribe.asp?_ga=2.267978762. 564827722.1704654939-62741373.1698293922) al blog sobre leyes de privacidad y ciberseguridad de WilmerHale.
La queja
La queja detalla cómo Rite Aid implementó un sistema de vigilancia FRT en cientos de sus farmacias minoristas, principalmente en zonas urbanas de bajos ingresos. ingresos y comunidades racialmente diversas, desde octubre de 2012 hasta julio de 2020. La compañía contrató a dos proveedores externos diferentes para desarrollar el sistema de inteligencia artificial, lo que implicó la creación de una base de datos de imágenes de "personas de interés" compuesta por (1) individuos que Empleados de Rite Aid inscritos en el sistema por actividad delictiva real o sospechada en una tienda de Rite Aid, y (2) personas que habían sido señaladas por las autoridades en alertas de "Esté atento". Rite Aid alentó a sus empleados a nivel de tienda a inscribir a tantas personas como fuera posible. La base de datos del FRT contenía datos personales e imágenes, a menudo fotografías de baja calidad tomadas de cámaras de circuito cerrado de televisión o fotografías de teléfonos móviles, de "decenas de miles" de personas. Rite Aid no tenía una política de retención de datos: la base de datos FRT almacenaba estas imágenes indefinidamente.
El sistema de vigilancia FRT de Rite Aid capturó imágenes de todos los clientes que ingresaban a la tienda minorista y comparó las imágenes con la base de datos para identificar posibles coincidencias. Si la coincidencia superaba un puntaje de confianza específico, el sistema alertaría a los empleados de la tienda y les daría instrucciones (por ejemplo, "observar y brindar servicio al cliente" o "notificar a la policía") basándose en la información de la coincidencia. Estas alertas de coincidencia generalmente no proporcionaban la puntuación de confianza real a los empleados de la tienda. Sin embargo, como señala detalladamente la FTC en su denuncia, el sistema frecuentemente generaba coincidencias falsas positivas que "sometían a los consumidores a vigilancia, expulsión de las tiendas y daños emocionales y de reputación", entre otros daños. Rite Aid instruyó a los empleados de sus tiendas a no informar a los compradores ni a los medios sobre el uso de este FRT.
Las acusaciones de la FTC se resumen en dos cargos importantes contra Rite Aid, que se resumen a continuación. En particular, a pesar de que la FTC podría haber obtenido sanciones monetarias contra Rite Aid dada la decisión de la agencia de hacer cumplir una orden previa, la orden de consentimiento no exigía que Rite Aid pagara dinero (presumiblemente porque la empresa se encuentra en un proceso de quiebra).
1. Prácticas desleales de tecnología de reconocimiento facial
La FTC sostiene que Rite Aid no hizo lo siguiente:
- Evaluar, monitorear o mitigar cualquier riesgo de identificar incorrectamente a los consumidores, y dichos errores ocurren con mayor frecuencia según la raza o el género. Como resultado, los consumidores negros, asiáticos, latinos y mujeres tenían un mayor riesgo de ser identificados erróneamente y generar un falso positivo por parte del FRT de Rite Aid.
- Evaluar razonablemente o incluso preguntar sobre la precisión del FRT antes de implementar la tecnología. De hecho, los contratos de ambos proveedores renunciaban expresamente a cualquier garantía en cuanto a la exactitud o confiabilidad de los resultados.
- Aplicar controles de calidad de imagen, aumentando la probabilidad de alertas de coincidencias falsas positivas. La FTC alega que las políticas de calidad de imagen de Rite Aid demostraron que entendía cómo una mala calidad de imagen podía generar alertas falsas y, sin embargo, Rite Aid no colocó ningún control o supervisión para garantizar que las fotografías de inscripción cumplieran con la política.
- Capacitar o supervisar adecuadamente a los empleados de la tienda responsables de operar el FRT, incluido cómo interpretar y actuar ante las alertas de partidos. Los materiales de capacitación disponibles tampoco abordaron adecuadamente la posibilidad de coincidencias falsas positivas. Supervise o pruebe periódicamente la precisión de la tecnología después de la implementación. Según la denuncia, Rite Aid examinó de manera inadecuada la precisión de las alertas de coincidencias, documentó los resultados, monitoreó la frecuencia de coincidencias falsas positivas y abordó problemas con inscripciones problemáticas.
2. Falta injusta de implementar o mantener un programa integral de seguridad de la información exigido por una orden anterior de la FTC en 2010
La FTC también afirmó que Rite Aid violó la Orden de 2010, que exigía la implementación y el mantenimiento de un programa integral de seguridad de la información y la documentación del cumplimiento. Esta infracción incluyó fallas en:
- Utilizar medidas razonables para evaluar y seleccionar proveedores de servicios que puedan cumplir con los estándares de seguridad para la información personal compartida por Rite Aid. (Rite Aid tampoco mantuvo la documentación de evaluación de riesgos para estos proveedores de servicios).
- Realizar evaluaciones periódicas de seguridad de sus proveedores de servicios para garantizar que sigan cumpliendo con los estándares de seguridad de la empresa.
- Exigir contractualmente a sus proveedores de servicios que establezcan salvaguardas adecuadas para la información personal compartida por Rite Aid.
El orden estipulado
La orden contiene 16 estipulaciones que Rite Aid acepta para resolver el caso. Además de presentar una certificación anual de cumplimiento, informar cualquier "incidente cubierto" (como violaciones de datos) a la FTC y mantener registros precisos, Rite Aid:
1. No se puede utilizar ningún sistema de análisis o reconocimiento facial (definido en términos generales como "un sistema de vigilancia o seguridad biométrica automatizado que analiza o utiliza representaciones o imágenes, descripciones, grabaciones, copias, medidas o geometría del rostro de un individuo o relacionado con él para generar un resultado". ) por 5 años.
2. Debe eliminar la información biométrica cubierta y destruir cualquier modelo o algoritmo de IA derivado de esa información (también llamado devolución de modelos). Rite Aid también debe notificar a terceros estos datos o modelos e indicarles que hagan lo mismo.
3. Deben establecer e implementar un programa de monitoreo del sistema de vigilancia o seguridad biométrica automatizada si Rite Aid continúa usando el sistema de vigilancia FRT en sus tiendas después de la prohibición de 5 años o si desean usar otro sistema de vigilancia o seguridad biométrica automatizada no sujeto a la prohibición. .. (Los requisitos para el programa de seguimiento comienzan en la pág. 7 de la orden).
4. Debe establecer e implementar procedimientos para notificar a los consumidores y un medio para presentar quejas relacionadas con los resultados del sistema de IA si Rite Aid continúa usando el sistema de vigilancia FRT en sus tiendas después de la prohibición de 5 años o si desean usar otro. Sistema automatizado de seguridad o vigilancia biométrica no sujeto a la prohibición. (Los requisitos para los procedimientos de notificación y queja comienzan en la página 13 de la orden).
5. Debe tener límites de retención para sus datos biométricos antes de implementar cualquier sistema de vigilancia o seguridad biométrica automatizada.
6. Debe publicar avisos claros y visibles en las tiendas minoristas y plataformas en línea que revelen el uso por parte de la empresa de cualquier sistema de vigilancia o seguridad biométrica automatizada que utilice información biométrica recopilada de los consumidores. Los avisos deben contener información sobre:
a. Los tipos específicos de información biométrica recopilada,
b. Los tipos de resultados generados por la IA,
C. Todos los propósitos para los cuales Rite-Aid utiliza el FRT y sus productos, incluida cualquier acción que los empleados de la tienda puedan realizar en función de los productos, y
d. El plazo para la eliminación de cada tipo de información biométrica utilizada, según lo establecido en las políticas de retención de datos (también obligatorias).
7. No se puede tergiversar su cumplimiento de estas órdenes.
8. Debe establecer y mantener un programa integral de seguridad de la información para proveedores que proteja la información personal compartida por Rite Aid. (Los requisitos para el programa de seguridad comienzan en la página 17 del pedido).
9 y 10. Someterse periódicamente a una evaluación de seguridad por parte de un tercero independiente, informar los resultados a la FTC y cooperar con el evaluador.
Conclusiones clave
En una declaración a la acción de cumplimiento, el Comisionado Álvaro Bedoya dijo: "La Sección 5 de la Ley de la FTC requiere que las empresas que utilizan tecnología para automatizar decisiones importantes sobre la vida de las personas... para tomar medidas razonables para identificar y prevenir daños previsibles", explicó que el acuerdo con Rite Aid "ofrece una base sólida sobre cómo debería ser un programa de equidad algorítmica".
Las empresas que buscan garantizar el cumplimiento y evitar la atención de los reguladores para los sistemas de IA orientados al consumidor, especialmente aquellas que participan en aplicaciones de IA de alto riesgo que utilizan información personal y/o biométrica para tomar decisiones automatizadas sobre un individuo, deberían considerar esta orden como guía. Destaca algunas de las prioridades de la FTC en materia de privacidad de datos y aplicación de la gobernanza de la IA, y proporciona medidas concretas que las empresas pueden tomar para evitar el sesgo de la IA y proteger la información personal. Aquí hay algunas conclusiones específicas de esta acción de cumplimiento:
Considere el qué, el cómo y el dónde (es decir, el contexto) al implementar la IA. Como advirtieron la FTC y otros reguladores [advirtieron a las empresas en 2023](https://www.ftc.gov/legal-library/browse/cases-proceedings/public-statements/joint-statement-enforcement-efforts-against-discrimination-bias (sistemas-automatizados), las leyes y autoridades existentes que protegen contra la discriminación se aplican a las nuevas tecnologías, como la IA, del mismo modo que se aplican a otras prácticas. Además de evaluar la IA en sí para detectar posibles resultados dispares basados en la raza, el origen étnico o la presentación de género, las empresas deben ser conscientes del contexto en el que se implementa la IA. En este caso, la FTC señaló que Rite Aid no sólo no evaluó las tasas de falsos positivos entre razas y géneros, sino que tampoco consideró cómo las ubicaciones seleccionadas para desplegar su sistema de vigilancia de IA (ubicaciones consideradas "urbanas" y "a lo largo de rutas de transporte público"---tendría impactos desproporcionados en las comunidades de minorías raciales y étnicas.
Las sanciones de la FTC por incumplimiento en casos de IA pueden incluir la eliminación de datos y la devolución algorítmica. Hemos visto a la FTC ordenar la devolución algorítmica (o la eliminación o destrucción de algoritmos o modelos) antes, como en sus acciones de cumplimiento contra [Everalbum](https://www.ftc.gov/legal-library/browse/cases- procedimientos/192-3172-everalbum-inc-matter), Cambridge Analytica y Ring. La acción de cumplimiento de Rite Aid demuestra que la devolución sigue siendo un remedio que la FTC busca activamente y que puede tener efectos significativos para las empresas.
Realizar evaluaciones de riesgos periódicas es importante para la IA de alto riesgo que produce resultados que potencialmente podrían dañar a los consumidores. La disposición 3 en la orden estipulada puede servir como una lista de verificación de cumplimiento para las empresas que buscan implementar "sistemas automatizados de vigilancia o seguridad biométrica" o tecnología de inteligencia artificial similar que tome decisiones automatizadas sobre los consumidores. En particular, a la FTC le preocupan los riesgos de "daño físico, financiero o de reputación a los consumidores" (incluido el estigma y la angustia emocional grave) y afirma que estas evaluaciones de riesgos no sólo deben identificar y abordar los riesgos, sino también considerar si habrá Habrá un impacto desproporcionado en los consumidores por motivos de raza, etnia, género, sexo, edad o discapacidad, solos o en combinación.
Asegúrese de que su empresa cuente con un sólido programa de capacitación para los empleados que operan sistemas de inteligencia artificial de alto riesgo. Los empleados encargados de operar y/o actuar sobre los resultados de la IA, como el sistema de vigilancia FRT de Rite Aid, deben recibir capacitación periódica y comprender las limitaciones de la tecnología. La queja de la FTC detalla cómo se debería haber capacitado a los empleados de la tienda en:
- cómo evaluar la calidad de las imágenes inscritas en el modelo,
- cómo comparar visualmente las imágenes (como operador humano) para ver si su evaluación concuerda con el resultado de la IA, y
- cómo comprender los efectos del sesgo que podrían ser inherentes a los datos y al modelo.
Las empresas deben ser transparentes sobre cualquier uso de la IA que involucre información personal del consumidor, especialmente datos biométricos. La disposición 4 de la orden explica qué detalles deben incluirse en un aviso al consumidor y cómo Rite Aid puede establecer un procedimiento de queja formal para los consumidores afectados. Por ejemplo, el aviso debe incluir los tipos específicos de información biométrica recopilada, el tipo de resultados generados, el propósito de la recopilación y el uso de datos y la política de retención de datos. Estos requisitos resaltan la importancia de la transparencia y la comunicación con el consumidor al implementar herramientas de inteligencia artificial como sistemas de vigilancia o seguridad biométrica automatizada.
Las empresas deben examinar los contratos con proveedores que manejan datos biométricos u otra información personal. La FTC enfatiza la importancia de la supervisión de los proveedores y la debida diligencia en cada etapa del proceso de adquisición, desde la selección inicial hasta la retención continua. Realizar evaluaciones periódicas de la capacidad de los proveedores para salvaguardar la información personal de los consumidores y conservar la documentación de estos esfuerzos puede ayudar a una empresa a cumplir con las pautas de política de la FTC.