Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 6865

Incidentes Asociados

Incidente 13244 Reportes
Pieces Technologies' Clinical AI Systems Allegedly Marketed With Misleading Performance Claims

Loading...
Aumento de la aplicación de la IA: Perspectivas del acuerdo con el Fiscal General del Estado y la investigación de la FTC de EE. UU. sobre gestión de riesgos y gobernanza
sidley.com · 2024

El 18 de septiembre de 2024, Texas anunció un acuerdo único con el Fiscal General del estado contra la empresa de inteligencia artificial (IA) generativa para el cuidado de la salud Pieces Technologies (Pieces) por utilizar declaraciones presuntamente engañosas y confusas sobre la precisión y seguridad de sus productos. El 25 de septiembre de 2024, la Comisión Federal de Comercio (FTC) de EE. UU. anunció una operación de cumplimiento, denominada Operación AI Comply, alegando que ciertas empresas utilizaron tecnología de IA en violación de la prohibición de prácticas engañosas e injustas de la Ley de la FTC. Más recientemente, el 3 de diciembre de 2024, la FTC emitió una orden contra IntelliVision Technologies Corp., proveedor de tecnología de reconocimiento facial basada en IA, que proporciona información importante sobre cómo la comisión revisará las afirmaciones sobre sesgo y eficacia de la IA. Estos avances se describen con más detalle a continuación, junto con las conclusiones clave para las empresas.

Acuerdo del Fiscal General de Texas con Pieces

El acuerdo con Pieces fue resultado de una acción legal que alegaba que Pieces “implementó sus productos en hospitales de Texas tras realizar una serie de declaraciones falsas y engañosas sobre la precisión y seguridad de sus productos [de IA generativa]”, que sintetizan y resumen los historiales y notas de los pacientes. El caso se presentó al amparo de la Ley de Protección al Consumidor contra Prácticas Comerciales Engañosas de Texas (DTPA), alegando que las declaraciones de Pieces podrían haber violado la DTPA debido a su naturaleza falsa, engañosa o engañosa. Específicamente, el Fiscal General de Texas alegó que Pieces desarrolló métricas que respaldaban su afirmación de que sus productos de IA para el cuidado de la salud eran “altamente precisos” (incluyendo afirmaciones de que sus productos tienen una tasa de alucinaciones “críticas” y “graves” de “<0,001%” y “<1 por 100.000”), pero que estas métricas eran supuestamente inexactas y engañaron a los hospitales sobre la seguridad y precisión de los productos de Pieces.

Como parte del acuerdo, Pieces no pagó una indemnización monetaria, pero aceptó las siguientes garantías clave:

  • Divulgación clara y visible — Marketing y publicidad. Pieces se comprometió a divulgar de forma clara y visible la definición de las métricas utilizadas para describir el resultado de sus productos de IA generativa, así como los métodos empleados para calcular dichas métricas.
  • Prohibición de tergiversaciones. Pieces no puede realizar declaraciones falsas, engañosas o infundadas sobre ninguna característica, función, prueba o uso apropiado de ninguno de sus productos. Pieces tampoco puede tergiversar ni engañar a ningún cliente o usuario con respecto a la precisión, funcionalidad, propósito o cualquier otra característica de sus productos.
  • Divulgación clara y visible — Clientes. Pieces también debe proporcionar a todos sus clientes actuales y futuros documentación que divulgue de forma clara y visible cualquier uso o mal uso dañino o potencialmente dañino, conocido o razonablemente conocido, de sus productos o servicios. El acuerdo no especifica cómo la empresa identifica o prueba con exactitud los usos o abusos conocidos, razonablemente conocidos o potencialmente dañinos. Sin embargo, sí indica que la documentación para los clientes debe incluir, como mínimo:
  • los tipos de datos o modelos utilizados para entrenar las tecnologías de IA;
  • una explicación detallada del propósito y uso previstos de la tecnología;
  • cualquier capacitación o documentación necesaria para garantizar el uso correcto de los productos y servicios;
  • cualquier uso indebido, conocido o razonablemente conocido, de un producto o servicio que pueda aumentar el riesgo de resultados inexactos o de daños a las personas;
  • la documentación razonablemente necesaria para que el usuario de las tecnologías de IA comprenda la naturaleza y el propósito de los resultados de IA, cómo monitorear patrones de inexactitud y cómo evitar razonablemente el uso indebido de los productos y servicios.

Este acuerdo refleja los recientes cambios en las políticas del Fiscal General de Texas hacia una aplicación rigurosa de las normas de privacidad y protección del consumidor. En junio de 2024, la Fiscalía General anunció la creación de una iniciativa para fortalecer la aplicación de la DTPA y las leyes estatales sobre privacidad, biometría, robo de identidad y comercialización de datos.

Operación IA Comply de la FTC

El 25 de septiembre de 2024, la FTC anunció demandas contra cinco empresas que presuntamente utilizaron IA de forma injusta o engañosa, violando así las leyes federales de protección al consumidor. Los cinco casos de la Operación Cumplimiento de IA se centran tanto en el uso de herramientas basadas en IA que supuestamente pueden magnificar actividades comerciales engañosas o desleales, como en las exageraciones y la publicidad exagerada de la IA para atraer a los consumidores:

  • DoNotPay. En una queja administrativa, la FTC alega que DoNotPay realizó declaraciones engañosas sobre las capacidades de su servicio de suscripción "abogado de IA". Un acuerdo propuesto exigiría a DoNotPay pagar 193.000 dólares, informar a ciertos suscriptores sobre el caso de la FTC y cesar sus prácticas presuntamente engañosas.
  • Ascend Ecom. La FTC alega en una demanda presentada ante un tribunal federal de California que Ascend Ecom y sus filiales realizaron afirmaciones engañosas sobre sus ganancias para incitar a los clientes a invertir en oportunidades de negocio de IA "sin riesgo". Posteriormente, la FTC alega que Ascend se negó a reembolsar a los clientes cuando las inversiones no generaron rentabilidad y amenazó a quienes intentaron publicar reseñas sobre la estafa. * Creadores de imperios de comercio electrónico. La FTC presentó una demanda ante un tribunal federal de Pensilvania alegando que Ecommerce Empire Builders realizó afirmaciones engañosas sobre herramientas de inversión basadas en IA, prometiendo indebidamente miles de dólares en rentabilidad mensual. La empresa también presuntamente omitió ciertas divulgaciones sobre las herramientas de inversión y exigió a los clientes que se comprometieran a no publicar reseñas negativas sobre sus servicios.
  • FBA Machine. En una demanda presentada ante un tribunal federal de Nueva Jersey, la FTC alega que FBA Machine realizó declaraciones engañosas y confusas sobre posibles rentabilidades de tiendas online impulsadas por software de IA, lo que resultó en pérdidas de casi 16 millones de dólares a los consumidores. La FTC obtuvo una orden para detener temporalmente las prácticas comerciales de FBA Machine.
  • Rytr, LLC. Según la demanda administrativa de la FTC, los clientes de Rytr, LLC podían utilizar el asistente de escritura con IA basado en suscripción de la empresa para generar reseñas falsas de sus productos o servicios, que los clientes de Rytr luego utilizaban para engañar a sus propios clientes. Rytr y la FTC han llegado a un acuerdo propuesto que prohibiría a Rytr seguir ofreciendo cualquier servicio que genere reseñas de usuarios.

IntelliVision Technologies. La FTC dio un paso más para profundizar en cómo las empresas deben fundamentar las afirmaciones sobre IA con su más reciente acuerdo sobre IA, derivado de la investigación de la FTC sobre las declaraciones de IntelliVision Technologies de que su software de reconocimiento facial impulsado por IA no presenta sesgo racial o tiene cero sesgo racial o de género. La FTC determinó que IntelliVision engañó a sus clientes al afirmar que su software de reconocimiento facial no presenta sesgo racial o de género. La FTC determinó que el software de IntelliVision era similar a otros programas de reconocimiento facial en que sus índices de precisión varían según los datos demográficos, incluyendo la raza y el género de los sujetos de las imágenes. En particular, este tipo de software suele producir más falsos positivos para ciertos grupos demográficos, como los de África occidental y oriental, Asia oriental e indios americanos, que para imágenes de rostros de Europa del Este, y también produce más falsos positivos en mujeres que en hombres. La FTC alegó que IntelliVision no era la excepción: “Las tasas de error de los algoritmos de IntelliVision variaban según los distintos grupos demográficos, incluyendo la región de nacimiento y el sexo”. En consecuencia, la FTC sostuvo que IntelliVision no podía anunciar su producto como si no tuviera sesgo racial ni de género.

El comisionado Andrew Ferguson explicó la definición de “sesgo” en una declaración concurrente. Tras rechazar una definición de sesgo que exija “tasas iguales de falsos negativos y falsos positivos en todos los grupos raciales y sexuales”, el Comisionado Ferguson advirtió que “si IntelliVision pretendía invocar una definición específica de ‘sesgo’, debía indicarlo. Sin embargo, no lo hizo; en cambio, dejó la resolución de esta ambigüedad en manos de los consumidores. Por lo tanto, IntelliVision debe asumir la carga de fundamentar todas las interpretaciones razonables que los consumidores hayan dado a su afirmación de que su software no presentaba ‘sesgo racial ni de género’”.

Cabe destacar que el acuerdo ordena a IntelliVision no realizar más afirmaciones con respecto a la eficacia o el sesgo de su IA (o su capacidad para resistir la suplantación de identidad) a menos que dichas afirmaciones se basen en “pruebas competentes y fiables” realizadas en el momento de la afirmación, lo cual está documentado detalladamente. Fundamentalmente, para fundamentar una reclamación, la FTC considera que las pruebas competentes y fiables, según la orden, son «pruebas basadas en la experiencia de profesionales en el área pertinente, que (1) han sido realizadas y evaluadas de manera objetiva por personas cualificadas y (2) son generalmente aceptadas por expertos en la profesión para producir resultados precisos y fiables…».

El panorama de la aplicación de la ley. Es fundamental que los reguladores estén aprovechando la autoridad preexistente bajo la Ley de la FTC para abordar los diversos usos, y posibles abusos, de la tecnología de IA. Además de la teoría de prácticas desleales y engañosas que sustenta la actividad del Fiscal General de Texas y la FTC, existen otras fuentes de riesgo legal para las empresas que desarrollan o utilizan IA. Varias leyes estatales de privacidad, incluida la de Texas, exigen a las empresas que realicen una evaluación de riesgos antes de utilizar la tecnología de IA para elaborar perfiles de los consumidores en el marco de decisiones relacionadas con la prestación o denegación de servicios financieros, vivienda, atención médica u oportunidades laborales. Estas leyes también permiten a los consumidores optar por no utilizar sus datos personales para ciertos tipos de decisiones de elaboración de perfiles. Otras agencias federales también están considerando el uso de sus facultades regulatorias existentes para regular y hacer cumplir la ley en el contexto de la IA. De hecho, a principios de este año, el Departamento de Justicia (DOJ) manifestó su intención no solo de utilizar la autoridad regulatoria existente para abordar los nuevos desafíos que plantea la tecnología de IA, sino también de buscar sanciones más severas para quienes la utilicen para cometer delitos. El DOJ también actualizó recientemente las directrices para que los fiscales evalúen la eficacia de los programas de cumplimiento corporativo para gestionar el riesgo de la IA. Estas directrices enfatizan los procesos de la empresa para identificar y gestionar los riesgos emergentes, incluyendo el grado en que una empresa monitorea y prueba su IA para evaluar si funciona según lo previsto y cumple con las políticas de la empresa, y la rapidez con la que la empresa puede identificar y remediar las decisiones tomadas por la IA que contradigan las políticas o los valores de la empresa.

Toda esta actividad regulatoria deja claro que, si bien EE. UU. aún no cuenta con una regulación federal integral de la IA (y la ley integral de IA de Colorado, la primera de su tipo en EE. UU., no entrará en vigor hasta 2026), los reguladores ya están utilizando las herramientas legales existentes para abordar los daños y riesgos percibidos de la IA.

Conclusiones clave para empresas que desarrollan o utilizan productos y servicios de IA

  • Los reguladores no esperan la regulación federal de la IA ni las leyes estatales específicas para la IA para su aplicación en este ámbito; las cuestiones relacionadas con la IA se están aplicando en una amplia gama de leyes existentes, incluyendo las leyes de protección al consumidor y privacidad.
  • Las afirmaciones de marketing relacionadas con las tecnologías de IA en los productos se analizarán minuciosamente para detectar inexactitudes, exageraciones u otros riesgos de engaño. Es fundamental para la comercialización una mayor transparencia y divulgación en torno a la base de las afirmaciones de marketing, los riesgos de las tecnologías de IA y cómo utilizarlas correctamente para sus fines previstos, de forma que se mitiguen razonablemente los riesgos. Esto es especialmente crucial para las empresas que ofrecen productos o servicios de IA para aplicaciones de alto riesgo que pueden afectar a los consumidores individuales, como la atención médica, los servicios financieros y la educación.
  • Las empresas B2B (empresa a empresa) no son inmunes a las medidas de cumplimiento en este ámbito. Los reguladores se dirigen a todas las empresas, independientemente de si se trata de empresas que trabajan con consumidores o empresas B2B que interactúan con contrapartes sofisticadas.

Para obtener más información sobre lo que las empresas deben tener en cuenta al evaluar los riesgos legales de la IA, le recomendamos que considere este recurso adicional, visite el Sidley AI Monitor o comuníquese con uno de los abogados de Sidley que se enumeran a continuación.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd