Incidentes Asociados
Un día del verano pasado, el director de investigación de inteligencia artificial de Microsoft, Eric Horvitz, activó la función de piloto automático de su sedán Tesla. El auto condujo por una carretera sinuosa cerca del campus de Microsoft en Redmond, Washington, liberando su mente para concentrarse mejor en una llamada con una organización sin fines de lucro que él había cofundado en torno a la ética y la gobernanza de la IA. Luego, dice, los algoritmos de Tesla lo defraudaron.
“El auto no se centró correctamente”, recuerda Horvitz. Ambos neumáticos del lado del conductor del vehículo mellaron un bordillo amarillo elevado que marcaba la línea central y se hicieron trizas. Horvitz tuvo que agarrar el volante para volver a poner su auto averiado en el carril. Él resultó ileso, pero el vehículo abandonó la escena en la parte trasera de un camión, con la suspensión trasera dañada. Su conductor se fue afirmando en su creencia de que las empresas que implementan IA deben considerar nuevos desafíos éticos y de seguridad. Tesla dice que el piloto automático está diseñado para que lo use un conductor totalmente atento.
En Microsoft, Horvitz ayudó a establecer una junta de ética interna en 2016 para ayudar a la empresa a navegar por lugares potencialmente difíciles con su propia tecnología de IA. El grupo está copatrocinado por el presidente y abogado de mayor rango de Microsoft, Brad Smith. Ha llevado a la compañía a rechazar negocios de clientes corporativos y a adjuntar condiciones a algunos acuerdos que limitan el uso de su tecnología.
Horvitz se negó a proporcionar detalles de esos incidentes y solo dijo que generalmente involucraban a empresas que le pedían a Microsoft que creara proyectos de IA personalizados. El grupo también ha capacitado a los equipos de ventas de Microsoft en aplicaciones de IA de las que la empresa desconfía. Y ayudó a Microsoft a mejorar un servicio en la nube para analizar rostros que, según reveló un trabajo de investigación, era mucho menos preciso para las mujeres negras que para los hombres blancos. “Ha sido alentador ver el compromiso de la empresa y la seriedad con la que se toman las preguntas”, dice Horvitz. Él compara lo que está sucediendo en Microsoft con un despertar anterior sobre la seguridad informática, diciendo que también cambiará la forma en que cada ingeniero trabaja en tecnología.
Mucha gente habla ahora de los desafíos éticos que plantea la IA, a medida que la tecnología se extiende a más rincones de la vida. El presidente francés, Emmanuel Macron, dijo recientemente a WIRED que su plan nacional para impulsar el desarrollo de la IA consideraría establecer "límites éticos y filosóficos". Han surgido nuevos institutos de investigación, grupos industriales y programas filantrópicos.
Microsoft se encuentra entre el número más pequeño de empresas que desarrollan procesos formales de ética. Incluso algunas empresas que compiten para obtener ganancias de la IA se han preocupado por moverse demasiado rápido. “Durante los últimos años he estado obsesionado con asegurarme de que todos puedan usarlo mil veces más rápido”, dice Joaquín Candela, director de aprendizaje automático aplicado de Facebook. Pero a medida que más equipos dentro de Facebook usan las herramientas, "comencé a ser muy consciente de nuestros posibles puntos ciegos".
En la conferencia anual de desarrolladores de Facebook este mes, la científica de datos Isabel Kloumann describió una especie de asesor automático para los ingenieros de la empresa llamado Fairness Flow. Mide el rendimiento del software de aprendizaje automático que analiza los datos en diferentes categorías, por ejemplo, hombres y mujeres, o personas en diferentes países, para ayudar a exponer posibles sesgos. La investigación ha demostrado que los modelos de aprendizaje automático pueden detectar o incluso amplificar los sesgos contra ciertos grupos, como las mujeres o los mexicanos, cuando se entrenan con imágenes o texto recopilados en línea.
Los primeros usuarios de Kloumann fueron ingenieros que crearon una función de Facebook donde las empresas publican anuncios de reclutamiento. Los comentarios de Fairness Flow los ayudaron a elegir algoritmos de recomendación de trabajo que funcionaron mejor para diferentes tipos de personas, dice ella. Ahora está trabajando en la creación de Fairness Flow y herramientas similares en la plataforma de aprendizaje automático que se utiliza en toda la empresa. Algunos científicos de datos realizan verificaciones similares manualmente; hacerlo más fácil debería hacer que la práctica sea más generalizada. “Asegurémonos antes de lanzar estos algoritmos de que no tengan un impacto desigual en las personas”, dice Kloumann. Un portavoz de Facebook dijo que la compañía no tiene planes para juntas de ética o pautas sobre ética de IA.
Google, otro líder en investigación e implementación de IA, se ha convertido recientemente en un caso de estudio de lo que puede suceder cuando una empresa no parece considerar adecuadamente la ética de la IA.
La semana pasada, la compañía prometió que requeriría una nueva forma hiperrealista de su asistente de voz para identificarse como un bot cuando habla con humanos por teléfono. El compromiso se produjo dos días después de que el director ejecutivo Sundar Pichai reprodujera clips de audio impresionantes, y algunos inquietantes, en los que el software experimental hacía reservas en restaurantes con un personal desprevenido.
Google ha tenido problemas anteriores con algoritmos éticamente cuestionables. El servicio de organización de fotos de la compañía está programado para no etiquetar fotos con "mono" o "chimpancé" después de un incidente de 2015 en el que las imágenes de personas negras fueron etiquetadas con "gorila". Pichai también está luchando contra los críticos internos y externos de un contrato de inteligencia artificial del Pentágono, en el que Google está ayudando a crear un software de aprendizaje automático que puede dar sentido al video de vigilancia de drones. Miles de empleados han firmado una carta de protesta por el proyecto; Los principales investigadores de IA de la empresa han tuiteado su descontento; y Gizmodo informaron el lunes que algunos empleados han renunciado.
Un portavoz de Google dijo que la empresa agradece los comentarios sobre el software de llamadas automáticas, conocido como Duplex, a medida que se refina en un producto, y que Google está participando en una amplia discusión interna sobre los usos militares del aprendizaje automático. La empresa ha tenido investigadores trabajando en ética y equidad en la IA durante algún tiempo, pero anteriormente no tenía reglas formales para los usos apropiados de la IA. Eso está empezando a cambiar. En respuesta al escrutinio de su proyecto del Pentágono, Google está trabajando en un conjunto de principios que guiarán el uso de su tecnología.
Algunos observadores son escépticos de que los esfuerzos corporativos para imbuir la ética en la IA marquen la diferencia. El mes pasado, Axon, fabricante de Taser, anunció una junta de ética de expertos externos para revisar ideas como el uso de IA en productos policiales como cámaras corporales. La junta se reunirá trimestralmente, publicará uno o más informes al año e incluye un miembro designado como punto de contacto para los empleados de Axon preocupados por un trabajo específico.
Poco después, más de 40 grupos académicos, de derechos civiles y comunitarios criticaron el esfuerzo en una carta abierta. Sus acusaciones incluían que Axon había omitido representantes de las comunidades fuertemente vigiladas con mayor probabilidad de sufrir las desventajas de la nueva tecnología policial. Axon dice que ahora está buscando que la junta reciba aportes de una gama más amplia de personas. La miembro de la junta, Tracy Kosa, que trabaja en seguridad en Google y es profesora adjunta en Stanford, no ve el episodio como un revés. “Estoy francamente emocionada por eso”, dice, hablando independientemente de su rol en Google. Más personas que se comprometan críticamente con las dimensiones éticas de la IA es lo que ayudará a las empresas a hacerlo bien, dice Kosa.
Ninguno lo ha hecho bien hasta ahora, dice Wendell Wallach, académico del Centro Interdisciplinario de Bioética de la Universidad de Yale. “Todavía no hay buenos ejemplos”, dice cuando se le pregunta sobre los primeros experimentos corporativos con juntas de ética de IA y otros procesos. "Hay mucha charla fanfarrona, pero todo lo que he visto hasta ahora es ingenuo en la ejecución".
Wallach dice que es difícil confiar en los procesos puramente internos, como los de Microsoft, particularmente cuando son opacos para los extraños y no tienen un canal independiente para la junta directiva de una empresa. Insta a las empresas a contratar oficiales de ética de IA y establecer juntas de revisión, pero argumenta que también se necesitará una gobernanza externa, como regulaciones, acuerdos o estándares nacionales e internacionales.
Horvitz llegó a una conclusión similar después de su percance al volante. Quería informar los detalles del incidente para ayudar a los ingenieros de Tesla. Al relatar su llamada a Tesla, describe al operador como más interesado en establecer los límites de responsabilidad del fabricante de automóviles. Debido a que Horvitz no estaba usando el piloto automático según lo recomendado (conducía a menos de 45 millas por hora), el incidente recayó sobre él.
"Lo entiendo", dice Horvitz, quien todavía ama su Tesla y su función de piloto automático. Pero también pensó que su accidente ilustraba cómo las empresas que presionan a las personas para que confíen en la IA podrían ofrecer, o ser obligadas, a hacer más. “Si tuviera un sarpullido desagradable o problemas para respirar después de tomar medicamentos, habría un informe a la FDA”, dice Horvitz, MD y PhD en ciencias de la computación. “Sentí que ese tipo de cosas deberían o podrían haber estado en su lugar”. NHTSA requiere que los fabricantes de automóviles informen algunos defectos en vehículos y piezas; Horvitz imagina un sistema de informes formal alimentado directamente con datos de vehículos autónomos. Un portavoz de Tesla dijo que la compañía recopila y analiza datos de seguridad y accidentes de sus vehículos, y que los propietarios pueden usar comandos de voz para brindar comentarios adicionales.
Liesl Yearsley, quien vendió una startup de chatbot a IBM en 2014, dice que el embrión del movimiento de ética empresarial de la IA debe madurar rápidamente. Recuerda que se alarmó al ver cómo sus bots podían deleitar a clientes como bancos y empresas de medios al manipular a los jóvenes para que se endeudaran más o pasaran horas conversando con una pieza de software.
La experiencia convenció a Yearsley de convertir su nuevo asistente de IA, Akin, en una corporación de beneficio público. La IA mejorará la vida de muchas personas, dice. Pero las empresas que buscan obtener ganancias mediante el empleo de software inteligente inevitablemente se verán empujadas hacia un terreno arriesgado, por una fuerza que, según ella, solo se está fortaleciendo. “Va a empeorar a medida que la tecnología mejore”, dice Yearsley.