Incidentes Asociados
El 18 de marzo de 2018 fue el día que los expertos en tecnología temían. Esa noche, la luna nueva casi no iluminó una carretera de cuatro carriles mal iluminada en Tempe, Arizona, cuando un Uber Volvo XC90 especialmente adaptado detectó un objeto adelante. Como parte de la fiebre del oro moderna para desarrollar vehículos autónomos, el SUV había estado conduciendo de forma autónoma, sin intervención de su conductor de respaldo humano, durante 19 minutos. Una serie de sensores de radar y lidar emisores de luz permitieron que los algoritmos a bordo calcularan que, dada la velocidad constante de su vehículo anfitrión de 43 mph, el objeto estaba a seis segundos de distancia, suponiendo que permaneciera estacionario. Pero los objetos en las carreteras rara vez permanecen estacionarios, por lo que más algoritmos rastrearon una base de datos de entidades mecánicas y biológicas reconocibles, en busca de un ajuste del cual se pudiera inferir el comportamiento probable de este. Al principio, la computadora se quedó en blanco; Segundos después, decidió que estaba lidiando con otro automóvil, esperando que se alejara y no requiriera ninguna acción especial. Solo en el último segundo se encontró una identificación clara: una mujer con una bicicleta, bolsas de compras colgando confusamente del manillar, sin duda asumiendo que el Volvo la rodearía como lo haría cualquier vehículo común. Impedida de realizar una acción evasiva por sí misma, la computadora devolvió abruptamente el control a su maestro humano, pero el maestro no estaba prestando atención. Elaine Herzberg, de 49 años, fue golpeada y asesinada, lo que dejó a los miembros más reflexivos de la comunidad tecnológica con dos preguntas incómodas: ¿era inevitable esta tragedia algorítmica? ¿Y cuán acostumbrados a tales incidentes deberíamos estar preparados para estar? “De alguna manera hemos perdido agencia. Cuando los programas pasan al código y el código pasa a los algoritmos y luego los algoritmos comienzan a crear nuevos algoritmos, se aleja cada vez más de la agencia humana. El software se libera en un universo de código que nadie puede entender por completo”. Si estas palabras suenan impactantes, deberían, sobre todo porque Ellen Ullman, además de haber sido una distinguida programadora profesional desde la década de 1970, es una de las pocas personas que escribe de manera reveladora sobre el proceso de codificación. No hay mucho que ella no sepa sobre el software en la naturaleza. “La gente dice: ‘Bueno, ¿qué pasa con Facebook? Crean y usan algoritmos y pueden cambiarlos’. Pero no es así como funciona. Activan los algoritmos y aprenden, cambian y se ejecutan solos. Facebook interviene en su funcionamiento periódicamente, pero realmente no los controla. Y los programas particulares no se ejecutan solos, sino que recurren a bibliotecas, sistemas operativos profundos, etcétera..." ¿Qué es un algoritmo? Pocos temas se discuten más constante o fervientemente en este momento que los algoritmos. Pero, ¿qué es un algoritmo? De hecho, el uso ha cambiado de manera interesante desde el surgimiento de Internet, y de los motores de búsqueda en particular, a mediados de la década de 1990. En la raíz, un algoritmo es algo pequeño y simple; una regla utilizada para automatizar el tratamiento de un dato. Si sucede a, entonces haz b; si no, entonces haz c. Esta es la lógica "si/entonces/si no" de la computación clásica. Si un usuario dice tener 18 años, permítale ingresar al sitio web; si no, escriba "Lo siento, debe tener 18 años para participar". En esencia, los programas de computadora son paquetes de tales algoritmos. Recetas para el tratamiento de datos. En el nivel micro, nada podría ser más simple. Si las computadoras parecen estar haciendo magia, es porque son rápidas, no inteligentes. Los últimos años han visto emerger un significado más portentoso y ambiguo, con la palabra "algoritmo" entendiendo cualquier sistema de software de toma de decisiones grande y complejo; cualquier medio de tomar una matriz de entrada, de datos, y evaluarla rápidamente, de acuerdo con un conjunto determinado de criterios (o "reglas"). Esto ha revolucionado las áreas de la medicina, la ciencia, el transporte y la comunicación, facilitando la comprensión de la visión utópica de la informática que dominó durante muchos años. Los algoritmos han mejorado nuestras vidas de innumerables formas. Solo desde 2016 comenzó a tomar forma una consideración más matizada de nuestra nueva realidad algorítmica. Si tendemos a discutir los algoritmos en términos casi bíblicos, como entidades independientes con vida propia, es porque nos han alentado a pensar en ellos de esta manera. Corporaciones como Facebook y Google han vendido y defendido sus algoritmos con la promesa de objetividad, la capacidad de sopesar un conjunto de condiciones con desapego matemático y ausencia de emociones confusas. No es de extrañar que esa toma de decisiones algorítmica se haya extendido a la concesión de préstamos, fianzas, beneficios, plazas universitarias, entrevistas de trabajo y casi cualquier cosa que requiera elección. Ya no aceptamos tan mansamente el argumento de venta de este tipo de algoritmos. En su libro de 2016 Armas de destrucción matemática, Cathy O'Neil, ex prodigio de las matemáticas que dejó Wall Street para enseñar, escribir y administrar el excelente blog mathbabe, demostró sin lugar a dudas que, lejos de erradicar los sesgos humanos, los algoritmos podrían magnificarlos y consolidarlos. . Después de todo, el software está escrito por hombres blancos y asiáticos abrumadoramente ricos, e inevitablemente reflejará sus suposiciones (Google "dispensador de jabón racista" para ver cómo se desarrolla incluso en situaciones mundanas del mundo real). El sesgo no requiere malicia para convertirse en daño y, a diferencia de un ser humano, no podemos pedirle fácilmente a un guardián algorítmico que explique su decisión. O'Neil pidió "auditorías algorítmicas" de cualquier sistema que afecte directamente al público, una idea sensata que la industria tecnológica luchará con uñas y dientes, porque los algoritmos son lo que venden las empresas; lo último que ofrecerán es transparencia. La buena noticia es que esta batalla está en marcha. La mala noticia es que ya se ve pintoresco en relación con lo que viene a continuación. Se ha prestado tanta atención a las promesas y amenazas distantes de la inteligencia artificial, IA, que casi nadie se ha dado cuenta de que entramos en una nueva fase de la revolución algorítmica que podría ser igual de tensa y desorientadora, sin apenas hacer una pregunta. Los algoritmos marcados por O'Neil y otros son opacos pero predecibles: hacen lo que han sido programados para hacer. Un codificador experto puede, en principio, examinar y desafiar sus fundamentos. Algunos soñamos con un ejército de ciudadanos para hacer este trabajo, similar a la red de astrónomos aficionados que apoyan a los profesionales en ese campo. La legislación para permitir esto parece inevitable. Podríamos llamar a estos algoritmos "tontos", en el sentido de que están haciendo su trabajo de acuerdo con los parámetros definidos por los humanos. La calidad del resultado depende del pensamiento y la habilidad con que fueron programados. En el otro extremo del espectro está el sueño más o menos lejano de la inteligencia general artificial similar a la humana, o AGI. Una máquina adecuadamente inteligente sería capaz de cuestionar la calidad de sus propios cálculos, basándose en algo así como nuestra propia intuición (que podríamos considerar como una amplia acumulación de experiencia y conocimiento). Para poner esto en perspectiva, la división DeepMind de Google ha sido justamente elogiada por crear un programa capaz de dominar los juegos de arcade, comenzando con nada más que una instrucción para aspirar a la puntuación más alta posible. Esta técnica se llama "aprendizaje de refuerzo" y funciona porque una computadora puede jugar millones de juegos rápidamente para aprender qué genera puntos. Algunos llaman a esta forma de habilidad "inteligencia artificial limitada", pero aquí la palabra "inteligente" se usa de la misma manera que Facebook usa "amigo", para implicar algo más seguro y mejor entendido de lo que es. ¿Por qué? Porque la máquina no tiene contexto para lo que está haciendo y no puede hacer nada más. Y, lo que es más importante, tampoco puede transferir conocimientos de un juego a otro (el llamado "aprendizaje de transferencia"), lo que lo hace menos inteligente en general que un niño pequeño o incluso una sepia. También podríamos llamar "inteligente" a una torre de perforación de petróleo oa un áfido. Las computadoras ya son muy superiores a nosotros en ciertas tareas especializadas, pero el día en que rivalicen con nuestra capacidad general probablemente esté lejos, si es que alguna vez sucede. Los seres humanos pueden no ser los mejores en mucho, pero somos los segundos mejores en una variedad impresionante de cosas. Aquí está el problema. Entre los algoritmos fijos "tontos" y la verdadera IA se encuentra la problemática casa intermedia en la que ya hemos entrado sin apenas pensar y casi sin debate, mucho menos acuerdo en cuanto a objetivos, ética, seguridad, mejores prácticas. Si los algoritmos que nos rodean aún no son inteligentes, es decir, capaces de decir de forma independiente "ese cálculo/curso de acción no se ve bien: lo haré de nuevo", sin embargo, están comenzando a aprender de sus entornos. Y una vez que un algoritmo está aprendiendo, ya no sabemos con certeza cuáles son sus reglas y parámetros. En ese momento, no podemos estar seguros de cómo interactuará con otros algoritmos, el mundo físico o nosotros. Mientras que los algoritmos fijos "tontos" (complejos, opacos y habituados a la supervisión en tiempo real como pueden ser) son en principio predecibles e interrogables, estos no lo son. Después de un tiempo en la naturaleza, ya no sabemos qué son: tienen el potencial de volverse erráticos. Podríamos tener la tentación de llamar a estos "frankenalgos", aunque Mary Shelley no podría haberlo inventado. Choque de códigos Estos algoritmos no son nuevos en sí mismos. Los encontré por primera vez hace casi cinco años mientras investigaba un artículo para The Guardian sobre el comercio de alta frecuencia (HFT) en el mercado de valores. Lo que encontré fue extraordinario: un ecosistema digital hecho por humanos, distribuido entre bastidores de cajas negras agazapadas como ninjas en granjas de datos de miles de millones de dólares, que es en lo que se habían convertido los mercados de valores. Donde antes había habido un parqué físico, toda la acción había recaído en un servidor central, en el que algoritmos ágiles y depredadores se alimentaban de los pesados institucionales, tentándolos a vender más bajo y comprar más alto engañándolos en cuanto al estado del mercado. Los comerciantes humanos de HFT (aunque ya ningún ser humano comerciaba activamente) llamaron a estos grandes y lentos participantes "ballenas", y en su mayoría pertenecían a fondos mutuos y de pensiones, es decir, al público. Para la mayoría de las tiendas de HFT, las ballenas eran ahora la principal fuente de ganancias. En esencia, estos algoritmos intentaban burlarse unos de otros; estaban librando una batalla invisible a la velocidad de la luz, colocando y cancelando el mismo pedido 10 000 veces por segundo o cerrando de golpe tantos en el sistema que todo el mercado se estremeció, todo más allá de la supervisión o el control de los humanos. Nadie podía sorprenderse de que esta situación fuera inestable. En 2010 se produjo un "desplome repentino", durante el cual el mercado entró en caída libre durante cinco minutos traumáticos y luego se enderezó durante otros cinco, sin motivo aparente. Viajé a Chicago para ver a un hombre llamado Eric Hunsader, cuyas prodigiosas habilidades de programación le permitieron ver los datos del mercado con mucho más detalle que los reguladores, y me mostró que para 2014, cada semana ocurrían “mini accidentes repentinos”. Incluso él no pudo probar exactamente por qué, pero él y su personal habían comenzado a nombrar algunos de los "algos" que vieron, al igual que los cazadores de círculos de cultivos nombraron las formaciones que se encuentran en los campos de verano ingleses, llamándolos "Wild Thing", "Zuma ”, “El Clic” o “Disruptor”. Neil Johnson, físico especializado en complejidad de la Universidad George Washington, realizó un estudio sobre la volatilidad del mercado de valores. “Es fascinante”, me dijo. “Quiero decir, la gente ha hablado sobre la ecología de los sistemas informáticos durante años en un sentido vago, en términos de gusanos, virus, etc. Pero aquí hay un sistema de trabajo real que podemos estudiar. El problema más grande es que no sabemos cómo funciona o a qué podría dar lugar. Y la actitud parece ser 'fuera de la vista, fuera de la mente'". De manera significativa, el artículo de Johnson sobre el tema fue publicado en la revista Nature y describió el mercado de valores en términos de “una transición abrupta en todo el sistema de una fase mixta humano-máquina a una nueva fase de todas las máquinas caracterizada por frecuentes cisnes negros [es decir, altamente inusuales] eventos con duraciones ultrarrápidas”. El escenario se complicó, según el historiador de la ciencia George Dyson, por el hecho de que algunas empresas de HFT permitían que los algoritmos aprendieran: "simplemente dejar que la caja negra pruebe cosas diferentes, con pequeñas cantidades de dinero, y si funciona, reforzar esas cosas". normas. Sabemos que eso se ha hecho. Luego, en realidad tienes reglas donde nadie sabe cuáles son las reglas: los algoritmos crean sus propias reglas: los dejas evolucionar de la misma manera que la naturaleza evoluciona a los organismos”. Los observadores de la industria no financiera comenzaron a postular un catastrófico “choque de salpicadura” global, mientras que el área del mercado de más rápido crecimiento se convirtió (y sigue siendo) en instrumentos que se benefician de la volatilidad. En su novela de 2011 The Fear Index, Robert Harris imagina el surgimiento de AGI (de la Singularidad, nada menos) precisamente a partir de este fango digital. Para mi sorpresa, ningún científico con el que hablé descartaría categóricamente tal posibilidad. Todo lo cual podría descartarse como arcanos de las altas finanzas, si no fuera por un simple hecho. La sabiduría solía sostener que la tecnología fue adoptada primero por la industria del porno y luego por todos los demás. Pero la pornografía del siglo XXI son las finanzas, así que cuando creí ver signos de algoritmos similares a HFT que causaban problemas en otros lugares, volví a llamar a Neil Johnson. “Tienes razón”, me dijo: una nueva forma de algoritmo se está moviendo hacia el mundo, que tiene “la capacidad de reescribir bits de su propio código”, momento en el que se convierte en “un algoritmo genético”. Él cree que vio evidencia de ellos en incursiones de investigación en Facebook ("Mis cuentas han sido atacadas cuatro veces", agrega). Si es así, los algoritmos están compitiendo allí y adaptándose, como en el mercado de valores. “Después de todo, Facebook es solo un gran algoritmo”, dice Johnson. “Y creo que ese es exactamente el problema que tiene Facebook. Pueden tener algoritmos simples para reconocer mi rostro en una foto en la página de otra persona, tomar los datos de mi perfil y vincularnos. Ese es un algoritmo concreto muy simple. Pero la pregunta es ¿cuál es el efecto de miles de millones de tales algoritmos trabajando juntos a nivel macro? No se puede predecir el comportamiento aprendido a nivel de la población a partir de reglas microscópicas. Entonces, Facebook afirmaría que sabe exactamente lo que sucede a nivel micro, y probablemente tenga razón. Pero, ¿qué sucede a nivel de la población? Ese es el problema. Para subrayar este punto, Johnson y un equipo de colegas de la Universidad de Miami y Notre Dame produjeron un artículo, Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms, que pretendía demostrar matemáticamente que los intentos de conectar a las personas en las redes sociales inevitablemente polarizará a la sociedad en su conjunto. Él piensa que Facebook y otros deberían modelar (o ser hechos para modelar) los efectos de sus algoritmos en la forma en que los científicos del clima modelan el cambio climático o los patrones climáticos. O'Neil dice que excluyó conscientemente esta forma adaptativa de algoritmo de Armas de destrucción matemática. En un entorno algorítmico enrevesado en el que nada está claro, asignar responsabilidades a segmentos particulares de código se vuelve extremadamente difícil. Esto los hace más fáciles de ignorar o descartar, porque ellos y sus efectos precisos son más difíciles de identificar, explica, antes de aconsejar que si quiero verlos en la naturaleza, debería preguntar cómo sería un accidente repentino en Amazon. "También he estado buscando estos algoritmos", dice, "y había estado pensando: 'Oh, los grandes datos aún no han llegado'. Pero más recientemente, un amigo que es librero en Amazon ha estado diciéndome lo loca que se ha vuelto la situación de los precios para gente como él. De vez en cuando verás a alguien twittear 'Oye, puedes comprar un hilo de lujo en Amazon por $ 40,000'. Y cada vez que escucho ese tipo de cosas, pienso: '¡Ah! ¡Eso debe ser el equivalente a un accidente repentino!'”. La evidencia anecdótica de eventos anómalos en Amazon es abundante, en forma de hilos de vendedores desconcertados, y al menos un artículo académico de 2016, que afirma: “Han surgido ejemplos de casos en los que piezas de software de precios algorítmicos de la competencia interactuaron de maneras inesperadas y produjeron precios impredecibles, así como casos en los que los algoritmos fueron diseñados intencionalmente para implementar la fijación de precios”. El problema, nuevamente, es cómo repartir la responsabilidad en un entorno algorítmico caótico donde la causa y el efecto simples no se aplican o son casi imposibles de rastrear. Al igual que en las finanzas, la negación está integrada en el sistema. Peligros de la vida real Cuando la seguridad está en juego, esto realmente importa. Cuando un conductor se salió de la carretera y murió en un Toyota Camry después de que aparentemente aceleró salvajemente sin razón aparente, los expertos de la NASA pasaron seis meses examinando los millones de líneas de código en su sistema operativo, sin encontrar evidencia de lo que creía la familia del conductor. había ocurrido, pero el fabricante negó rotundamente, que el automóvil hubiera acelerado por su propia cuenta. Solo cuando un par de expertos en software integrado pasaron 20 meses investigando el código pudieron probar el caso de la familia, revelando una masa retorcida de lo que los programadores llaman "código espagueti", lleno de algoritmos que se empujaban y luchaban, generando resultados anómalos e impredecibles. . Los coches autónomos que se están probando actualmente pueden contener 100 millones de líneas de código y, dado que ningún programador puede anticipar todas las circunstancias posibles en una carretera del mundo real, tienen que aprender y recibir actualizaciones constantes. ¿Cómo evitamos los enfrentamientos en un entorno de código tan fluido, sobre todo cuando los algoritmos también pueden tener que defenderse de los piratas informáticos? Hace veinte años, George Dyson anticipó gran parte de lo que sucede hoy en día en su libro clásico Darwin Among the Machines. El problema, me dice, es que estamos construyendo sistemas que están más allá de nuestro control intelectual. Creemos que si un sistema es determinista (actuando de acuerdo con reglas fijas, siendo esta la definición de un algoritmo) es predecible, y que lo que es predecible se puede controlar. Ambas suposiciones resultan ser incorrectas. “Está procediendo por sí solo, en pequeños fragmentos”, dice. “Lo que me obsesionaba hace 20 años y que hoy se ha apoderado por completo del mundo son los organismos digitales metazoarios multicelulares, de la misma manera que vemos en biología, donde tienes todas estas piezas de código ejecutándose en los iPhones de las personas, y colectivamente actúa como un organismo multicelular. “Existe una ley antigua llamada ley de Ashby que dice que un sistema de control tiene que ser tan complejo como el sistema que está controlando, y ahora nos estamos topando con eso a toda velocidad, con este gran impulso para construir autos autónomos donde el software tiene tener un modelo completo de todo, y casi por definición no lo vamos a entender. Porque cualquier modelo que entendamos hará cosas como chocar contra un camión de bomberos porque olvidamos poner el camión de bomberos”. A diferencia de nuestros viejos sistemas electromecánicos, estos nuevos algoritmos también son imposibles de probar exhaustivamente. A menos que y hasta que tengamos máquinas superinteligentes para hacer esto por nosotros, vamos a estar caminando sobre la cuerda floja. Dyson se pregunta si alguna vez tendremos autos sin conductor circulando libremente por las calles de la ciudad, mientras que Toby Walsh, profesor de inteligencia artificial en la Universidad de Nueva Gales del Sur, quien escribió su primer programa a los 13 años y dirigió un negocio de computación novato para su difunto adolescentes, explica desde una perspectiva técnica por qué sucede esto. “Nadie sabe cómo escribir un código para reconocer una señal de alto. Pasamos años tratando de hacer ese tipo de cosas en IA, ¡y fallamos! Más bien se estancó por nuestra estupidez, porque no fuimos lo suficientemente inteligentes como para aprender a resolver el problema. Cuando programa, descubre que tiene que aprender a dividir el problema en partes lo suficientemente simples como para que cada una pueda corresponder a una instrucción de computadora [a la máquina]. Simplemente no sabemos cómo hacerlo para un problema muy complejo como identificar una señal de alto o traducir una oración del inglés al ruso: está más allá de nuestra capacidad. Todo lo que sabemos es cómo escribir un algoritmo de propósito más general que pueda aprender cómo hacerlo con suficientes ejemplos”. De ahí el énfasis actual en el aprendizaje automático. Ahora sabemos que Herzberg, la peatona asesinada por un auto Uber automatizado en Arizona, murió porque los algoritmos vacilaron en categorizarla correctamente. ¿Fue esto el resultado de una programación deficiente, un entrenamiento algorítmico insuficiente o una negativa arrogante a apreciar los límites de nuestra tecnología? El verdadero problema es que tal vez nunca lo sepamos. “Y eventualmente dejaremos de escribir algoritmos por completo”, continúa Walsh, “porque las máquinas podrán hacerlo mucho mejor que nosotros. La ingeniería de software es, en ese sentido, quizás una profesión moribunda. Va a ser tomado por máquinas que serán mucho mejores que nosotros para hacerlo”. Walsh cree que esto hace que sea más, no menos importante, que el público aprenda sobre programación, porque cuanto más alienados nos volvemos de ella, más parece una magia más allá de nuestra capacidad de afectar. Cuando se le mostró la definición de "algoritmo" dada anteriormente en este artículo, la encontró incompleta y comentó: "Sugeriría que el problema es que algoritmo ahora significa cualquier sistema de software de toma de decisiones grande y complejo y el entorno más amplio en el que está integrado, lo que los hace aún más impredecibles”. Un pensamiento escalofriante de hecho. En consecuencia, él cree que la ética es la nueva frontera en tecnología, previendo "una edad de oro para la filosofía", una opinión con la que coincide Eugene Spafford de la Universidad de Purdue, un experto en seguridad cibernética. “Donde hay que tomar decisiones, ahí es donde entra la ética. Y tendemos a querer tener una agencia a la que podamos interrogar o culpar, lo cual es muy difícil de hacer con un algoritmo. Esta es una de las críticas a estos sistemas hasta ahora, en el sentido de que no es posible volver atrás y analizar exactamente por qué se toman algunas decisiones, porque el número interno de opciones es tan grande que cómo llegamos a ese punto puede no ser algo que sepamos. puede recrear jamás para probar la culpabilidad más allá de toda duda”. El contraargumento es que, una vez que un programa falla, toda la población de programas puede reescribirse o actualizarse para que no vuelva a suceder, a diferencia de los humanos, cuya propensión a repetir errores sin duda fascinará a las máquinas inteligentes del futuro. No obstante, si bien la automatización debería ser más segura a largo plazo, será necesario repensar nuestro sistema existente de derecho de responsabilidad civil, que requiere prueba de intención o negligencia. Un perro no es legalmente responsable por morderte; su dueño puede serlo, pero solo si la acción del perro se considera previsible. En un entorno algorítmico, es posible que muchos resultados inesperados no fueran previsibles para los humanos: una característica con el potencial de convertirse en la carta de un sinvergüenza, en la que la ofuscación deliberada se vuelve a la vez más fácil y gratificante. Las compañías farmacéuticas se han beneficiado de la cobertura de la complejidad durante años (ver el caso de la talidomida), pero aquí las consecuencias podrían ser mayores y más difíciles de revertir. Sin embargo, las apuestas militares El comercio, las redes sociales, las finanzas y el transporte pueden llegar a parecer una cerveza pequeña en el futuro. Si el ejército ya no impulsa la innovación como lo hacía antes, sigue siendo el adoptante más importante de la tecnología. No sorprende, entonces, que una gran preocupación entre los científicos y los trabajadores tecnológicos haya acompañado las revelaciones de que las armas autónomas se están dirigiendo hacia el campo de batalla en lo que equivale a una carrera armamentista algorítmica. Un francotirador robótico vigila actualmente la zona desmilitarizada entre Corea del Norte y Corea del Sur, y aunque su fabricante, Samsung, niega que tenga capacidad de autonomía, esta afirmación es ampliamente desacreditada. Rusia, China y EE. UU. afirman estar en varias etapas de desarrollo de enjambres de drones armados coordinados, mientras que el último planea misiles capaces de flotar sobre un campo de batalla durante días, observando, antes de seleccionar sus propios objetivos. Un grupo de empleados de Google renunció y miles más cuestionaron la provisión de software de aprendizaje automático por parte del monolito tecnológico al programa de "guerra algorítmica" Project Maven del Pentágono, inquietudes a las que finalmente respondió la gerencia, acordando no renovar el contrato de Maven y publicar un código de ética para el uso de sus algoritmos. En el momento de escribir este artículo, los competidores, incluidos Amazon y Microsoft, se han resistido a seguir su ejemplo. Al igual que otras empresas de tecnología, Google había afirmado la virtud moral de su software Maven: que ayudaría a elegir objetivos de manera más eficiente y, por lo tanto, salvaría vidas. La pregunta es cómo los gerentes de tecnología pueden suponer saber qué harán sus algoritmos o qué se les pedirá que hagan in situ, especialmente dada la certeza de que todas las partes desarrollarán contrasistemas algorítmicos adaptativos diseñados para confundir las armas enemigas. Al igual que en el mercado de valores, es probable que la imprevisibilidad se vea como una ventaja en lugar de una desventaja, lo que brinda a las armas una mejor oportunidad de resistir los intentos de subvertirlas. De esta y otras formas, corremos el riesgo de poner nuestras máquinas del revés, envolviendo nuestro mundo corpóreo cotidiano en un código de espagueti. Lucy Suchman, de la Universidad de Lancaster en el Reino Unido, fue coautora de una carta abierta de investigadores de tecnología a Google, pidiéndoles que reflexionaran sobre la prisa por militarizar su trabajo. Las motivaciones de las empresas tecnológicas son fáciles de entender, dice: los contratos militares siempre han sido lucrativos. Por parte del Pentágono, una vasta red de sensores y sistemas de vigilancia se ha adelantado a cualquier capacidad de usar las capas de datos así adquiridas. “Están abrumados por los datos, porque tienen nuevos medios para recopilarlos y almacenarlos, pero no pueden procesarlos. Así que es básicamente inútil, a menos que suceda algo mágico. Y creo que su reclutamiento de compañías de big data es una forma de pensamiento mágico en el sentido de: ‘Aquí hay una tecnología mágica que le dará sentido a todo esto’”. Suchman también ofrece estadísticas que arrojan una luz escalofriante sobre Maven. Según un análisis realizado sobre los ataques con aviones no tripulados en Pakistán entre 2003 y 2013, menos del 2 % de las personas muertas de esta manera se pueden confirmar como objetivos de “alto valor” que representan una clara amenaza para Estados Unidos. En la región del 20% se consideran no combatientes, dejando más del 75% desconocido. Incluso si estas cifras fueran por un factor de dos, o tres, o cuatro, harían que cualquier persona razonable se detuviera. “Así que aquí tenemos esta tecnología de identificación muy cruda y lo que Project Maven propone hacer es automatizar eso. En ese momento se vuelve aún menos responsable y abierto a cuestionamiento. Es una muy mala idea. La colega de Suchman, Lilly Irani, de la Universidad de California en San Diego, nos recuerda que la información viaja alrededor de un sistema algorítmico a la velocidad de la luz, sin supervisión humana. Las discusiones técnicas a menudo se usan como una cortina de humo para evitar la responsabilidad, sugiere. “Cuando hablamos de algoritmos, a veces de lo que hablamos es de burocracia. Las elecciones que hacen los diseñadores de algoritmos y los expertos en políticas se presentan como objetivas, mientras que en el pasado alguien habría tenido que asumir la responsabilidad por ellas. Las compañías tecnológicas dicen que solo están mejorando la precisión con Maven, es decir, matarán a las personas correctas en lugar de a las equivocadas, y al decir eso, la suposición política de que esas personas en el otro lado del mundo son más fáciles de matar, y que el El ejército de los EE. UU. puede definir cómo se ve la sospecha, no se cuestiona. Entonces, las preguntas tecnológicas se están utilizando para cerrar algunas cosas que en realidad son preguntas políticas. La elección de usar algoritmos para automatizar ciertos tipos de decisiones también es política”. Las convenciones legales de la guerra moderna, por imperfectas que sean, asumen la responsabilidad humana por las decisiones tomadas. Como mínimo, la guerra algorítmica enturbia el agua de formas que podemos llegar a lamentar. Un grupo de expertos gubernamentales está debatiendo el tema en la reunión de la convención de la ONU sobre ciertas armas convencionales (CCW) en Ginebra esta semana. En busca de una solución Existen soluciones o se pueden encontrar para la mayoría de los problemas descritos aquí, pero no sin incentivar a las grandes tecnológicas para que pongan la salud de la sociedad a la par de sus resultados. Más grave a largo plazo es la creciente conjetura de que los métodos de programación actuales ya no son adecuados para su propósito dado el tamaño, la complejidad y la interdependencia de los sistemas algorítmicos en los que confiamos cada vez más. Una solución, empleada por la Autoridad Federal de Aviación en relación con la aviación comercial, es registrar y evaluar el contenido de todos los programas y las actualizaciones posteriores con tal nivel de detalle que las interacciones algorítmicas se entiendan bien de antemano, pero esto no es práctico en una gran cantidad. escala. Partes de la industria aeroespacial emplean un enfoque relativamente nuevo llamado programación basada en modelos, en el que las máquinas hacen la mayor parte del trabajo de codificación y pueden realizar pruebas sobre la marcha. Sin embargo, la programación basada en modelos puede no ser la panacea que algunos esperan. No solo aleja aún más a los humanos del proceso, sino que Johnson, el físico, realizó un estudio para el Departamento de Defensa que encontró "comportamientos extremos que no podían deducirse del código mismo", incluso en sistemas grandes y complejos creados con esta tecnica. Se está dedicando mucha energía a encontrar formas de rastrear el comportamiento algorítmico inesperado hasta las líneas de código específicas que lo causaron. Nadie sabe si se encontrará una solución (o soluciones), pero es probable que ninguna funcione donde los algoritmos agresivos están diseñados para chocar y/o adaptarse. Mientras esperamos una respuesta tecnológica al problema del enredo algorítmico creciente, hay precauciones que podemos tomar. Paul Wilmott, un experto británico en análisis cuantitativo y crítico vocal del comercio de alta frecuencia en el mercado de valores, sugiere irónicamente "aprender a disparar, hacer mermelada y tejer". De manera más práctica, Spafford, el experto en seguridad de software, aconseja responsabilizar a las empresas de tecnología por las acciones de sus productos, ya sea que se puedan identificar o no líneas específicas de código malicioso, o pruebas de negligencia en relación con ellas. Señala que la venerable Association for Computing Machinery ha actualizado su código de ética siguiendo las líneas del juramento hipocrático de la medicina, para instruir a los profesionales de la informática a no hacer daño y considerar los impactos más amplios de su trabajo. Johnson, por su parte, considera que nuestra incomodidad algorítmica es, al menos en parte, conceptual; dolores de crecimiento en un nuevo reino de la experiencia humana. Se ríe al notar que cuando él y yo hablamos por última vez sobre este tema hace unos pocos años, mis preguntas eran preocupaciones de nicho, restringidas a unas pocas personas que estudiaban detenidamente el mercado de valores con detalles indecorosos. “Y ahora, aquí estamos, incluso está afectando las elecciones. Quiero decir, ¿qué diablos está pasando? Creo que lo científico profundo es que los ingenieros de software están capacitados para escribir programas para hacer cosas que optimicen, y por una buena razón, porque a menudo optimizas en relación con cosas como la distribución del peso en un avión, o una mayor eficiencia de combustible. velocidad: en las circunstancias habituales y anticipadas, la optimización tiene sentido. Pero en circunstancias inusuales no es así, y debemos preguntarnos: "¿Qué es lo peor que podría pasar en este algoritmo una vez que comience a interactuar con otros?" El problema es que ni siquiera tenemos una palabra para este concepto, mucho menos una ciencia para estudiarlo.” Hace una pausa por un momento, tratando de envolver su cerebro alrededor del problema. “La cuestión es que optimizar tiene que ver con maximizar o minimizar algo, que en términos informáticos es lo mismo. Entonces, ¿qué es lo opuesto a una optimización, es decir, el caso menos óptimo, y cómo lo identificamos y medimos? La pregunta que debemos hacer, que nunca hacemos, es: '¿Cuál es el comportamiento más extremo posible en un sistema que pensé que estaba optimizando?'”. Otro breve silencio termina con un toque de sorpresa en su voz. “Básicamente, necesitamos una nueva ciencia”, dice.