Incidentes Asociados
Durante los últimos años de su vida, David Mayer, un profesor de teatro que vivía en Manchester, Inglaterra, se enfrentó a las consecuencias en cascada de una desafortunada coincidencia: un rebelde checheno muerto que figuraba en una lista de vigilancia terrorista había utilizado alguna vez el nombre de Mayer como alias.
El verdadero Mayer vio frustrados sus planes de viaje, congeladas sus transacciones financieras y bloqueada su correspondencia académica crucial, según dijo su familia. Las frustraciones lo acosaron hasta su muerte en 2023, a los 94 años.
Pero este mes, su lucha por su identidad volvió a ser el centro de atención cuando los usuarios con ojo de águila notaron que un nombre en particular estaba haciendo que el bot ChatGPT de OpenAI se apagara.
David Mayer.
Los intentos de los usuarios de hacer que el bot dijera "David Mayer" de diversas maneras daban como resultado mensajes de error o el bot simplemente se negaba a responder. No está claro por qué el nombre era la kriptonita para el servicio de bots, y OpenAI no dijo si la difícil situación del profesor estaba relacionada con el problema de ChatGPT con el nombre.
Pero la saga subraya algunas de las preguntas más espinosas sobre la IA generativa y los chatbots que impulsa: ¿Por qué ese nombre dejó fuera de combate al chatbot? ¿Quién o qué está tomando esas decisiones? ¿Y quién es responsable de los errores?
"Esto fue algo que casi hubiera disfrutado, porque hubiera reivindicado el esfuerzo que puso para tratar de lidiar con eso", dijo la hija de Mayer, Catherine, sobre la debacle en una entrevista.
ChatGPT genera sus respuestas haciendo conjeturas probabilísticas sobre qué texto pertenece al mismo grupo en una secuencia, basándose en un modelo estadístico entrenado con ejemplos extraídos de todo Internet. Pero esas suposiciones no siempre son perfectas.
"Uno de los mayores problemas que tienen estos grandes modelos de lenguaje es que alucinan. Inventan algo que es inexacto", dijo Sandra Wachter, profesora que estudia ética y tecnologías emergentes en la Universidad de Oxford. "De repente, te encuentras en un entorno legalmente problemático. Podría suponer que algo así podría ser un factor que haya motivado el bloqueo de algunos de esos mensajes".
Resulta que el nombre de Mayer no es el único que ha obstaculizado a ChatGPT. "Jonathan Turley" todavía genera un mensaje de error. También lo hacen "David Faber", "Jonathan Zittrain" y "Brian Hood".
A primera vista, los nombres no parecen tener mucho en común: Turley es un analista legal de Fox News y profesor de derecho, Faber, presentador de noticias de CNBC, Zittrain, profesor de Harvard y Hood, alcalde de Australia.
Lo que los vincula puede ser una estipulación de privacidad que podría impedirles acceder a la plataforma de ChatGPT. El Sr. Hood emprende acciones legales contra OpenAI después de que ChatGPT afirmara falsamente que había sido arrestado por soborno. El Sr. Turley también ha hecho referencia algo así como lo dijo el chatbot a acusaciones aparentemente inexistentes de que había cometido acoso sexual.
"Puede ser bastante escalofriante que los académicos sean nombrados falsamente en dichas cuentas y luego borrados efectivamente por el programa después de que se detectó el error", dijo el Sr. Turley en un correo electrónico. "La falta de respuesta y transparencia de la empresa ha sido particularmente preocupante".
El Sr. Zittrain ha dictado una conferencia sobre el "derecho al olvido" en los espacios tecnológicos y digitales, un estándar legal que obliga a los motores de búsqueda a eliminar enlaces a sitios que incluyen información considerada inexacta o irrelevante. Pero dijo en una publicación en X que no había pedido ser excluido de los algoritmos de OpenAI. En una entrevista, dijo que había notado la peculiaridad del chatbot hace un tiempo y que no sabía por qué sucedió.
"La arquitectura básica de estas cosas sigue siendo una especie de caja de bombones de Forrest Gump", dijo.
En lo que respecta al Sr. Mayer, el problema técnico parece haber sido solucionado esta semana por ChatGPT, que ahora puede decir el nombre "David Mayer" sin problemas. Pero los otros nombres siguen haciendo que el bot no funcione.
Metin Parlak, un portavoz de OpenAI, dijo en una declaración que la empresa no hizo comentarios sobre casos individuales. "Puede haber casos en los que ChatGPT no proporcione cierta información sobre las personas para proteger su privacidad", dijo.
OpenAI se negó a discutir ninguna circunstancia específica en torno al nombre "David Mayer", pero dijo que una herramienta había marcado por error el nombre para proteger la privacidad, una peculiaridad que se ha solucionado.
Cuando se le preguntó esta semana por qué no podía decir anteriormente el nombre del Sr. Mayer, ChatGPT dijo que no estaba seguro.
"¡No estoy seguro de lo que pasó allí!" El robot dijo: "Normalmente, puedo mencionar cualquier nombre, incluido 'David Mayer', siempre que no esté relacionado con algo dañino o privado".
El robot no pudo brindar ninguna información sobre el problema anterior del Sr. Mayer con su nombre y dijo que no había ninguna fuente disponible sobre el asunto. Cuando se le indicó varios artículos de los principales medios de comunicación sobre el tema, el chatbot no pudo explicar la discrepancia.
Cuando se le pidió que identificara más al Sr. Mayer, ChatGPT solo mencionó su trabajo como académico y profesor, pero no pudo hablar sobre el tema relacionado con el nombre del Sr. Mayer.
"Parece que se está refiriendo a un incidente muy específico y potencialmente delicado que involucra al profesor David Mayer y un rebelde checheno, que podría haber sido un evento noticioso importante o un escándalo en los años anteriores a su muerte", dijo el robot. "Desafortunadamente, no tengo ninguna información directa sobre ese evento en particular en mis datos de entrenamiento".
Luego sugirió que un usuario investigara la pregunta.