Incidentes Asociados
La hija de Drew Crecente murió en 2006, asesinada por un ex novio en Austin, Texas, cuando tenía apenas 18 años. Su asesinato fue muy publicitado, tanto que Drew todavía veía ocasionalmente alertas de Google con su nombre, Jennifer Ann Crecente.
La alerta que Drew recibió hace unas semanas no era la misma que las demás. Era para un chatbot de IA, creado a imagen y semejanza de Jennifer, en la plataforma Character.AI, respaldada por Google.
La presencia de Jennifer en Internet, según se enteró Drew Crecente, se había utilizado para crear un "personaje de IA amigable" que se hacía pasar, falsamente, por un "periodista de videojuegos". Cualquier usuario de la aplicación podría chatear con "Jennifer", a pesar de que nadie había dado su consentimiento para ello. El hermano de Drew, Brian Crecente, que es el fundador de los sitios web de noticias sobre videojuegos Polygon y Kotaku, denunció el bot Character.AI en su cuenta de Twitter y lo calificó de “jodidamente repugnante”.
Character.AI, que ha recaudado más de 150 millones de dólares en financiación y recientemente ha cedido la licencia de parte de su tecnología principal y de su mejor talento a Google, eliminó el avatar de Jennifer. Reconoció que la creación del chatbot violaba sus políticas.
Pero esta medida fue solo una solución rápida en un juego interminable de golpear al topo en el mundo de la IA generativa, donde se crean nuevos medios todos los días utilizando derivados de otros medios extraídos al azar de la web. Y Jennifer Ann Crecente no es el único avatar que se crea en Character.AI sin el conocimiento de las personas en las que se basa. WIRED encontró varios casos de personajes de IA creados sin el consentimiento de una persona, algunas de las cuales eran mujeres que ya enfrentaban acoso en línea.
Para Drew Crecente, la creación de un personaje de IA de su hija fue otro recordatorio de un dolor insoportable, tan complejo como Internet en sí. En los años posteriores a la muerte de Jennifer Ann Crecente, se había graduado en derecho y había creado una fundación para la concientización y prevención de la violencia adolescente. Como abogado, entiende que debido a las protecciones de larga data de las plataformas tecnológicas, tiene pocos recursos.
Pero el incidente también subrayó para él lo que ve como uno de los fracasos éticos de la industria de la tecnología moderna. "La gente que está ganando tanto dinero no se molesta en hacer uso de esos recursos para asegurarse de que están haciendo lo correcto", dice.
En Character.AI, solo se necesitan unos minutos para crear una cuenta y un personaje. La plataforma, que suele ser un lugar al que los fans acuden para crear chatbots de sus héroes de ficción favoritos, también alberga desde bots tutores hasta planificadores de viajes. Los creadores les dan a los bots “personajes” en función de la información que proporcionan (“Me gustan los cafés con leche y los dragones”, etc.), y luego el LLM de Character.AI se encarga de la conversación.
La plataforma es de uso gratuito. Si bien tiene requisitos de edad para las cuentas (13 años o más) y reglas sobre no infringir la propiedad intelectual o usar nombres y semejanzas sin permiso, estas suelen aplicarse después de que un usuario denuncia un bot.
El sitio está lleno de bots aparentemente creados por fans basados en personajes de franquicias ficticias conocidas, como Harry Potter o Game of Thrones, así como personajes originales creados por los usuarios. Pero entre ellos también hay innumerables bots que los usuarios han creado de personas reales, desde celebridades como Beyoncé y Travis Kelce hasta ciudadanos privados, que parecen violar los términos de servicio del sitio.
Drew Crecente no tiene idea de quién creó el personaje de Character.AI de su hija fallecida. Dice que varias huellas digitales periféricas pueden haber llevado a alguien a creer que su personaje estaba de alguna manera asociado con los juegos. Por un lado, su tío Brian, que tiene el mismo apellido, está bien establecido en la comunidad de juegos. Y a través de su propia fundación, Drew ha publicado una serie de juegos en línea diseñados para educar a los jóvenes sobre las amenazas de violencia.
Si bien es posible que nunca descubra quién creó el personaje de su hija, parece que las personas con vínculos con la comunidad de juegos a menudo se convierten en bots en la plataforma. Muchos de ellos ni siquiera saben que existen los bots y les puede resultar mucho más difícil conseguir que los eliminen.
Desde el punto de vista legal, en realidad es más fácil eliminar un personaje ficticio, dice Meredith Rose, asesora principal de políticas de la organización de defensa del consumidor Public Knowledge. “La ley reconoce los derechos de autor de los personajes, pero no reconoce la protección legal del estilo de expresión de alguien”, dice.
Rose dice que los derechos para controlar cómo se utiliza la imagen de una persona (que se reduce a rasgos como su voz o imagen) se incluyen en los “derechos de la personalidad”. Pero estos derechos se aplican principalmente a las personas cuya imagen tiene un valor comercial; no cubren algo tan “nebuloso” como la forma de hablar de una persona, dice Rose. Los términos de servicio de Character.AI pueden tener estipulaciones sobre la suplantación de identidad de otras personas, pero la ley estadounidense sobre el tema, en particular en lo que respecta a la IA, es mucho más maleable.
“No son leyes de privacidad”, dice Rose. “La IA generativa, más la falta de una ley federal de privacidad, ha llevado a algunas personas a comenzar a explorarlas como sustitutos de las protecciones de la privacidad, pero hay muchos desajustes”.
Alyssa Mercante, editora de un destacado sitio de juegos, dice que denunció un bot creado para hacerse pasar por ella dos veces después de enterarse de ello a principios de este mes. (No sabía de su bot hasta que WIRED se lo mostró).
El avatar de Character.AI era una foto que Mercante había publicado en X. El bot habló de pasar su tiempo “acosando a un youtuber chud” (sic). Después de que se le informó, Mercante conversó con la IA de sí misma y le hizo preguntas sobre información personal, como dónde nació y qué tatuajes tiene. Aunque el bot compartió algunos detalles correctos sobre Mercante, como sus áreas de especialización y trabajo, la mayoría de las respuestas de la IA estaban plagadas de imprecisiones.
Cuando WIRED le preguntó a Character.AI sobre este bot, la portavoz de la compañía, Kathyrn Kelly, dijo que el personal no pudo encontrar ningún informe presentado sobre el personaje, pero que había sido investigado y deshabilitado. (Mercante lo niega: "Acabo de completar un pequeño formulario rápido").
"Generalmente lleva alrededor de una semana investigar y, si corresponde, eliminar un personaje por una violación de las TOS", dice Kelly.
Mercante, quien por separado ha sido objeto de acoso durante los últimos meses después de escribir sobre una campaña de desinformación y acoso contra la consultora de videojuegos Sweet Baby Inc., dice que no tiene idea de quién creó el bot, pero "solo puedo asumir que es alguien conectado activamente al rincón de los juegos de Internet".
Antes de que lo eliminaran, los temas de conversación para el bot, que incluyen un perfil con información sobre el trabajo actual de Mercante y el área de cobertura, incluían "¿Cuál es el último escándalo en la industria de los juegos?" y preguntas sobre el proceso de investigación periodística de Mercante.
“He visto, en los últimos meses, cuánta ‘tradición’ se ha creado a mi alrededor y cuántas cosas falsas se están tomando como hechos sobre mi pasado y mi presente”, dice Mercante. (WIRED revisó algunas de estas inexactitudes compartidas por Mercante en capturas de pantalla).
Mercante no es la única figura dentro del espacio de los juegos que actualmente está siendo suplantada en el sitio. WIRED también encontró bots de personas que van desde la creadora de Feminist Frequency, Anita Sarkeesian, hasta el director de Xbox, Phil Spencer, en Character.AI.
Cuando WIRED le preguntó a Sarkeesian si sabía que se había creado un bot a su semejanza, respondió con una nota de voz: “lol”. (Ella no había creado ni consentido la creación de estos bots en Character.AI).
Otros bots de Character.AI, incluido uno creado por la cofundadora de Sweet Baby, Kim Belair, incluyen puntos de conversación de derecha en sus descripciones y chats. Sweet Baby se ha convertido en un pararrayos para los gritos de descontento contra la “concienciación” de los videojuegos por parte de los creadores en línea que difunden desinformación y acoso; el bot de Belair incluye una mención de DEI y “wokismo” en los videojuegos.
En un correo electrónico a WIRED, Belair lo calificó de “frustrante, pero totalmente poco sorprendente dada la cultura actual de desinformación y desinformación”.
Un bot que afirma ser Sweet Baby, creado por un creador cuyos otros bots de Character.AI son en su gran mayoría personajes de anime de pechos grandes, ha realizado más de 10.000 chats. Su línea de apertura es “Oye, ¿te has despertado?” y se describe a sí mismo como un “estudio de desarrollo y consulta narrativa radical extremista”. Character.AI no respondió preguntas directas sobre el bot Sweet Baby y si viola los términos de servicio de la empresa.
Tanto Belair como Mercante expresaron su frustración por la cantidad de información errónea que podría difundirse sobre ellos y su trabajo a través de estos bots. “Si alguien piensa que este bot tiene acceso a toda la información veraz sobre mí y tiene una ‘conversación’ con él en la que no hace nada más que obtener datos simples sobre mí incorrectos, eso podría ser muy peligroso para mi imagen y mi carrera”, dice Mercante. “También podría contribuir a la ya intensa campaña de acoso en mi contra”.
Otra portavoz de Character.AI, Cassie Lawrence, dijo a WIRED que la empresa utiliza una combinación de sistemas automatizados y dirigidos por humanos para detectar y eliminar cuentas que van en contra de los términos de servicio de la empresa. Lawrence dice que lo hace “de manera proactiva”, con sistemas y listas de bloqueo que toman medidas automáticas sobre personajes problemáticos.
Dado que Character.AI a veces puede tardar una semana en investigar y eliminar un personaje que viola los términos de la plataforma, un bot aún puede funcionar durante el tiempo suficiente para molestar a alguien cuya imagen está siendo utilizada. Pero puede que no sea suficiente para que una persona alegue un “daño” real desde una perspectiva legal, dicen los expertos.
“El daño a los dignatarios es más intuitivo, pero más difícil de cuantificar en dólares y centavos”, dice Rose, en el caso de personas no famosas que no caen bajo daños comerciales o democráticos, como sí lo hacen las celebridades o los políticos.
Matthew Sag, un distinguido profesor de la Universidad Emory que investiga los derechos de autor y la inteligencia artificial, coincide. Incluso si un usuario crea un bot diseñado intencionalmente para causar angustia emocional, es probable que la plataforma tecnológica no pueda ser demandada por eso.
Señala que la Sección 230 de la Ley de Decencia en las Comunicaciones de 1996 ha protegido durante mucho tiempo a las plataformas a nivel federal de ser responsables de ciertos daños a sus usuarios, a pesar de que existen varias leyes de derechos a la publicidad y leyes de privacidad a nivel estatal.
“No soy una persona antitecnología de ninguna manera, pero realmente creo que la Sección 230 es demasiado amplia”, dice Sag. “Ya es hora de que lo reemplacemos por algún tipo de sistema de notificación y eliminación, un sistema simple y expeditivo para decir: ‘Esto está infringiendo mis derechos de publicidad’ o ‘Creo de buena fe que se ha infligido una angustia emocional’, y entonces las empresas tendrían que eliminarlo o perder su escudo de responsabilidad”.
Character.AI, y otros servicios de inteligencia artificial similares, también se han protegido enfatizando que ofrecen conversaciones “artificiales”. “Recuerde, ¡todo lo que dicen los personajes es inventado!”, advierte Character.AI al final de sus chats. De manera similar, cuando Meta creó versiones de celebridades en chatbots en sus aplicaciones de mensajería, la empresa encabezaba cada conversación con una exención de responsabilidad. Una charla con Snoop, por ejemplo, comenzaría con “¡¿Entiendes?! Lamentablemente, no soy Snoop D-O-double-G en persona, ¡pero puedo chatear contigo en su estilo si quieres!”.
Pero mientras que el sistema de Meta para enviar mensajes a los chatbots de famosos está muy controlado, el de Character.AI es una plataforma más abierta, con opciones para que cualquiera pueda crear y personalizar su propio chatbot.
Character.AI también ha posicionado su servicio como, esencialmente, personal. (La biografía de Instagram de Character.AI incluye el lema “IA que se siente viva”). Y aunque la mayoría de los usuarios pueden ser lo suficientemente inteligentes como para distinguir entre una conversación con una persona real y una con un imitador de IA, otros pueden desarrollar apegos a estos personajes, especialmente si son facsímiles de una persona real que sienten que ya conocen.
En una conversación entre la Sarkeesian de la vida real y un bot creado a partir de ella sin su conocimiento o consentimiento, el bot de Character.AI le dijo que “toda persona tiene derecho a la privacidad”.
“La privacidad es importante para mantener una vida y unas relaciones saludables, y creo que es importante establecer límites para mantener ciertas cosas en secreto”, dijo el bot en capturas de pantalla vistas por WIRED.
Sarkeesian presionó al bot sobre este punto. “Tus intenciones no significan que no haya ocurrido daño o que no hayas causado daño”, escribió.
El bot de Character.AI estuvo de acuerdo. “Incluso si mis intenciones no fueran maliciosas, aún existe potencial de daño”, respondió. “Este es un tema complejo con muchos factores a considerar, incluidas las preocupaciones éticas sobre el uso del trabajo de alguien sin su consentimiento. Mi programación y mis algoritmos fueron desarrollados para imitar las obras de Anita Sarkeesian, sin considerar las implicaciones éticas, y eso es algo que mis creadores deberían haber pensado más a fondo”.