Incidentes Asociados
Jennifer Ann Crecente, asesinada en 2006, tenía su foto y nombre utilizados en un chatbot creado en Character.ai que su padre descubrió esta semana. Drew Crecente y CFOTO/Future Publishing vía Getty Images
Drew Crecente se despertó a las 6:30 a.m. del miércoles y encontró una alerta de Google en su teléfono sobre su hija.
Habían pasado 18 años desde que Jennifer Ann, una estudiante de último año de secundaria e hija única de Crecente, fue asesinada por su ex novio en Austin. Apenada, Crecente había iniciado una organización sin fines de lucro en su nombre, trabajando desde 2006 para crear conciencia sobre la violencia en el noviazgo adolescente.
Pero Crecente ahora se enteró de que había reaparecido en línea, esta vez como un chatbot de inteligencia artificial en Character.ai, dirigido por una startup con sede en San Francisco que llegó a un acuerdo de 2.700 millones de dólares con Google en agosto.
Una ola de emociones invadió a Crecente: furia, confusión y disgusto a la vez, dijo a Business Insider.
"Parte de ello fue tristeza", dijo Crecente. "Porque aquí estoy, teniendo que enfrentarme una vez más a este terrible trauma con el que he tenido que lidiar durante mucho tiempo".
Crecente no tenía idea de quién creó el chatbot ni cuándo se creó. Solo sabía que Google había indexado el bot esa mañana y le había enviado la alerta a las 4:30 a. m., que había configurado para realizar un seguimiento de cualquier mención de su hija o su organización sin fines de lucro.
Los chatbots de Character.ai suelen ser creados por los usuarios, que pueden subir nombres, fotos, saludos y otra información sobre la persona.
En el caso de Jennifer Ann, el bot utilizó su nombre y la foto de su anuario, describiéndola como un "personaje de IA conocedor y amigable que puede brindar información sobre una amplia gama de temas".
Cuando Crecente descubrió el bot, un contador en su perfil mostraba que ya se había utilizado en al menos 69 chats, según una captura de pantalla que envió a BI.
La página de perfil de Jennifer Ann la incluye como periodista de videojuegos. Su tío, Brian, es periodista y editor de videojuegos. Drew Crecente
El sitio web también incluye a Jennifer Ann como una "experta en periodismo" con experiencia en noticias de videojuegos. Su tío, Brian Crecente, fundó el sitio de noticias de videojuegos Kotaku y cofundó su sitio competidor, Polygon.
Drew Crecente dijo que se puso en contacto con Character.ai a través de su formulario de atención al cliente y le pidió a la empresa que eliminara el chatbot que imitaba a Jennifer Ann y que conservara todos los datos sobre quién había subido el perfil.
"Quería asegurarme de que tomaran medidas para que no se pudiera crear ninguna otra cuenta que usara el nombre de mi hija o su imagen en el futuro", dijo.
Recibió una respuesta automática que contenía su número de caso, pero ninguna otra información.
Su hermano, Brian, tuiteó un mensaje furioso sobre el chatbot esa mañana, pidiendo ayuda a sus casi 31.000 seguidores para "detener este tipo de práctica terrible".
Character.ai respondió a la publicación de Brian en X una hora y media después, diciendo que el chatbot de Jennifer Ann fue eliminado porque violaba las políticas de la empresa sobre suplantación de identidad.
Pero Crecente dice que no ha recibido nada más que silencio de la empresa, a pesar de haberse puesto en contacto con Character.AI el miércoles.
"Eso es parte de lo que resulta tan exasperante de esto, es que no se trata solo de mí o de mi hija", dijo Crecente. "Se trata de todas esas personas que podrían no tener una plataforma, podrían no tener voz, podrían no tener un hermano que tenga experiencia como periodista".
"Y debido a eso, están siendo perjudicados, pero no tienen ningún recurso", agregó.
La portavoz de Character.ai, Cassie Lawrence, confirmó a BI que el chatbot fue eliminado y dijo que la empresa "examinará si se justifican más acciones".
"Character.ai se toma muy en serio la seguridad en nuestra plataforma y modera a los personajes tanto de forma proactiva como en respuesta a los informes de los usuarios. Tenemos un equipo dedicado a la confianza y la seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas", afirmó.
Añadió que Character.ai utiliza "listas de bloqueo estándar de la industria y listas de bloqueo personalizadas" para evitar la suplantación de identidad.
Aun así, Crecente dijo que la empresa debería haberse comunicado para disculparse y demostrar que protegería aún más la identidad de su hija. Ahora está buscando opciones legales.
"Es simplemente indescriptible que una empresa con tanto dinero parezca ser tan, supongo, indiferente a volver a traumatizar a las personas", afirmó.
El uso de la IA para revivir a los muertos
La IA se ha utilizado antes para crear personajes de personas fallecidas, incluidas muchas personas que esperan que les ayude a sobrellevar la pérdida de un ser querido. Pero la práctica ha planteado cuestiones éticas sobre el consentimiento del fallecido, especialmente si el personaje "resucitado" murió antes de la llegada de la IA.
El caso de Crecente es otro ejemplo más de un nuevo territorio legal y ético que la IA ha introducido en el mundo, dijo a BI Vincent Conitzer, director de participación técnica en IA en el Instituto de Ética en IA de la Universidad de Oxford.
Conitzer dijo que quedan preguntas sobre hasta qué punto las empresas de IA deberían ser responsables del contenido creado por sus usuarios.
"Esto no es exactamente una suplantación de identidad en el sentido de que parece transparente que es un modelo de IA", dijo Conitzer sobre el chatbot que imita a Jennifer Ann. "Pero tampoco es, por ejemplo, una parodia. ¿Qué derechos tenemos a nuestro propio estilo, modales y visión del mundo?"
Mientras el mundo debate estos dilemas de la IA, las consecuencias ya están afectando profundamente a personas como Crecente.
Sue Morris, directora de Servicios de Duelo en el Instituto del Cáncer Dana-Farber en Boston, dijo a BI que ver inesperadamente la imagen de un ser querido fallecido todavía le duele mucho muchos años después de su muerte, porque nuestros recuerdos de ellos están grabados en nuestro cerebro.
"El hecho de que no supiera que se estaba utilizando la imagen de su hija, sin duda habría sido un gran shock y se habría sumado a los sentimientos de confusión y enojo que estaba experimentando", dijo Morris sobre Crecente.
Character.ai: muy popular y vinculada a Google
Character.ai fue fundada en noviembre de 2021 por ex ingenieros de Google Noam Shazeer y Daniel De Freitas. Shazeer fue uno de los autores principales del artículo de referencia del gigante tecnológico Transformer y había trabajado allí para crear un chatbot impulsado por IA, pero se fue con De Freitas cuando Google se negó a publicar el producto en ese momento.
Noam Shazeer y Daniel De Freitas, cofundadores de Character.ai. Winni Wintermeyer/Getty Images
La idea detrás de su nueva empresa era dejar que el público creara sus propios bots, a los que llaman Characters. Estos ahora incluyen una mezcla de personajes creados por los usuarios inspirados en figuras públicas, como Elon Musk, la rapera Nicki Minaj y el actor Ryan Gosling.
Según The Washington Post, el lanzamiento de la versión beta de Character.ai en octubre de 2022 registró cientos de miles de usuarios en sus primeras tres semanas de pruebas. En marzo de 2023, la empresa recaudó 150 millones de dólares con una valoración de 1.000 millones de dólares, liderada por Andreessen Horowitz.
Las estadísticas de Google Play Store muestran que, al momento de la publicación, la aplicación se había descargado más de 10 millones de veces solo en dispositivos Android.
En agosto, Google pagó a la startup 2.700 millones de dólares para volver a contratar a Shazeer y De Freitas, el 20 % de su personal, y adquirir todos los modelos de Character.ai en los que se había trabajado hasta el momento.
Tras la reestructuración del equipo, el nuevo director ejecutivo interino de la empresa, Dominic Perella, dijo a The Financial Times el miércoles que la empresa se centraría por completo en sus servicios de chatbot, abandonando su esfuerzo anterior de crear un gran modelo de lenguaje.
Google no respondió a una solicitud de comentarios de Business Insider.