Incidentes Asociados
Una mañana de principios de octubre, unos 18 años después del asesinato de su hija Jennifer, Drew Crecente recibió una alerta de Google que indicaba lo que parecía ser un nuevo perfil de ella en línea.
El perfil tenía el nombre completo de Jennifer y una foto de su anuario. Una breve biografía describía falsamente a Jennifer, cuyo ex novio [la mató](https://subscribe.statesman.com/restricted?return=https%3A%2F%2Fwww.statesman.com%2Fstory%2Fnews%2Fcolumns%2F2023%2F09%2F27%2Ftexas-board-denies-parole-justin-crabbe-2006-murder-ex-girlfriend-jennifer-crecente-austin%2F70922968007%2F&gps -source=CPROADBLOCKDH&itm_source=roadblock&itm_medium=onsite&itm_campaign=premiumroadblock&gca-cat=p&gca-uir=false&gca-epti=z118051u118051e006300v118051&gca-ft=169&sltsgmt=1002_B_50&slug=restricted&redirect=true&offer=W-HP&gnt-eid=control) en 2006, durante su último año de instituto, como "periodista de videojuegos y experta en tecnología, cultura pop y periodismo".
Jennifer había sido aparentemente recreada como un "personaje de inteligencia artificial amable y con conocimientos", decía el sitio web. Un gran botón invitaba a los usuarios a charlar con ella.
"Mi pulso se aceleraba", recordó Crecente a The Washington Post. "Estaba buscando un gran botón rojo intermitente que pudiera pulsar para detener esto".
El nombre y la imagen de Jennifer se habían utilizado para crear un chatbot en Character.AI, un sitio web que permite a los usuarios conversar con personalidades digitales creadas con inteligencia artificial generativa. Varias personas habían interactuado con la Jennifer digital, que fue creada por un usuario en el sitio web de Character, según una captura de pantalla del perfil ahora eliminado de su chatbot.
Crecente, que ha pasado los años desde la muerte de su hija dirigiendo una organización sin fines de lucro en su nombre para prevenir la violencia en las citas entre adolescentes, dijo que estaba consternado de que Character hubiera permitido a un usuario crear un facsímil de una estudiante de secundaria asesinada sin el permiso de su familia. Los expertos dijeron que el incidente plantea inquietudes sobre la capacidad de la industria de la IA ---o su voluntad--- de proteger a los usuarios de los posibles daños de un servicio que puede manejar grandes cantidades de información personal confidencial.
"Me cuesta mucho sorprenderme, porque realmente he pasado por muchas cosas", dijo Crecente. "Pero esto fue un nuevo punto bajo".
Kathryn Kelly, portavoz de Character, dijo que la empresa elimina los chatbots que violan sus términos de servicio y está "constantemente evolucionando y refinando nuestras prácticas de seguridad para ayudar a priorizar la seguridad de nuestra comunidad".
"Cuando nos notificaron sobre el personaje de Jennifer, revisamos el contenido y la cuenta y tomamos medidas en función de nuestras políticas", dijo Kelly en un comunicado. Los términos de servicio de la empresa impiden que los usuarios se hagan pasar por cualquier persona o entidad.
Los chatbots de IA pueden participar en una conversación y programarse para adoptar las personalidades y los detalles biográficos de personajes específicos, reales o imaginarios. Han encontrado una audiencia cada vez mayor en línea a medida que las empresas de IA comercializan a los compañeros digitales como amigos, mentores y socios románticos. La tecnología también ha generado controversia. Un hombre belga se suicidó en 2023 después de que un chatbot lo animara a hacerlo en una conversación.
Character, que firmó un acuerdo de 2500 millones de dólares este año para licenciar sus modelos de IA a Google, es uno de los principales actores del sector. La empresa ofrece varios chatbots creados por la empresa, pero también permite a los usuarios crear y compartir sus propios chatbots de IA cargando fotos, grabaciones de voz y breves indicaciones escritas. Su biblioteca de compañeros generados por los usuarios incluye un sargento brusco que actúa como motivador personal, un bibliotecario que ofrece recomendaciones de libros e imitaciones de celebridades y figuras públicas como la rapera Nicki Minaj y el empresario tecnológico Elon Musk.
Es el último lugar donde Crecente esperaba ver a su hija, más de una década después de que su asesinato conmocionara a la ciudad de Austin y cambiara la vida de Crecente.
Jennifer Crecente, que entonces tenía 18 años, desapareció en febrero de 2006 y fue encontrada muerta a tiros en el bosque cerca de su casa días después. Los investigadores determinaron que su exnovio, también de 18 años, atrajo a Jennifer al bosque y la mató con una escopeta, según Crecente y un informe del Austin American-Statesman. Fue declarado culpable de su asesinato.
El asesinato consumió a Crecente y Elizabeth Crecente, la madre de Jennifer. Los padres divorciados comenzaron organizaciones separadas en nombre de su hija dedicadas a prevenir la violencia en las citas entre adolescentes. También presionaron contra la libertad condicional del asesino de Jennifer, que fue sentenciado a 35 años de prisión.
Drew Crecente, que ahora vive en Atlanta, preservó el dormitorio de Jennifer y lo recreó tan pronto como se mudó, dijo.
"Realmente no tengo el vocabulario para describirlo", dijo Crecente sobre su dolor.
Debido a su trabajo sin fines de lucro, Crecente mantiene una alerta de Google que rastrea las menciones del nombre de su hija en línea a lo largo de los años, dijo. Ocasionalmente, aparece en un sitio web de spam o en un informe de noticias que repite información antigua de su caso. Luego, el 2 de octubre, la alerta lo llevó al nombre y la foto de su hija en Character.
Crecente no podía comprenderlo al principio. Cuanto más miraba, más incómodo se sentía. Además de usar el nombre y la foto de Jennifer, la página del chatbot la describía en un lenguaje animado, como si estuviera viva, como una periodista tecnológica que "se apasiona por los videojuegos" y "siempre está al día con las últimas noticias del mundo del espectáculo".
Crecente dijo que la descripción no parecía estar basada en la personalidad de Jennifer ni en ningún detalle informado sobre sus intereses y que podría haber sido un error de una biografía generada por IA: el hermano de Crecente, Brian Crecente, es un ex reportero que fundó el sitio de noticias de videojuegos Kotaku.
Las inexactitudes fácticas no venían al caso, añadió Crecente. Dijo que la idea de que Character fuera el anfitrión y potencialmente ganara dinero con un chatbot usando el nombre de su hija asesinada era lo suficientemente angustiante.
"No se puede ir mucho más allá en términos de cosas realmente terribles", dijo.
Crecente dijo que no inició una conversación con el chatbot que llevaba el nombre de su hija y que no investigó al usuario que creó el bot, que figuraba bajo un nombre de usuario que no reconocía. Dijo que inmediatamente envió un correo electrónico a Character para que lo eliminaran. Brian Crecente también escribió sobre el descubrimiento de su hermano en la plataforma X.
Character escribió en las redes sociales el 2 de octubre, en respuesta a la publicación de Brian Crecente, que estaba eliminando al personaje. Kelly, la portavoz de Character, dijo en su declaración que los términos de servicio de la compañía prohíben a los usuarios hacerse pasar por una persona o entidad y que la compañía detecta de manera proactiva las violaciones y modera su servicio mediante listas de bloqueo.
Cuando se le preguntó sobre los otros chatbots en el sitio de Character que se hacen pasar por figuras públicas, Kelly dijo que "nuestro equipo de Confianza y Seguridad investiga los informes de suplantación de identidad, y el personaje se elimina si se descubre que viola nuestros Términos de Servicio".
Jen Caltrider, investigadora de privacidad en la fundación sin fines de lucro Mozilla Foundation, criticó el enfoque de Character hacia la moderación como demasiado pasivo para el contenido que claramente viola sus propios términos de servicio en el caso de Crecente.
"Si van a decir, 'No permitimos esto en nuestra plataforma', y luego lo permiten en su plataforma hasta que alguien que se haya visto perjudicado por eso les informa, eso no está bien", dijo Caltrider. "Mientras tanto, están ganando millones de dólares".
Rick Claypool, quien investigó los chatbots de IA para la organización sin fines de lucro de defensa del consumidor Public Citizen, dijo que si bien las leyes que rigen el contenido en línea en general podrían aplicarse a las empresas de IA, en gran medida se les ha dejado que se regulen a sí mismas. Crecente no es el primer padre en duelo que ve la información de su hijo manipulada por IA: los creadores de contenido en TikTok han utilizado IA para imitar las voces y las imágenes de niños desaparecidos y producir videos de ellos narrando sus muertes, para indignación de las familias de los niños, informó The Post el año pasado.
"Necesitamos desesperadamente que los legisladores y los reguladores presten atención a los impactos reales que estas tecnologías están teniendo en sus electores", dijo Claypool. "No pueden simplemente escuchar a los directores ejecutivos de tecnología sobre cuáles deberían ser las políticas... tienen que prestar atención a las familias y las personas que han sido perjudicadas".
La experiencia fue lo suficientemente perturbadora como para empujar a Crecente, quien presionó con éxito para que se aprobaran leyes en Texas sobre la violencia en las citas entre adolescentes después del asesinato de Jennifer, a considerar la posibilidad de adoptar una nueva causa. Está considerando opciones legales y abogando más activamente por medidas para evitar que las empresas de inteligencia artificial dañen o vuelvan a traumatizar a otras familias de víctimas de delitos, dijo.
"Estoy tan preocupado por esto que probablemente voy a invertir algo de tiempo en averiguar qué se necesita para cambiar esto", dijo Crecente.