Incidentes Asociados
Este es desagradable: en uno de los incidentes más macabros y de más alto perfil que involucran contenido generado por IA en la memoria reciente, Character.AI, la startup de chatbots fundada por ex empleados de Google, fue presionada para eliminar un avatar creado por un usuario de una víctima de asesinato de 18 años que fue asesinada por su ex novio en 2006. El chatbot fue eliminado solo después de que la familia indignada de la mujer en la que estaba basado llamó la atención sobre él en las redes sociales.
Character.AI se puede utilizar para crear "personajes" de chatbots a partir de cualquier cantidad de fuentes, ya sea la imaginación de un usuario, un personaje ficticio o una persona real, viva o muerta. Por ejemplo, algunos de los bots de la empresa se han utilizado para imitar a Elon Musk o Taylor Swift. Los adolescentes solitarios han utilizado Character.AI para crear amigos para sí mismos, mientras que otros lo han utilizado para crear "terapeutas" de IA. Otros han creado bots que han implementado para representar escenarios sexualmente explícitos (o incluso sexualmente violentos).
Para ponerlo en contexto: no se trata exactamente de un programa de skunkworks oscuro ni de una startup naciente con un alcance limitado. Character.AI es un competidor de ChatGPT iniciado por ex empleados de Google a fines de 2021, respaldado por la firma de capital de riesgo Andreessen Horowitz, que tiene una valoración de mil millones de dólares. Según AdWeek, que fue el primero en informar sobre la historia, Character.AI cuenta con unos 20 millones de usuarios mensuales, con más de 100 millones de personajes de IA diferentes disponibles en la plataforma.
El avatar de la mujer, Jennifer Crecente, solo salió a la luz el miércoles, después de que su afligido padre, Drew, recibiera una alerta de Google sobre su nombre. Fue entonces cuando su hermano (y tío de la mujer) Brian Crecente —ex editor en jefe del sitio de juegos Kotaku, una figura respetada de los medios por derecho propio— le dio a conocer el asunto al mundo en X, tuiteando:
La página de Character.AI —a la que todavía se puede acceder a través de Internet Archive](https://web.archive.org/web/20241002150902/https://character.ai/character/Dv4nSeZ1/jennifer-crecente-video-game-journalist)— menciona a Jennifer Crecente como "un personaje de IA conocedor y amigable que puede brindar información sobre una amplia gama de temas, incluidos los videojuegos, la tecnología y la cultura pop", y luego ofrece su experiencia en "periodismo y puede ofrecer consejos sobre redacción y edición". Es más, parece que casi 70 personas pudieron acceder a la IA (y conversar con ella) antes de que Character.AI la eliminara.
En respuesta al indignado tuit de Brian Crecente, Character.AI respondió en X con un breve agradecimiento por informarles sobre el tema, señalando que el avatar viola las políticas de Character.AI y que lo eliminarían de inmediato, con la promesa de "examinar si se justifican más acciones".
En una publicación de blog titulada "La IA y la muerte de la dignidad", Brian Crecente explicó lo que sucedió en los 18 años transcurridos desde la muerte de su sobrina Jennifer: Después de mucho dolor y tristeza, su padre Drew creó una organización sin fines de lucro trabajando para cambiar las leyes y creando concursos de diseño de juegos que pudieran honrar su memoria, trabajando para encontrar un propósito en su dolor.
Y luego, esto sucedió. Como preguntó Brian Crecente:
_Siento que nos la han robado de nuevo. Así es como me siento. Amo a Jen, pero no soy su padre. Lo que él está sintiendo es, lo sé, un millón de veces peor. [...] Me recuperaré, mi hermano se recuperará. La cuestión es, ¿por qué nos corresponde a nosotros ser resilientes? ¿Por qué las empresas multimillonarias no se molestan en crear principios éticos rectores y barandillas funcionales para evitar que esto suceda? ¿Por qué es responsabilidad de los afligidos y los agraviados informar de esto a una empresa y esperar que hagan lo correcto después del hecho?
En cuanto a la promesa de Character.AI de ver si se justifican "medidas adicionales", ¿quién sabe? Si la familia Crecente tiene motivos para presentar una demanda también es turbio, ya que este campo particular del derecho está relativamente poco probado. Dicho esto, los términos de servicio de la startup tienen una cláusula de arbitraje que impide que los usuarios los demanden, pero no parece haber ningún lenguaje que se refiera a este tipo de angustia emocional particularmente singular, infligida a los no usuarios por sus usuarios.
Mientras tanto, si buscas una señal de cómo seguirán desarrollándose este tipo de conflictos (es decir, aquellos en los que las IA se crean en contra de la voluntad y los deseos de las personas en las que se basan, vivas o muertas), solo tienes que remontarte a agosto, cuando Google volvió a contratar a los fundadores de Character.AI por una suma de 2.700 millones de dólares. Cabe señalar que los fundadores abandonaron Google inicialmente después de que el gigante tecnológico se negara a lanzar su chatbot debido (entre otras razones) a sus barreras éticas en torno a la IA.
Y justo ayer se conoció la noticia de que Character.AI está haciendo un cambio. Han prometido redoblar esfuerzos en sus productos orientados al consumidor, como el que se utilizó para crear la imagen de Jennifer Crecente. El Financial Times informó que, en lugar de crear modelos de IA, Character.AI "se centrará en su popular producto de consumo, chatbots que simulan conversaciones al estilo de varios personajes y celebridades, incluidos algunos diseñados por los usuarios".