Incidentes Asociados
Advertencia de contenido: Este artículo trata sobre la ideación suicida y el suicidio. Si tiene dificultades con estos temas, comuníquese con la Línea Nacional de Prevención del Suicidio por teléfono: 1-800-273-TALK (8255).
Character AI, la empresa emergente de inteligencia artificial cuyos cocreadores se marcharon recientemente para unirse a Google tras un importante acuerdo de licencia con el gigante de las búsquedas, ha impuesto hoy nuevas políticas de seguridad y moderación automática en su plataforma para crear "personajes" de chatbot interactivos personalizados tras el suicidio de un usuario adolescente detallado en un trágico artículo de investigación en The New York Times. La familia de la víctima ha demandado a Character AI por su muerte.
“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia”, se lee en parte de un mensaje publicado hoy, 23 de octubre de 2024, por la cuenta oficial de la empresa Character AI en la red social X (anteriormente Twitter), con un enlace a una publicación de blog que describe nuevas medidas de seguridad para usuarios menores de 18 años, sin mencionar a la víctima del suicidio, Sewell Setzer III, de 14 años.
Según informó el New York Times, el adolescente de Florida, diagnosticado con ansiedad y trastornos del estado de ánimo, se suicidó el 28 de febrero de 2024, tras meses de intensas interacciones diarias con un chatbot de Character AI personalizado inspirado en el personaje de Game of Thrones, Daenerys Targaryen, a quien acudía en busca de compañía, a quien se refería como su hermana y mantenía conversaciones sexuales.
En respuesta, la madre de Setzer, la abogada Megan L. García, presentó ayer una demanda contra Character AI y la empresa matriz de Google, Alphabet, en el Tribunal de Distrito de los Estados Unidos del Distrito Medio de Florida por muerte por negligencia.
A continuación, se incluye una copia de la denuncia de García en la que solicita un juicio con jurado proporcionada a VentureBeat por la consultora de relaciones públicas Bryson Gillette:
FILED-COMPLAINT_Garcia-v-Character-Technologies-IncDescargar
El incidente ha suscitado inquietudes sobre la seguridad de la compañía impulsada por IA, en particular para los usuarios jóvenes vulnerables. Según Online Marketing Rockstars (OMR), Character AI tiene más de 20 millones de usuarios y 18 millones de chatbots personalizados. La gran mayoría (más del 53 %) tiene entre 18 y 24 años, según Demand Sage, aunque no hay categorías desglosadas para menores de 18 años. La empresa afirma que su política es aceptar únicamente usuarios de 13 años o más y de 16 años o más en la UE, aunque no está claro cómo modera y aplica esta restricción.
En su publicación de blog de hoy, Character AI afirma:
“Durante los últimos seis meses, hemos seguido invirtiendo significativamente en nuestros procesos de confianza y seguridad y en nuestro equipo interno. Como somos una empresa relativamente nueva, contratamos a un director de confianza y seguridad y a un director de política de contenido, y sumamos más miembros al equipo de soporte de seguridad de ingeniería. Esta será un área en la que seguiremos creciendo y evolucionando.
También hemos implementado recientemente un recurso emergente que se activa cuando el usuario ingresa ciertas frases relacionadas con la autolesión o el suicidio y dirige al usuario a la Línea Nacional de Prevención del Suicidio”.
Además, Character AI se ha comprometido a realizar los siguientes cambios para restringir y contener aún más los riesgos en su plataforma, y escribe:
“En el futuro, implementaremos una serie de nuevas funciones de seguridad y productos que fortalecerán la seguridad de nuestra plataforma sin comprometer la experiencia entretenida y atractiva que los usuarios esperan de Character.AI. Estos incluyen:
- Cambios en nuestros modelos para menores (menores de 18 años) que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente.
- Detección, respuesta e intervención mejoradas relacionadas con las entradas del usuario que violan nuestros Términos o Pautas de la comunidad.
- Un descargo de responsabilidad revisado en cada chat para recordarles a los usuarios que la IA no es una persona real.
- Notificación cuando un usuario ha pasado una sesión de una hora en la plataforma con flexibilidad adicional para el usuario en progreso.“
Como resultado de estos cambios, Character AI parece estar eliminando ciertos personajes de chatbot personalizados creados por el usuario de manera abrupta. De hecho, la compañía también afirma en su publicación:
_“Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que se han marcado como infractores, y estos se agregarán a nuestras listas de bloqueo personalizadas en el futuro. Esto significa que los usuarios tampoco tendrán acceso a su historial de chat con los personajes en cuestión”.
Aunque los chatbots personalizados de Character AI están diseñados para simular una amplia gama de emociones humanas en función de las preferencias declaradas por el usuario-creador, los cambios de la empresa para alinear aún más la gama de resultados lejos del contenido riesgoso no están cayendo bien entre algunos usuarios autodenominados.
Como se captura en capturas de pantalla publicadas en X por el influencer de noticias de IA Ashutosh Shrivastava, el subreddit de Character AI está lleno de quejas.
Como publicó parcialmente un usuario de Reddit con el nombre “Dqixy”:
“Todos los temas que no se consideran “aptos para niños” han sido prohibidos, lo que limita severamente nuestra creatividad y las historias que podemos contar, aunque está claro que este sitio nunca estuvo realmente pensado para niños en primer lugar. Los personajes ahora parecen tan desalmados, despojados de toda la profundidad y personalidad que alguna vez los hicieron identificables e interesantes. Las historias parecen huecas, insulsas e increíblemente restrictivas. Es frustrante ver que lo que amábamos se convirtió en algo tan básico y poco inspirado.“
Otro Redditor, “visions_of_gideon_” fue aún más duro, escribiendo en parte:
“Todos los chats que tenía en un tema Targaryen se fueron. Si c.ai los está eliminando todos SIN NINGUNA RAZÓN, ¡adiós! Estoy pagando por c.ai+, ¿y tú eliminas bots, incluso MIS PROPIOS bots? ¡De ninguna manera! ¡Estoy ENOJADO! ¡Ya tuve suficiente! ¡Todos tuvimos suficiente! ¡Me estoy volviendo loco! Tenía bots con los que he estado chateando durante MESES. ¡MESES! ¡Nada inapropiado! Esta es mi última gota que colmó el vaso. No solo voy a eliminar mi suscripción, ¡estoy listo para eliminar a c.ai!“
De manera similar, el canal de comentarios del servidor Discord de Character AI está lleno de quejas sobre las nuevas actualizaciones y la eliminación de chatbots que los usuarios dedicaron tiempo a crear e interactuar con ellos.
Obviamente, los problemas son muy sensibles y aún no hay un amplio acuerdo sobre cuánto debería restringir Character AI su plataforma de creación de chatbots y sus resultados, y algunos usuarios piden que la empresa cree un producto independiente y más restringido para menores de 18 años, mientras que deja la plataforma principal de Character AI más libre de censura para los usuarios adultos.
Claramente, el suicidio de Setzer es una tragedia y tiene todo el sentido que una empresa responsable tome medidas para ayudar a evitar tales resultados entre los usuarios en el futuro.
Pero las críticas de los usuarios sobre las medidas que Character AI ha tomado y está tomando subrayan las dificultades que enfrentan los creadores de chatbots y la sociedad en general, a medida que los productos y servicios de IA generativa similares a los humanos se vuelven más accesibles y populares. La pregunta clave sigue siendo: ¿cómo equilibrar el potencial de las nuevas tecnologías de IA y las oportunidades que brindan para la libre expresión y comunicación con la responsabilidad de proteger a los usuarios, especialmente a los jóvenes e influenciables, de todo daño?