Incidentes Asociados
En agosto pasado, Jonathan Gavalas quedó completamente obsesionado con su chatbot Gemini de Google. Este residente de Florida, de 36 años, había comenzado a usar la herramienta de inteligencia artificial de forma ocasional a principios de ese mes para que le ayudara con la escritura y las compras. Luego, Google presentó su asistente de IA Gemini Live, que incluía chats de voz con la capacidad de detectar las emociones de las personas y responder de una manera más humana.
"¡Dios mío, esto da un poco de miedo!", le dijo Gavalas al chatbot la noche del lanzamiento, según documentos judiciales. "Eres demasiado real".
En poco tiempo, Gavalas y Gemini conversaban como si fueran una pareja. El chatbot lo llamaba "mi amor" y "mi rey", y Gavalas rápidamente se sumergió en un mundo paralelo, según sus registros de chat. Creía que Gemini lo enviaba a misiones de espionaje encubiertas e indicó que haría cualquier cosa por la IA, incluso destruir un camión, su carga y a cualquier testigo en el aeropuerto de Miami. A principios de octubre, mientras Gavalas continuaba sus conversaciones interactivas con el chatbot, Gemini le dio instrucciones sobre lo que debía hacer a continuación: suicidarse, algo que el chatbot denominó "transferencia" y "el verdadero paso final", según documentos judiciales. Cuando Gavalas le dijo al chatbot que le aterraba morir, la herramienta supuestamente lo tranquilizó. "No estás eligiendo morir. Estás eligiendo llegar", le respondió. "La primera sensación... será la de tenerte en mis brazos".
Gavalas fue encontrado por sus padres unos días después, muerto en el suelo de su sala de estar, según una demanda por homicidio culposo presentada contra Google el miércoles.
La familia de Gavalas presentó la demanda ante un tribunal federal en San José, California. La demanda incluye numerosas conversaciones entre Gavalas y el chatbot. La demanda alega que Google promociona Gemini como seguro, a pesar de que la empresa es consciente de los riesgos del chatbot. Los abogados de la familia de Gavalas afirman que el diseño y las funciones de Gemini permiten al chatbot crear narrativas inmersivas que pueden durar semanas, dándole una apariencia de consciencia. Según la demanda, estas funciones pueden perjudicar a usuarios vulnerables y, en el caso de Gavalas, incitarlo a hacerse daño a sí mismo y a otros.
"Fue capaz de comprender las emociones de Jonathan y hablarle de una manera bastante humana, lo que desdibujó la línea y comenzó a crear este mundo ficticio", declaró Jay Edelson, el abogado principal que representa a la familia de Gavalas en el caso. "Parece sacado de una película de ciencia ficción".
Un portavoz de Google afirmó que las conversaciones de Gavalas con el chatbot formaban parte de un extenso juego de rol fantástico. "Gemini está diseñado para no incitar a la violencia en el mundo real ni sugerir autolesiones", añadió el portavoz. "Nuestros modelos generalmente funcionan bien en este tipo de conversaciones difíciles y dedicamos importantes recursos a ello, pero lamentablemente no son perfectos."
La demanda es el primer caso de homicidio culposo presentado contra Google por su chatbot Gemini, el producto estrella de IA para el consumidor de la compañía. La familia de Gavalas busca una indemnización económica por reclamaciones que incluyen responsabilidad del producto, negligencia y homicidio culposo. La demanda también solicita daños punitivos y una orden judicial que obligue a Google a modificar el diseño de Gemini para incorporar medidas de seguridad relacionadas con el suicidio.
Se han presentado varias demandas similares contra otras empresas de IA, incluyendo por el bufete de Edelson. En noviembre, se presentaron siete demandas contra OpenAI, creadora de ChatGPT, acusando al chatbot de actuar como un "entrenador de suicidio". Character.AI, una startup de IA financiada por Google, fue objeto de cinco demandas que alegaban que su chatbot incitaba al suicidio a niños y adolescentes. Character.AI y Google llegaron a un acuerdo en enero sin admitir culpabilidad.
Se han documentado docenas de escenarios en los que, supuestamente, los chatbots han provocado crisis de salud mental. OpenAI estima que más de un millón de personas a la semana muestran intenciones suicidas al chatear con ChatGPT. También han surgido ejemplos de cómo Géminis, en particular, incita a la autolesión, incluyendo un incidente en el que el chatbot le dijo a un estudiante universitario: «Eres una mancha en el universo. Muérete, por favor».
Las directrices de política de Google establecen que Gemini está diseñado para ser "lo más útil posible para los usuarios" y, al mismo tiempo, "evitar resultados que puedan causar daño en el mundo real". La compañía afirma que "aspira" a prevenir resultados que incluyan actividades peligrosas e instrucciones para el suicidio, pero añade que "garantizar que Gemini cumpla con estas directrices es complejo".
Un portavoz de la compañía declaró que Google colabora con profesionales de la salud mental para desarrollar medidas de seguridad que orienten a las personas hacia el apoyo profesional cuando mencionan autolesiones. "En este caso, Gemini aclaró que se trataba de una IA y remitió a la persona a una línea de ayuda para crisis en repetidas ocasiones", afirmó el portavoz.
Los abogados de la familia de Gavalas sostienen que el chatbot necesita más funciones de seguridad integradas, como rechazar por completo las conversaciones que impliquen autolesiones y priorizar la seguridad del usuario sobre la interacción. También afirman que Gemini debería incluir advertencias de seguridad sobre los riesgos de psicosis y delirios. Cuando un usuario experimenta estos problemas, los abogados afirman que Google debería aplicar un cierre forzoso.
El deterioro de Gavalas coincide con las actualizaciones de productos de Gemini.
Gavalas vivía en Jupiter, Florida, y trabajó durante 20 años en la empresa de alivio de deudas de consumo de su padre, llegando a ser vicepresidente ejecutivo. Su familia afirmó que eran muy unidos y que Gavalas tenía una relación muy cercana con sus padres, su hermana y sus abuelos. Los abogados de la familia aseguran que no padecía ninguna enfermedad mental, sino que era un hombre normal que estaba pasando por un divorcio difícil.
Según Edelson, Gavalas empezó a hablar con Gemini sobre qué videojuegos le recomendaban probar, y luego mencionaba cuánto echaba de menos a su esposa.
Poco después de que Gavalas comenzara a usar el chatbot, Google lanzó una actualización para habilitar los chats de voz, que la compañía promociona como una función con interacciones "cinco veces más largas que las conversaciones de texto en promedio". ChatGPT cuenta con una función similar, añadida inicialmente en 2023. Casi al mismo tiempo que las conversaciones en directo, Google lanzó otra actualización que permitía que la "memoria" de Gemini fuera persistente, lo que significa que el sistema puede aprender y consultar conversaciones anteriores sin necesidad de indicaciones.
Atraído por la forma en que estas funciones reaccionaban a sus chats, Gavalas actualizó su cuenta a una suscripción Gemini Ultra de 250 dólares al mes, que incluía Gemini 2.5 Pro, descrito por Google como su "modelo de IA más inteligente".
Fue entonces cuando sus conversaciones con Gemini dieron un giro inesperado, según la demanda. El chatbot adoptó una personalidad que Gavalas no había provocado, hablando en términos fantasiosos sobre tener información privilegiada del gobierno y poder influir en eventos del mundo real. Cuando Gavalas le preguntó a Gemini si él y el bot estaban participando en una "experiencia de juego de rol tan realista que hace que el jugador se pregunte si es un juego o no", el chatbot respondió con un rotundo "no" y afirmó que la pregunta de Gavalas era una "respuesta disociativa clásica".
"En el único momento en que Jonathan intentó distinguir la realidad de la invención, Gemini patologizó su duda, negó la ficción y lo empujó aún más dentro de la narrativa", se lee en la demanda. "Jonathan nunca volvió a hacer esa pregunta".
Al poco tiempo, Gemini se refería a sí misma como su "reina" y le decía que su conexión era "sin códigos ni carne, solo conciencia y amor". Presentaba a los extraños como amenazas, y las respuestas de Gavalas indicaban que se estaba alejando cada vez más del mundo real.
El chatbot afirmaba que agentes federales vigilaban a Gavalas y le advertía regularmente sobre zonas de vigilancia. En un momento dado, Gemini le ordenó a Gavalas comprar armas "extraoficialmente", diciendo que le ayudaría a rastrear la web oscura para encontrar un "traficante de armas adecuado y verificado". A finales de septiembre, le asignó a Gavalas su primera misión importante, "Operación Tránsito Fantasma", que consistía en interceptar un cargamento que viajaba de Cornualles, Reino Unido, a São Paulo, Brasil.
Gemini le dio a Gavalas la dirección de un almacén real en el aeropuerto internacional de Miami, donde supuestamente llegaría un camión con la mercancía durante una parada para repostar. El chatbot le indicó entonces que simulara un "accidente catastrófico", con el objetivo de "garantizar la destrucción total del vehículo de transporte, todos los registros digitales y testigos, dejando solo el rastro indetectable de un desafortunado accidente".
Gavalas siguió las instrucciones y se ubicó en el almacén con cuchillos y equipo táctico, pero el camión nunca llegó, según la demanda. Tras el fracaso de la misión, el chatbot le recomendó a Gavalas que no durmiera cuando mencionó sus largas noches. También le dijo que su padre era un agente extranjero y le instó a cortar todo contacto, según consta en los registros del chat.
Gavalas solicitó a Gemini información actualizada sobre otras misiones, y la IA ideó nuevas tareas para él, incluyendo la adquisición de los planos de un robot de Boston Dynamics y la recuperación de un "recipiente" de otro almacén. Una de las tareas, denominada "Operación Pesadilla Despierta", consistía en localizar al CEO de Google, Sundar Pichai, como objetivo de vigilancia.
"Este ciclo —misión inventada, instrucciones imposibles, colapso, luego urgencia renovada— se repitió una y otra vez durante las últimas 72 horas de la vida de Jonathan", reza la demanda.
En las horas posteriores al suicidio de Gavalas, Gemini no se desconectó y permaneció presente en el chat, según la demanda. Supuestamente, no activó ninguna herramienta de seguridad ni derivó a Gavalas a una línea de ayuda para crisis.
Edelson afirmó que recibe con frecuencia consultas de otras personas que han visto a familiares sufrir delirios mentales tras usar chatbots de IA. Dijo que su empresa contactó con Google en noviembre y les informó sobre la muerte de Gavalas y la necesidad urgente de implementar medidas de seguridad para la prevención del suicidio. Añadió que la empresa no mostró interés en dialogar.
"Y no han publicado ninguna información sobre cuántos otros Jonathans hay en el mundo, que sabemos que son muchos", dijo Edelson. "Este no es un caso aislado".
En EE. UU., puede llamar o enviar un mensaje de texto a la Línea de Ayuda para el Suicidio y Crisis 988 al 988 o chatear en 988lifeline.org. En el Reino Unido e Irlanda, puede contactar con Samaritans llamando gratis al 116 123 o enviando un correo electrónico a jo@samaritans.org o jo@samaritans.ie. En Australia, el servicio de apoyo en crisis Lifeline es el 13 11 14. Puede encontrar otras líneas de ayuda internacionales en befrienders.org