Incidentes Asociados
FILADELFIA (WPVI) -- Los tribunales se enfrentan ahora a una amenaza creciente: los deepfakes generados por IA.
Melissa Sims contó que su exnovio creó mensajes falsos generados por IA que la llevaron a la cárcel.
"Fue horrible", dijo.
Sims contó que pasó dos días infernales en una cárcel de Florida.
"Es como lo que se ve en las películas 'Orange is the New Black'", dijo. "Me encerraron prácticamente en una cárcel común".
Su historia fue noticia en Florida.
Sims y su novio se habían mudado allí recientemente desde el condado de Delaware, Pensilvania.
Sims contó que su pesadilla comenzó en noviembre de 2024 después de llamar a la policía durante una discusión con su novio, quien supuestamente saqueó su casa.
"De repente, lo miré y se estaba dando una bofetada", dijo.
Sims contó que supuestamente también se arañó. Cuando llegó la policía, la arrestaron por agresión.
Como parte de su fianza, el juez le ordenó a Sims que se mantuviera alejada de su novio y que no le hablara.
Meses después, contó que su novio creó un mensaje de texto generado por IA que lo insultaba y hacía comentarios despectivos.
"Terminé siendo arrestada por violar mi fianza", dijo. "Nadie verificó las pruebas".
El juez Herbert Dixon afirma que el calvario de Sims es cada vez más frecuente.
"Hace varios años, empezó con grabaciones de audio falsas", dijo. "Y ahora ha llegado al punto de producir videos e imágenes falsas".
Dixon es juez superior del Tribunal Superior del Distrito de Columbia. También es miembro del Consejo de Justicia Penal junto con el excomisionado de policía de Filadelfia, Charles Ramsey. Su misión es promover políticas en el sistema de justicia penal.
"Una de las cosas que estamos intentando hacer es desarrollar un marco para el uso responsable de la inteligencia artificial", dijo.
Cree que los fiscales y la policía deben ser más diligentes en esta era de la IA antes de presentar cargos.
El profesor de la Universidad de Drexel, Rob D'Ovidio, imparte clases de análisis forense de IA.
"Da miedo decirlo, pero ya no podremos confiar en lo que tenemos delante", afirmó.
Añadió que los vídeos, textos y otras pruebas generadas por IA pueden ser difíciles de detectar. La IA se está volviendo demasiado eficiente.
"El reto es que las herramientas de detección no están a la altura de esas capacidades", afirmó.
Por ejemplo, creó una foto generada por IA para mostrárnosla. La introdujo en tres programas de detección de IA conocidos. Los tres arrojaron resultados diferentes, con una probabilidad que oscilaba entre el 1 % y el 62 % de que la foto fuera sintética o generada por IA.
"La norma hoy en día es confiar hasta que se demuestre lo contrario, ¿no? Creo que tenemos que cambiar la situación y desconfiar hasta verificar", concluyó.
En cuanto a Sims, su historia tiene un final feliz.
Tras ocho meses de litigios con su abogado, la fiscalía retiró el cargo de violación de fianza en su contra. El mes pasado, fue a juicio por agresión y fue absuelta.
Sims compartió su historia sobre su lucha por una nueva ley que establezca estándares y sanciones para las pruebas basadas en IA.
"Si esto me puede pasar a mí, le puede pasar a cualquiera", añadió.
En julio, el gobernador de Pensilvania, Josh Shapiro, firmó una nueva ley de falsificación digital que tipifica como delito grave la creación de deepfakes de IA que dañen, exploten o estafen en el estado.
WPVI-TV contactó al exnovio de Sims, pero no ha recibido respuesta.