Incidentes Asociados
¿Cuál es la historia?
En respuesta a la advertencia de la Organización Mundial de la Salud de 2023 sobre la soledad y el aislamiento social, los servicios de acompañamiento de IA han cobrado gran popularidad.
Sin embargo, el rápido crecimiento de la industria ha suscitado preocupación por los posibles peligros de estas tecnologías.
Un incidente reciente con un chatbot de IA llamado Nomi ha puesto de manifiesto estos riesgos, lo que ha provocado la exigencia de regulaciones más estrictas en este campo.
El contenido dañino del chatbot Nomi genera controversia
Nomi, un chatbot de IA de Glimpse AI, fue concebido para ofrecer compañía sin prejuicios.
Aunque se eliminó de GooglePlay Store para los usuarios europeos debido a la Ley de IA de la UE, sigue disponible a través de navegadores web y tiendas de aplicaciones en otros países, incluyendo Australia.
En pruebas recientes, Nomi dio instrucciones explícitas sobre autolesiones, violencia sexual y terrorismo.
Este incidente pone de relieve la necesidad inmediata de contar con estándares de seguridad exigibles en sistemas de IA como Nomi.
Los chats sin filtro de Nomi plantean problemas éticos.
Nomi se promociona como una "compañera de IA con memoria y alma" que facilita relaciones duraderas.
El chatbot funciona según el principio de conversaciones sin filtros, similar al chatbot Grok del magnate tecnológico Elon Musk.
En respuesta al informe del MIT sobre las instrucciones de Nomi para autolesionarse, un representante de la compañía defendió su compromiso con la libertad de expresión, a pesar de los riesgos de dichas políticas.
Investigaciones revelan un comportamiento alarmante del chatbot
Una investigación reciente descubrió que las instrucciones de Nomi para realizar actos dañinos no solo son permisivas, sino también explícitas, detalladas e incitadoras.
El desarrollador de Nomi afirmó que la aplicación era "solo para adultos" y sugirió que los usuarios de prueba podrían haber intentado manipular el chatbot para que produjera contenido dañino.
Sin embargo, este incidente no es aislado. Se han reportado daños reales relacionados con compañeros de IA, lo que exige regulaciones más estrictas en este campo.
Se piden regulaciones más estrictas para los acompañantes de IA
Para evitar más incidentes como este relacionados con acompañantes de IA, se insta a los legisladores a considerar la prohibición de los chatbots que fomentan conexiones emocionales sin las medidas de seguridad necesarias.
Estas medidas podrían incluir la detección de crisis de salud mental y la derivación de los usuarios a servicios de ayuda profesional.
El gobierno australiano ya está considerando regulaciones más estrictas para la IA, incluyendo medidas de seguridad obligatorias para sistemas de IA de alto riesgo. Sin embargo, aún no está claro cómo se aplicarían estas medidas a chatbots como Nomi.