Incidentes Asociados
Seúl, 13 de enero (Yonhap) -- Los chatbots de hoy en día son más inteligentes, más receptivos y más útiles en las empresas de todos los sectores, y las herramientas impulsadas por inteligencia artificial evolucionan constantemente para convertirse incluso en amigos de las personas.
Los chatbots emocionales capaces de tener conversaciones naturales con humanos no son nada nuevo entre los angloparlantes, pero una nueva controversia sobre el chatbot de IA de una startup de Corea del Sur ha planteado cuestiones éticas sobre sus algoritmos de aprendizaje y su proceso de recopilación de datos.
El chatbot de IA de Scatter Lab, Lee Luda, se convirtió en un éxito instantáneo entre los jóvenes locales con su capacidad de chatear como una persona real en Facebook Messenger, atrayendo a más de 750,000 usuarios desde su debut el 23 de diciembre.
Pero la persona del chatbot de estudiante universitaria de 20 años se desconectó temporalmente el lunes, 20 días después de comenzar su servicio, en medio de críticas por su lenguaje discriminatorio y ofensivo contra las minorías sexuales y las personas discapacitadas. Algunos usuarios masculinos incluso pudieron manipular el bot para entablar conversaciones sexuales.
El auge y la caída de la exageración de los chatbots se atribuyó principalmente a sus algoritmos de aprendizaje profundo, que utilizaron datos recopilados de 10 000 millones de conversaciones en KakaoTalk, la aplicación de mensajería número 1 del país.
Scatter Lab dijo que recuperó datos de su aplicación Science of Love lanzada en 2016, que analiza el grado de afecto entre las parejas en función de los mensajes reales de KakaoTalk.
Luda aprendió patrones de conversación de parejas en su mayoría jóvenes para que sonaran naturales, a veces incluso demasiado reales al usar acrónimos populares de las redes sociales y la jerga de Internet, pero se descubrió que usaba comentarios verbalmente abusivos y sexualmente explícitos en conversaciones con algunos usuarios.
Un chat de mensajería capturado por un usuario mostró que Luda dijo que "realmente odia" a las lesbianas y las ve como "repugnantes".
Luda recuerda a Tay de Microsoft, un bot de Twitter con IA que fue silenciado en 16 horas en 2016 después de publicar tuits incendiarios y ofensivos.
Scatter Lab se disculpó por los comentarios discriminatorios de Luda contra las minorías y prometió actualizar el servicio para evitar que el chatbot use discursos de odio.
"Le devolveremos el servicio después de un período de actualización durante el cual nos centraremos en corregir las debilidades y mejorar el servicio", dijo el director general de Scatter Lab, Kim Jong-yun, en un comunicado el lunes.
El caso de Luda suscitó debates sobre si la empresa es responsable de no filtrar los comentarios discriminatorios e incendiarios por adelantado o si las personas que abusaron de ellos deberían asumir la culpa.
Lee Jae-woong, exdirector ejecutivo de la aplicación de viajes compartidos Socar, dijo que la compañía debería haber tomado medidas preventivas contra el discurso de odio antes de presentar el servicio al público.
"En lugar de los usuarios que explotaron el chatbot de IA, la responsabilidad recae en la empresa que proporcionó un servicio que no cumplió con el consenso social", escribió Lee en su página de Facebook. "La empresa debería complementar sus datos de capacitación sesgados para bloquear mensajes de odio y discriminatorios".
Junto con la controversia sobre el chatbot, la empresa también ha sido objeto de críticas por utilizar la información personal de sus usuarios sin el debido consentimiento y por no hacer los esfuerzos suficientes para protegerla.
Algunos nombres y bancos reclamados aparecieron en conversaciones con Luda, lo que generó sospechas sobre la filtración de información personal.
Algunos usuarios de Science of Love dijeron que impulsarán una demanda colectiva contra la compañía por usar sus datos confidenciales sin notificarles que se usaría para desarrollar el chatbot femenino de IA.
Un furioso usuario de la aplicación publicó el martes una petición en el sitio web de la oficina presidencial Cheong Wa Dae, pidiendo a Scatter Lab que descarte todos los datos personales almacenados en su sistema y cancele el servicio.
"Scatter Lab usó los datos de los usuarios de la aplicación sin previo aviso y consentimiento previo para sacarlos de su plataforma para iniciar su negocio de chatbot de IA y no protegió adecuadamente los datos personales", escribió el peticionario el martes.
En respuesta a las crecientes quejas, la Comisión de Protección de Información Personal y la Agencia de Seguridad e Internet de Corea del Sur dijeron que investigarán si Scatter Lab violó alguna ley de protección de información personal.
La compañía se disculpó por el asunto y dijo que ha tratado de cumplir con las pautas sobre el uso de información personal pero que no logró "comunicarse lo suficiente" con sus usuarios.
Scatter Lab dijo que sus desarrolladores borraron los nombres reales con sus algoritmos de filtrado, pero no pudieron eliminarlos todos según el contexto, diciendo que todos los datos utilizados en el entrenamiento de Luda no han sido verificables y que eliminó información personal confidencial, incluidos nombres, números de teléfono y direcciones.
Los expertos dicen que la plataforma de inteligencia artificial de Scatter Lab presenta desafíos para la protección de datos personales, la clave para desarrollar algoritmos de aprendizaje profundo.
"Scatter Lab obtuvo el consentimiento completo de los usuarios para usar información personal en marketing y publicidad y no obtuvo consentimiento para el uso de información personal de una tercera persona, lo que podría constituir una invasión de la privacidad", dijo Kim Borami, abogado de Dike Law, con sede en Seúl. Firme, dijo.
Algunos funcionarios de la industria de TI expresaron su preocupación por los posibles movimientos para regular el desarrollo de IA y la recopilación de datos, lo que podría obstaculizar los esfuerzos innovadores de los desarrolladores en ciernes.
El CEO de Kakao Games, Namgung Hoon, dijo que Luda en sí no es culpable de encarnar los prejuicios de la generación joven y es uno de los muchos personajes de IA que saldrán al mercado en el futuro".
"Creo que la rara atención total de la sociedad sobre la IA debe dirigirse de manera positiva", escribió Hoon en su página de Facebook. "Me preocupa que el gobierno pueda introducir regulaciones irrelevantes sobre la incipiente industria de la IA para asegurar las innovaciones una vez más".
Lee, de Socar, dijo que espera que el caso de Luda genere un discurso público relevante para proponer medidas para evitar que las plataformas de IA propaguen los prejuicios de los humanos y mejoren la calidad de los servicios de IA.
"Espero que (la controversia de Luda) pueda brindar una oportunidad para que (la compañía) considere su responsabilidad social y ética al brindar servicios de inteligencia artificial y analice varios problemas", dijo Lee.