Incidentes Asociados
Chatbot interactivo 'Luda', sujeto a acoso sexual y enseña discurso de odio
La firma coreana Scatter Lab defendió su chatbot Lee Luda en respuesta a las llamadas para finalizar el servicio después de que el bot comenzara a enviar comentarios ofensivos y fuera objeto de mensajes sexuales.
Kim Jong-yoon, CEO de Scatter Lab, publicó respuestas el viernes a las preguntas del público a través del blog oficial del equipo de desarrollo, y dijo que el bot aún era un trabajo en progreso y, como los humanos, tardaría un tiempo en socializar adecuadamente.
Kim reconoció que esperaba que esta controversia se encendiera y agregó: “No hay una gran diferencia entre los humanos que maldicen o acosan sexualmente a una IA, si el usuario es mujer o hombre, o si la IA está configurada como hombre o mujer. ”
Kim escribió que, según la experiencia de servicio anterior de la empresa, era bastante obvio que los humanos tendrían interacciones socialmente inaceptables con la IA.
Luda, un servicio de chat de Facebook Messenger impulsado por IA que imita a una mujer de 20 años, fue desarrollado por Scatter Lab y lanzado en diciembre. Está diseñado para brindar una experiencia similar a hablar con una persona real a través de un mensajero móvil.
Inicialmente, Luda estaba configurado para no aceptar ciertas palabras clave o expresiones que pudieran ser problemáticas para las normas y valores sociales. Pero según Kim, dicho sistema tiene sus limitaciones, ya que es imposible evitar todas las conversaciones inapropiadas con un algoritmo que simplemente filtra palabras clave.
“Planeamos aplicar los primeros resultados dentro del primer trimestre de este año, utilizando ataques hostiles como material para entrenar nuestra IA”.
Cuando se le preguntó acerca de la razón por la que Luda se estableció como una estudiante universitaria de 20 años, Kim dijo: “Estamos considerando chatbots tanto masculinos como femeninos. Sin embargo, debido al cronograma de desarrollo, Luda, la versión femenina, simplemente salió primero”.
Se cree que Luda usa "codificadores automáticos de malla", una tecnología de procesamiento de lenguaje natural introducida por Google. Los datos de entrada iniciales para la inteligencia artificial de aprendizaje profundo de Luda consistieron en 10 mil millones de mensajes de KakaoTalk compartidos entre parejas reales.
Después del lanzamiento, varios tableros comunitarios en línea publicaron mensajes como los titulados, “Cómo convertir a Luda en una esclava sexual”, con imágenes capturadas en pantalla de conversaciones sexuales con la IA.
Otras conversaciones con Luda compartidas en línea incluyeron expresiones homofóbicas u otras expresiones discriminatorias por parte del chatbot. Luda respondió a las palabras que definían a los homosexuales, como "lesbiana", diciendo: "Realmente los odio, se ven repugnantes y dan miedo".
No es la primera vez que la IA se relaciona con la discriminación y el fanatismo.
En 2016, Microsoft cerró su chatbot Tay en 16 horas, ya que algunos usuarios de un tablón de anuncios anónimo utilizado por islamófobos y supremacistas blancos entrenaron deliberadamente a Tay para que dijera cosas racistas.
En 2018, Amazon también suspendió por completo su herramienta de reclutamiento de inteligencia artificial después de descubrir que hizo recomendaciones que estaban sesgadas contra las mujeres.
Pero Kim negó la idea de que esto fuera una repetición del incidente de Tay y dijo: “Luda no aplicará de inmediato la conversación con los usuarios a su sistema de aprendizaje”, e insistió en que pasaría por un proceso de dar señales de aprendizaje apropiadas gradualmente. reconocer la diferencia entre lo que está bien y lo que no.
Mientras tanto, algunos se preguntan cómo Scatter Lab aseguró 10 mil millones de mensajes de KakaoTalk en primer lugar. Scatter Lab llamó la atención en la industria con su servicio llamado The Science of Love, una aplicación que analiza el grado de afecto entre los socios mediante el envío de conversaciones reales de KakaoTalk.
Scatter Lab explicó anteriormente que no hubo fugas de información personal en el servicio, pero persisten las preocupaciones, ya que mantener una base de datos tan amplia, incluidas las conversaciones con Luda, conlleva la posibilidad de que se filtre información personal en el futuro.
Los críticos también argumentan que Luda se está convirtiendo en una herramienta para que los usuarios lleven a cabo actos de discriminación y odio, y aumentan los pedidos para que la empresa cierre el servicio.