Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 2284

Incidentes Asociados

Incidente 4042 Reportes
Sound Intelligence's Aggression Detector Misidentified Innocuous Sounds

Loading...
La tecnología de vigilancia invasiva no probada que las escuelas están usando para monitorear a los estudiantes
features.propublica.org · 2019

Ariella Russcol se especializa en teatro en la Escuela de Artes Frank Sinatra en Queens, Nueva York, y la actuación de la estudiante de último año en esta tarde de abril no decepcionó. Si bien la biblioteca es normalmente la habitación más silenciosa de la escuela, sus gritos ensordecedores sonaban más como una película de terror que como una sala de estudio. Pero no fueron suficientes para activar un pequeño micrófono en el techo que se suponía que detectaba la agresión.

Unos días más tarde, en la Academia Staples Pathways en Westport, Connecticut, el estudiante de tercer año Sami D'Anna activó sin darse cuenta el mismo dispositivo con un sonido menos espeluznante: un ataque de tos debido a un resfriado persistente. Mientras pirateaba y raspaba, apareció un mensaje en su interfaz web: "StressedVoice detected".

"Ahí vamos", dijo D'Anna con diversión, mirando la pantalla. "Ahí está mi tos".

Los estudiantes ayudaron a ProPublica a probar un detector de agresiones que se usa en cientos de escuelas, centros de atención médica, bancos, tiendas y prisiones en todo el mundo, incluidos más de 100 en los EE. UU. Sound Intelligence, la compañía holandesa que fabrica el software para el dispositivo, planea abrirá una oficina este año en Chicago, donde tendrá su sede su director ejecutivo.

Louroe Electronics, con sede en California, que ha cargado el software en sus micrófonos desde 2015, anuncia los dispositivos en revistas de seguridad escolar y en convenciones policiales, y dijo que tiene entre 100 y 1000 clientes para ellos. Los materiales de marketing de Louroe dicen que el software de detección permite a los agentes de seguridad "comprometerse inmediatamente con personas antagónicas, resolviendo el conflicto antes de que se convierta en violencia física".

A raíz del tiroteo en una escuela secundaria de Parkland, Florida, y otras masacres, las escuelas estadounidenses son cada vez más receptivas a tales propuestas. El Congreso aprobó más de $25 millones para mejoras en la seguridad escolar el año pasado y un analista espera que la nueva tecnología pueda aumentar el mercado de $ 2.7 mil millones para productos de seguridad educativa. Además de Sound Intelligence, Hanwha Techwin, con sede en Corea del Sur y anteriormente parte de Samsung, fabrica un producto similar de "detección de gritos" que se ha instalado en las escuelas estadounidenses. Audio Analytic, con sede en el Reino Unido, solía vender su software de detección de agresiones y disparos a clientes en Europa y EE. UU., incluida la división de seguridad profesional de Cisco Systems Inc. Sin embargo, un portavoz de Audio Analytic le dijo a ProPublica que desde entonces cambió su modelo comercial y dejó de vender el software detector de agresiones.

Al implementar tecnología de vigilancia en espacios públicos como pasillos y cafeterías, los fabricantes de dispositivos y los funcionarios escolares esperan anticipar y prevenir todo, desde tiroteos masivos hasta el tabaquismo entre menores de edad. Sound Intelligence también comercializa paquetes complementarios para reconocer los sonidos de disparos, alarmas de automóviles y vidrios rotos, mientras que Soter Technologies, con sede en Hauppauge, Nueva York, desarrolla sensores que determinan si los estudiantes están vapeando en el baño de la escuela. El distrito escolar de Lockport en el norte del estado de Nueva York está planeando un sistema de reconocimiento facial para identificar a los intrusos en el campus.

Sin embargo, el análisis de ProPublica, así como las experiencias de algunas escuelas y hospitales de EE. UU. que han utilizado el detector de agresiones de Sound Intelligence, sugieren que puede ser menos que confiable. En el corazón del dispositivo se encuentra lo que la compañía llama un algoritmo de aprendizaje automático. Nuestra investigación encontró que tiende a equiparar la agresión con ruidos ásperos y tensos en un tono relativamente alto, como la tos de D'Anna. Un clip de YouTube de 1994 del comediante de tono abrasivo Gilbert Gottfried ("¿Hace calor aquí o estoy loco?") activó el detector, que analiza el sonido pero no tiene en cuenta las palabras ni el significado. Aunque un portavoz de Louroe dijo que el detector no se entromete en la privacidad de los estudiantes porque solo captura patrones de sonido que se consideran agresivos, sus micrófonos permiten a los administradores grabar, reproducir y almacenar esos fragmentos de conversación indefinidamente.

"No está claro si está resolviendo el problema correcto. Y no está claro si está resolviéndolo con las herramientas adecuadas", dijo Suresh Venkatasubramanian, profesor de informática de la Universidad de Utah que estudia cómo la sustitución de humanos por inteligencia artificial afecta la toma de decisiones en la sociedad.

Algunos expertos también cuestionan la premisa subyacente de que la agresión verbal precede a la violencia escolar, ya que dicen que los tiradores masivos como Nikolas Cruz en la escuela secundaria Marjory Stoneman Douglas en Parkland, Florida, tienden a estar callados de antemano. "Honestamente, no puedo imaginar cuándo sería útil", dijo Jillian Peterson, profesora asistente de criminología y justicia penal en la Universidad de Hamline en St. Paul, Minnesota.

La Dra. Nancy Rappaport, profesora asociada de psiquiatría en la Escuela de Medicina de Harvard que estudia la seguridad escolar, dijo que la vigilancia por audio podría tener la consecuencia no deseada de aumentar la desconfianza y la alienación de los estudiantes. Agregó que las escuelas están optando por arreglos tecnológicos económicos en lugar de soluciones que lleguen a la raíz del problema, como más asesoramiento para niños con problemas. Un micrófono Louroe con software de agresión se vende por alrededor de $1,000.

El director ejecutivo de Sound Intelligence, Derek van der Vorst, dijo que las cámaras de seguridad fabricadas por Axis Communications, con sede en Suecia, representan el 90% de las ventas mundiales del detector, mientras que Louroe, de propiedad privada, representa el otro 10%. Dijo que las cámaras Axis, que pueden costar decenas de miles de dólares, incluidos los sistemas de back-end, contienen versiones más recientes y sofisticadas del software que el equipo Louroe.

El portavoz de Louroe dijo que sus dispositivos reciben actualizaciones periódicas de software. Axis no respondió a las solicitudes de comentarios de ProPublica.

Van der Vorst reconoció que el detector es imperfecto y confirmó nuestro hallazgo de que registra tonos más ásperos como agresivos. Dijo que "garantiza al 100%" que el sistema a veces malinterpretará el comportamiento inocente. Pero está más preocupado por no poder detectar los indicadores de violencia, y dijo que el sistema brinda a las escuelas y otras instalaciones un sistema de alerta temprana muy necesario. "Les permite actuar mucho más rápido cuando existe una situación potencialmente violenta", dijo, citando un hospital en Fort Myers, Florida, donde el detector alertó a la seguridad sobre visitantes ingobernables. Un funcionario del hospital dijo que el software ha detectado comportamientos agresivos antes de que el personal pueda presionar un botón de pánico, lo que les da a los oficiales de seguridad una ventaja para desactivar los incidentes antes de que se intensifiquen.

Cuando se le preguntó si sus algoritmos podrían evitar un tiroteo masivo, van der Vorst dijo: "No diría que podemos evitar que un loco loco dispare a la gente".

Sound Intelligence desarrolló su detector de agresión en las últimas dos décadas. Probó un modelo inicial en un "distrito de bares" holandés, según un estudio de 2007 en coautoría de un investigador de la empresa. Se colocaron micrófonos en 11 ubicaciones en el centro de la ciudad de Groningen, y los hallazgos del detector se compararon con informes policiales de comportamiento agresivo. Los resultados fueron "tan impresionantes", informó el estudio, que el dispositivo fue considerado "indispensable" por varios departamentos de policía holandeses, la compañía ferroviaria holandesa y dos prisiones.

Desde entonces, el software se ha vuelto más complejo, mejorando su capacidad para identificar voces agresivas, dijo van der Vorst. Los ingenieros de Sound Intelligence dijeron que la última versión se calibró utilizando audio recopilado en parte de clientes europeos, incluidas algunas grabaciones de niños gritando. Cuando se le preguntó si alguno de los datos de capacitación provenía de las escuelas, van der Vorst no respondió directamente.

Venkatasubramanian dijo que calibrar un algoritmo en un contexto y luego usarlo en otro puede generar "capas y capas de problemas". Ha pedido que los algoritmos, particularmente los que se usan en situaciones de seguridad pública, sean auditados por transparencia y sesgo. Otros críticos han atacado de manera similar algunos algoritmos policiales que fueron diseñados para predecir terremotos pero que ahora se usan para prever puntos críticos de delincuencia.

Los investigadores también han descubierto que la implementación de algoritmos en el mundo real puede desviarse debido a datos de entrenamiento incompletos o sesgados o a un encuadre incorrecto del problema. Por ejemplo, un algoritmo usado para predecir la reincidencia criminal cometió errores que castigaron de manera desproporcionada a los acusados negros.

Las escuelas y otros clientes compran micrófonos precargados con el software de Sound Intelligence y luego piden una clave de software a Louroe oa otro distribuidor para desbloquearlo. Montados discretamente en el techo, los micrófonos del tamaño de un detector de humo de Louroe miden la agresión en una escala de cero a uno. Los usuarios eligen la configuración del umbral. Cada vez que se superan durante el tiempo suficiente, el detector alerta al aparato de seguridad de la instalación, ya sea a través de un sistema de vigilancia existente o un mensaje de texto que identifica el micrófono que captó el sonido. Sound Intelligence y Louroe dijeron que prefieren, siempre que sea posible, ajustar los sensores en la ubicación de cada nuevo cliente durante un período de días o semanas, aunque eso no siempre se puede arreglar.

Pinecrest Academy Horizon, una escuela chárter en Henderson, Nevada, con 720 estudiantes de jardín de infantes a quinto grado, instaló dos micrófonos Louroe a principios de este año con los paquetes de software de detección de agresiones y disparos. Uno cuelga sobre el área de recepción y otro en un edificio satélite, parte de un centro comercial reutilizado.

Inicialmente, los niños que azotaban las puertas de sus casilleros activaban el detector de disparos. Como resultado, se ajustó su sensibilidad al ruido para reducir los falsos positivos. Jedidiah Wallace, de Atlas Integrated Security, con sede en Las Vegas, que configuró los dispositivos para la academia, dijo que sabe que el detector de agresión se activó una vez: cuando un niño gritó después de ser mordido por un compañero de clase.

La tasa de delitos violentos de Henderson es un tercio de la cercana Las Vegas y menos de la mitad del promedio nacional, según cifras del FBI de 2017. Aún así, "necesitábamos un poco más de tranquilidad", dijo la directora de Pinecrest, Wendy Shirey, quien usa un botón de pánico alrededor del cuello que puede alertar a la policía local.

Rock Hill Schools en Carolina del Sur, al otro lado de la frontera estatal con Charlotte, instaló el software Sound Intelligence en las cámaras Axis el año pasado. Las transmisiones de audio de una de las cámaras de vigilancia de la escuela secundaria del distrito alertan a los oficiales de seguridad sobre sonidos agresivos que indican una posible pelea en la cafetería o área común.

En una ocasión, los estudiantes que deseaban en voz alta un feliz cumpleaños a sus amigos activaron el detector, dijo el director de seguridad de Rock Hill, Kevin Wren. Sin embargo, dijo: "Ha funcionado para detectar la agresión. Mi pensamiento es: tal vez pueda reducir el tiempo de respuesta de los estudiantes que se pelean. El próximo golpe podría romperles la nariz". Van der Vorst dijo que el detector ayudó a reducir los incidentes agresivos en la escuela.

El software ha sido menos efectivo en The Valley Hospital en Ridgewood, Nueva Jersey. Daniel Coss, jefe de seguridad del sistema de salud del hospital, dijo que retirará gradualmente el detector después de un programa piloto de tres años y $22,000. Los dispositivos, colocados en áreas públicas de "alto riesgo", habían sido activados por las fuertes voces de los pacientes y los trabajadores de la cafetería que cerraban de golpe las cajas registradoras. Una vez que el detector se ajustó para que fuera menos sensible, ignoró a un hombre agitado que gritaba y golpeaba un escritorio. La situación escaló hasta que respondieron seis agentes de seguridad.

"Estaba haciendo todo lo que debería haber activado el sistema. Y no lo hizo", dijo Coss, quien cree que la tecnología podría funcionar en otro entorno.

Van der Vorst dijo que se siente "terrible" por la falla del detector para alertar al hospital. "Definitivamente tomaré medidas al respecto. No deberían tener esa experiencia".

ProPublica compró un micrófono Louroe y lo configuró de acuerdo con la guía proporcionada por Sound Intelligence. Luego, los reporteros observaron la respuesta del detector de agresiones a los ruidos hechos por los estudiantes de último año de secundaria mientras jugaban en la biblioteca (en Sinatra) o en una sala común (en Staples), y en pequeñas salas contiguas en ambas escuelas donde gritaban en el momento justo y leían en voz alta. tiras cómicas en las que los personajes desahogan la frustración, el miedo y la ira. De 55 instancias en las que los estudiantes de Sinatra gritaron, 22 activaron el detector.

Van der Vorst cuestionó algunos de los hallazgos de ProPublica, como los gritos perdidos, debido a un fenómeno conocido como "recorte". Ahí es cuando un micrófono se ve abrumado por demasiado ruido, distorsionando el sonido y potencialmente alterando las lecturas del algoritmo. El recorte puede ocurrir cuando se graban sonidos fuertes en una habitación pequeña, por lo que ProPublica volvió a evaluar a los estudiantes en un espacio más grande usando las mismas indicaciones. Muchos gritos, incluido el de Russcol, de nuevo no lograron activar una alarma, lo que indica que el recorte no había marcado una diferencia significativa en nuestros resultados.

Durante nuestra primera ronda de pruebas, cuando se entregaron pizzas para el almuerzo en la biblioteca de Sinatra, los vítores activaron el detector. También lo hizo cada ronda de Pictionary mientras los estudiantes gritaban adivinanzas: "¡Un bombero!" "¡Lucifer!" — hasta que el artista reveló la respuesta correcta (Burning Man, el festival en la remota Nevada). A veces lo desencadenaban risas, especialmente carcajadas estridentes que el detector aparentemente confundió con gritos beligerantes.

Esos hallazgos no sorprenden, dijo Shae Morgan, profesora asistente y experta en audiología de la facultad de medicina de la Universidad de Louisville. "El discurso feliz o eufórico comparte muchas de las mismas firmas que la ira ardiente", dijo. Por el contrario, la "ira fría", una furia tranquila y distante, a menudo expresada sin los marcadores de la tensión de la voz, no se detectaría, aunque puede presagiar violencia escolar, dijo. En una conferencia de jefes de policía el año pasado en Orlando, Florida, un representante de Louroe le mostró el micrófono a un reportero de ProPublica y comentó que podría evitar el próximo tiroteo en una escuela; un portavoz de la empresa aclaró más tarde que no estaba diseñado para descubrir asesinos silenciosos.

Sin embargo, con cada tiroteo masivo, es probable que crezca la demanda de detectores de agresión y dispositivos similares. Wallace, quien instaló el detector en Pinecrest, dijo que espera instalarlo en otros lugares del sur de Nevada, incluso en hospitales, paradas de autobús y otras áreas públicas.

"Siempre es después de un evento que sucede algo antes de que hablemos de soluciones", dijo Shirey, directora de Pinecrest. "Pero, ¿por qué no enfrentarlo? Tenemos que adaptarnos al mundo tal como es".

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd