Incidentes Asociados
Los estudiantes de una preparatoria de Kansas a veces se preocupan al escribir presentaciones o correos electrónicos a sus profesores. Se detienen a reflexionar. Se preguntan: "¿Esto será detectado por Gaggle?".
Todo lo que los estudiantes de la preparatoria Lawrence escriban o suban a sus cuentas escolares puede ser detectado por Gaggle Safety Management, una herramienta de seguridad digital que la preparatoria de Lawrence, Kansas, adquirió en 2023. Gaggle utiliza inteligencia artificial para escanear documentos y correos electrónicos de los estudiantes en busca de indicios de comportamiento inseguro, como abuso de sustancias o amenazas de violencia o autolesión, que luego elimina o reporta al personal escolar.
Los estudiantes dicen que hace mucho más que eso. Desde que Gaggle se lanzó en Lawrence, ha eliminado parte del portafolio de un estudiante de arte (una foto de chicas con camisetas sin mangas) tras marcarla por error como pornografía infantil. Otro estudiante fue interrogado por la administración tras escribir que "iba a morir" por realizar una prueba de aptitud física con Crocs.
Cuando Suzana Kennedy, de 19 años, envió por correo electrónico una solicitud de registros a la escuela el año pasado para que le informaran sobre el material estudiantil marcado por Gaggle, Gaggle bloqueó su intento de investigarlo, según afirmó. El sistema marcó e interceptó la respuesta de la escuela que contenía los registros. Kennedy nunca recibió la respuesta.
Así es como algunos estudiantes dicen que es la vida en la escuela secundaria bajo la supervisión de una herramienta de seguridad impulsada por IA como Gaggle, que cuenta con alianzas con alrededor de 1500 distritos escolares en todo el país. La empresa, con sede en Illinois, promociona su monitoreo continuo como un baluarte contra una serie de amenazas para los estudiantes de hoy, como la violencia armada, los problemas de salud mental y la agresión sexual.
En las reuniones de la junta escolar, los funcionarios de Lawrence han calificado a Gaggle como una ayuda vital para reforzar los procedimientos de seguridad. El programa ha permitido al personal intervenir en varios casos en los que los estudiantes corrían riesgo de suicidio, según informaron los miembros de la junta escolar.
Pero Gaggle también ha sido objeto de escrutinio por el alcance de su monitoreo y las quejas sobre intrusiones en la privacidad de los estudiantes. Estudiantes y exalumnos de Lawrence, incluyendo a Kennedy, demandaron al distrito escolar en agosto para detener su uso, alegando que la vigilancia de Gaggle es inconstitucional y propensa a errores.
En lugar de contribuir a su seguridad, según la demanda, el monitoreo de Gaggle ha tenido un efecto disuasorio entre los estudiantes. Se preguntan si hablar de salud mental o usar palabras inapropiadas podría llevar a que los denuncien a los maestros y a que se eliminen sus tareas escolares.
"Siempre existió ese temor", dijo Natasha Torkzaban, de 19 años, exalumna y demandante en la demanda. "¿Quién más, aparte de mí, está viendo este documento?"
Las Escuelas Públicas de Lawrence declinaron hacer comentarios, pero compartieron una declaración del exsuperintendente Anthony Lewis en respuesta a críticas previas a Gaggle en abril de 2024, cuando periodistas estudiantiles solicitaron estar exentos del monitoreo de Gaggle para proteger sus fuentes.
"La información que hemos recopilado mediante el uso de Gaggle ha ayudado a nuestro personal a intervenir y salvar vidas", declaró Lewis en aquel momento.
El sitio web de las Escuelas Públicas de Lawrence afirma que el distrito utiliza el software para detectar "señales de autolesión, depresión, pensamientos suicidas, abuso de sustancias, ciberacoso, amenazas creíbles de violencia contra otros u otras situaciones perjudiciales".
Gaggle no respondió a las solicitudes de comentarios de The Washington Post y aún no ha respondido al contenido de la demanda en los tribunales. En comunicados de prensa publicados en su sitio web, la empresa afirma que tiene un "firme compromiso con la seguridad estudiantil sin comprometer la privacidad".
El producto de la compañía forma parte de una ola de sistemas de seguridad escolar basados en IA que utilizan el aprendizaje automático para detectar riesgos de seguridad en el aula. Algunos productos, como Gaggle, monitorean la actividad de los estudiantes en las cuentas y dispositivos escolares. Otros escanean las transmisiones de las cámaras de seguridad para detectar armas y peleas en los pasillos.
La herramienta de gestión de seguridad de Gaggle puede revisar el contenido de la cuenta de Google o Microsoft de un estudiante, incluyendo correos electrónicos, documentos, enlaces a sitios web y entradas del calendario. Según Gaggle, profesionales de seguridad capacitados evalúan cualquier material marcado para detectar falsos positivos antes de informarlo a las escuelas, aunque la demanda de Lawrence alega que las revisiones se subcontratan a terceros.
Una investigación sobre Gaggle, realizada por el Seattle Times y Associated Press la primavera pasada, reveló que el sistema conllevaba riesgos de seguridad y problemas de privacidad. La investigación determinó que los periodistas pudieron ver temporalmente capturas de pantalla de material estudiantil marcado que no estaba protegido con contraseña. En otros casos, se reveló la identidad de estudiantes LGBTQ en Carolina del Norte y Columbia Británica a sus familiares y autoridades escolares cuando Gaggle marcó mensajes sobre su identidad sexual o salud mental.
Amanda Klinger, directora de operaciones de la Red de Seguridad Escolar de Educadores, afirmó que Gaggle y otros sistemas basados en IA pueden ser una "herramienta valiosa" para detectar comportamientos preocupantes en los estudiantes, especialmente cuando el personal escolar está sobrecargado. Sin embargo, Klinger añadió que una implementación deficiente puede hacer que los estudiantes se sientan excesivamente vigilados.
"No envidio la posición de los educadores", dijo Klinger, y añadió: "Pero simplemente debemos ser muy conscientes de las limitaciones de estas herramientas y las consecuencias imprevistas".
La junta escolar de Lawrence votó unánimemente en agosto de 2023 para firmar un acuerdo de tres años con Gaggle por aproximadamente $160,000. El distrito, que no permite a los estudiantes optar por no participar en la vigilancia de Gaggle en los dispositivos escolares, generó rápidamente controversia. En 2024, la administración de la escuela preparatoria Lawrence citó a varios estudiantes de arte, periodismo y fotografía y los acusó de subir imágenes que mostraban exhibicionismo o pornografía infantil, según la demanda.
Opal Morris, una joven de 18 años graduada de Lawrence y una de las exalumnas que demandaron a las Escuelas Públicas de Lawrence, se encontraba entre ellos. Contó que los guardias de seguridad la sacaron de clase para interrogarla. Añadió que les dijo a la administración que recientemente había subido un portafolio de fotografías, y la dejaron ir.
"Al principio fue muy formal y muy acusatorio", dijo Morris. "Y luego, algo así como: 'Bueno, cállate y vuelve a clase'".
Morris dijo que más tarde descubrió que una foto del portafolio había sido borrada de su cuenta escolar. Determinó que la imagen ofensiva era un retrato de dos chicas con camisetas sin mangas. Según la demanda, ninguno de los demás estudiantes que llamaron ese día fue sancionado.
Esa primavera, el periódico estudiantil de la escuela secundaria Lawrence, Budget, se quejó ante la escuela de que el escaneo de las notas de los estudiantes por parte de Gaggle podría violar la ley de Kansas al exponer sus fuentes a las autoridades escolares.
Los líderes de Budget también señalaron otros casos en los que se alarmaron por el alcance de Gaggle. Torkzaban, excoeditora en jefe, dijo que el programa escaneó un ensayo de admisión a la universidad en la cuenta personal de Google de una amiga cuando Torkzaban lo editó mientras estaba conectada a su cuenta escolar. Fue criticada porque el ensayo contenía las palabras "salud mental", dijo. En otoño de 2024, Kennedy, excoeditora en jefe del Presupuesto, presentó su solicitud de registros para obtener datos de Gaggle. Tras esperar más de un mes, Kennedy contó que los administradores le informaron que descubrieron que Gaggle estaba bloqueando sus respuestas, pero desconocían el motivo.
Los registros, que Kennedy finalmente obtuvo a través de un profesor y compartió con The Post, mostraron que Gaggle había marcado más de 1200 casos de contenido estudiantil "cuestionable" en todo el distrito entre noviembre de 2023 y septiembre de 2024. Las palabras clave que Gaggle marcó incluían groserías, términos relacionados con la violencia con armas de fuego y la autolesión, y palabras como "sexo", "borracho", "pelearse" o "bombarde".
Se denunciaron dieciocho incidentes a las autoridades. Alrededor de 800 se clasificaron como "no problemáticos", aunque otros incidentes se abordaron después de que un profesor interrogara a un estudiante o lo reprendiera por su elección de palabras. Entre los casos no relacionados se encontraba una estudiante interrogada en agosto pasado por escribir un mensaje con la frase "Quería matar".
"Dijo que le estaba enviando un correo electrónico a su abuela y que se refería a una mosca que quería que matara", decía el informe.