Incidentes Asociados
Un adolescente de Florida que asistía a una clase de biología en un colegio comunitario recibió una nota inquietante este año. Una empresa nueva llamada Honorlock la había señalado por actuar de manera sospechosa durante un examen en febrero. Ella era, dijo en un correo electrónico a The New York Times, una mujer negra que había sido “acusada injustamente de deshonestidad académica por un algoritmo”.
Lo que sucedió, sin embargo, fue más complicado que un simple error algorítmico. Involucró a varios humanos, burocracia académica y una herramienta de detección facial automatizada de Amazon llamada Rekognition. A pesar de la extensa recopilación de datos, incluida una grabación de la niña, de 17 años, y su pantalla mientras tomaba la prueba, la acusación de hacer trampa fue, en última instancia, un juicio humano: ¿Significaba que estaba haciendo trampa al apartar la mirada de la pantalla?
La pandemia fue un momento de auge para las empresas que monitorean de forma remota a los examinados, ya que se convirtió en un peligro para la salud pública reunir a un gran grupo en una habitación. De repente, millones de personas se vieron obligadas a tomar exámenes de la barra, pruebas y cuestionarios solos en casa en sus computadoras portátiles. Para evitar la tentación de hacer trampa y atrapar a quienes lo hacían, las empresas de supervisión remota ofrecieron extensiones de navegador web que detectan las pulsaciones de teclas y los movimientos del cursor, recopilan el audio del micrófono de una computadora y graban la pantalla y la transmisión de la cámara de una computadora, trayendo métodos de vigilancia utilizados. por las fuerzas del orden, los empleadores y los abusadores domésticos en un entorno académico.
Honorlock, con sede en Boca Raton, Fla., fue fundada por un par de graduados de escuelas de negocios que estaban [frustrados](https://www.palmbeachpost.com/story/news/education/2017/10/22/thinking-cheating -these-fau-students/6766379007/) por compañeros que creían que eran pruebas de juego. La empresa emergente administró nueve millones de exámenes en 2021, cobrando [acerca de](https://jsu.instructure.com/courses/6885/quizzes/ 18114) 5 $ por examen o 10 USD por estudiante para cubrir todos los exámenes del curso. Honorlock ha recaudado $ 40 millones de inversores, la gran mayoría desde que comenzó la pandemia.
Mantener a los examinados honestos se ha convertido en una industria multimillonaria, pero Honorlock y sus competidores, incluidos ExamSoft, ProctorU y Proctorio, se han enfrentado a un gran retroceso en el camino: [activismo] generalizado (https://www.baneproctoring.com/), medios [informes](https://www.newyorker.com/tech/annals-of -technology/is-online-test-monitoring-here-to-stay) sobre los problemas de la tecnología e incluso [una investigación del Senado] (https://www.blumenthal.senate.gov/newsroom/press/release/blumenthal-leads -solicitud-de-empresas-de-software-de-examen-virtual-para-mejorar-la-accesibilidad-y-la-privacidad-para-los-estudiantes-en-medio-de-informes-preocupantes). Algunos examinados examinados se han sentido frustrados por la invasión del software -and-data-security/proctor360-faces-class-action-for-collecting-student-biometrics), [fallas](https://honisoit.com/2021/06/hundreds-of-students-affected-by- proctoru-malfunctions/), acusaciones falsas de [trampa](https://www. vox.com/recode/2020/5/4/21241062/schools-cheating-proctorio-artificial-intelligence) y [fracaso](https://www.nytimes.com/2020/09/29/style/testing-schools -proctorio.html) para funcionar igualmente bien para [todos los tipos](https://healthydebate.ca/2021/ 03/topic/exam-software-disabilities/) de personas.
La adolescente de Florida es un raro ejemplo de un infiel acusado que recibió la evidencia en su contra: un clip de 50 segundos de su grabación Honorlock de una hora. Pidió que no se usara su nombre debido al estigma asociado con la deshonestidad académica.
La adolescente estaba en el último año de un programa especial para obtener su diploma de escuela secundaria y su título de asociado. Casi otros 40 estudiantes estaban en la clase de biología del adolescente, pero nunca se conocieron. La clase, de Broward College, fue totalmente remota y asincrónica.
La educación en línea asíncrona estaba creciendo incluso antes de la pandemia. Ofrece a los estudiantes un horario más flexible, pero tiene inconvenientes. El año pasado, un estudiante de historia del arte que tenía una pregunta sobre una conferencia grabada trató de enviar un correo electrónico a su profesor y descubrió que el hombre [había muerto casi dos años antes] (https://www.theverge.com/22262230/online-college -clase-covid-profesor-muerto).
La profesora de biología de la adolescente de Florida, Jonelle Orridge, estaba viva, pero distante, sus interacciones con los estudiantes se realizaban por correo electrónico, mientras asignaba lecturas y videos de YouTube. El examen de febrero pasado fue el segundo que el adolescente tomó en la clase. Instaló su computadora portátil en su sala de estar en North Lauderdale asegurándose de seguir una larga lista de reglas establecidas en el plan de estudios de la clase y en un men ú desplegable de Honorlock: No coma ni beba, use un teléfono, tenga a otros en el habitación, mirar fuera de la pantalla para leer notas, etc.
La estudiante tuvo que posar frente a la cámara de su computadora portátil para una foto, mostrar su identificación de estudiante y luego tomar su computadora portátil y usar su cámara para proporcionar un escaneo de 360 grados de la habitación para demostrar que no tenía ningún material de contrabando. . No le importó nada de esto, dijo, porque esperaba que las medidas evitaran que otros hicieran trampa.
Pensó que la prueba salió bien, pero unos días después, recibió un correo electrónico del Dr. Orridge.
“Fuiste marcado por Honorlock”, escribió el Dr. Orridge. “Después de revisar su video, se le observó con frecuencia mirando hacia abajo y lejos de la pantalla antes de responder preguntas”.
Obtenía un cero en el examen y el asunto se remitía al decano de asuntos estudiantiles. “Si se le encuentra responsable de deshonestidad académica, se mantendrá la calificación de cero”, escribió el Dr. Orridge.
“Esto debe ser un error”, respondió el estudiante en un correo electrónico. “No estaba siendo académicamente deshonesto. Mirar hacia abajo no indica deshonestidad académica”.
The New York Times ha revisado el video. Las grabaciones de Honorlock de varios otros estudiantes se ven brevemente en la captura de pantalla, antes de que se reproduzca el video del adolescente.
El estudiante y su pantalla son visibles, al igual que un registro parcial de marcas de tiempo, incluida al menos una bandera roja, que pretende indicar un comportamiento altamente sospechoso, solo un minuto después de su prueba. Cuando la estudiante comienza el examen, a las 8:29 a. m., se desplaza por cuatro preguntas y parece mirar hacia abajo después de leer cada una, una vez durante 10 segundos. Ella se mueve ligeramente. Ella no responde ninguna de las preguntas durante el clip de 50 segundos.
Es imposible decir con certeza lo que está sucediendo en el video. Lo que la tecnología de inteligencia artificial acertó es que miró hacia abajo. ¿Pero para hacer qué? Podría estar mirando la mesa, un teléfono inteligente o notas. El video es ambiguo.
Cuando la estudiante se reunió con el decano y el Dr. Orridge por video, dijo, les dijo que mira hacia abajo para pensar y que juguetea con las manos para refrescar su memoria. No se dejaron influir. La estudiante fue declarada "responsable" por "incumplimiento de las instrucciones", lo que resultó en un cero en el examen y una advertencia en su registro.
“¿Quién mira fijamente un examen todo el tiempo que está tomando un examen? Eso es ridículo. Así no es como funcionan los humanos”, dijo Cooper Quintin, tecnólogo de Electronic Frontier Foundation, una organización de derechos digitales. "Los comportamientos normales son castigados por este software".
Después de examinar el software de supervisión en línea que los estudiantes de medicina de Dartmouth College afirmaron que los había [marcado incorrectamente] (https://www.nytimes.com/2021/05/09/technology/dartmouth-geisel-medical-cheating.html), el Sr. Quintin sugirió que las escuelas tengan expertos externos que revisen las pruebas de las trampas. El defecto más grave de estos sistemas puede ser humano: los educadores reaccionan de forma exagerada cuando el software de inteligencia artificial genera una alerta.
“Las escuelas parecen estar tratándolo como la palabra de Dios”, dijo el Sr. Quintin. “Si la computadora dice que estás haciendo trampa, debes estar haciendo trampa”.
Tess Mitchell, vocera de Honorlock, dijo que no era función de la compañía asesorar a las escuelas sobre cómo lidiar con el comportamiento señalado por su producto.
“En ningún caso identificamos definitivamente a los 'tramposos': la decisión final y el curso de acción depende del instructor y la escuela, tal como sucedería en un salón de clases”, dijo la Sra. Mitchell. “Puede ser un desafío interpretar las acciones de un estudiante. Por eso no lo hacemos”.
El Dr. Orridge no respondió a las solicitudes de comentarios para este artículo. Una portavoz de Broward College dijo que no podía discutir el caso debido a las leyes de privacidad de los estudiantes. En un correo electrónico, dijo que los profesores “ejercen su mejor juicio” sobre lo que ven en los informes de Honorlock. Dijo que una primera advertencia por deshonestidad aparecería en el expediente de un estudiante pero no tendría consecuencias más graves, como impedir que el estudiante se gradúe o transferir créditos a otra institución.
Honorlock no ha revelado previamente cómo funciona exactamente su inteligencia artificial, pero una portavoz de la empresa reveló que la empresa realiza detección de rostros usando Rekognition, una herramienta de análisis de imágenes que Amazon comenzó a vender en 2016. El software Rekognition busca puntos de referencia faciales (nariz, ojos, cejas, boca) y arroja una puntuación de confianza de que lo que está en pantalla es una cara. También puede inferir el [estado emocional, género y ángulo](https://docs.aws.amazon.com /rekognition/latest/dg/faces-detect-images.html) del rostro.
Honorlock marcará a una persona que rinde el examen como sospechosa si detecta varias caras en la habitación o si la cara de la persona que rinde el examen desaparece, lo que podría suceder cuando las personas se tapan la cara con las manos por la frustración, dijo Brandon Smith, presidente y director de operaciones de Honorlock.
Honorlock a veces usa empleados humanos para monitorear a los examinados; Los "supervisores en vivo" aparecerán por chat si hay una gran cantidad de banderas en un examen para averiguar qué está pasando. Recientemente, estos supervisores descubrieron que Rekognition estaba registrando erróneamente rostros en fotos o carteles como personas adicionales en la sala.
Cuando sucede algo así, Honorlock les dice a los ingenieros de Amazon. “Toman nuestros datos reales y los usan para mejorar su IA”, dijo Smith.
Se suponía que Rekognition era un paso adelante de lo que había estado usando Honorlock. Una herramienta anterior de detección de rostros de Google era peor para detectar rostros de personas con una variedad de tonos de piel, dijo Smith.
Pero Rekognition también ha sido acusado de parcialidad. En una serie de estudios, Joy Buolamwini, investigadora informática y directora ejecutiva de Algorithmic Justice League, descubrió que el software de clasificación de género, incluido [Rekognition](https://medium.com/@bu64dcjrytwitb8/on-recent-research-auditing -commercial-facial-analysis-technology-19148bda1832), funcionó menos bien en mujeres de piel más oscura.
Determinar el género de una persona es diferente a detectar o reconocer un rostro, pero la Dra. Buolamwini consideró sus hallazgos como un canario en una mina de carbón. “Si vende un sistema que se ha demostrado que tiene sesgo en los rostros humanos, es dudoso que sus otros productos basados en el rostro también estén completamente libres de sesgo”, [escribió] (https://medium.com/@Joy.Buolamwini /response-racial-and-gender-bias-in-amazon-rekognition-commercial-ai-system-for-analyzing-faces-a289222eeced) en 2019.
The Times analizó imágenes del video Honorlock del estudiante con Amazon Rekognition. Tenía un 99,9 por ciento de confianza en que había una cara presente y que estaba triste, y un 59 por ciento confiaba en que el estudiante era un hombre.
La Dra. Buolamwini dijo que el color de la piel y el sexo de la estudiante de Florida deberían ser una consideración en sus intentos por limpiar su nombre, independientemente de si afectaron el rendimiento del algoritmo.
“Ya sea que esté técnicamente relacionado con la raza o el género, el estigma y la presunción que se les impone a los estudiantes de color pueden exacerbarse cuando la etiqueta de una máquina alimenta el sesgo de confirmación”, escribió el Dr. Buolamwini en un correo electrónico.
A medida que la pandemia disminuya y los examinados puedan volver a reunirse en persona, es posible que la industria de la supervisión remota pronto tenga una menor demanda y enfrente mucho menos escrutinio. Sin embargo, el intenso activismo en torno a la tecnología durante la pandemia llevó al menos a una empresa a realizar un cambio importante en su producto.
ProctorU, un competidor de Honorlock, ya no ofrece un A.I.-only producto que marca videos para que los profesores los revisen.
“La facultad no tenía el tiempo, la capacitación o la capacidad para hacerlo o hacerlo correctamente”, dijo Jarrod Morgan, fundador de ProctorU. Una revisión de los datos internos de ProctorU encontró que los videos de comportamiento marcado se abrieron solo el 11 por ciento de las veces.
Todos los comportamientos sospechosos ahora son revisados por uno de los aproximadamente 1300 supervisores de la empresa, la mayoría de los cuales se encuentran en el extranjero en mercados laborales más baratos. El Sr. Morgan dijo que estos contratistas pasaron por una capacitación rigurosa y que "confirmarían una infracción" solo si hubiera evidencia sólida de que un examinado estaba recibiendo ayuda. ProctorU administró cuatro millones de exámenes el año pasado; al analizar tres millones de esas pruebas, descubrió que más de 200,000, o alrededor del 7 por ciento, involucraban algún tipo de mala conducta académica, según la compañía.
El adolescente se graduó de Broward College este mes. Ella sigue angustiada por haber sido etiquetada de tramposa y teme que pueda volver a suceder.
“Trato de convertirme en un maniquí durante las pruebas ahora”, dijo.