Skip to Content
logologo
AI Incident Database
Open TwitterOpen RSS FeedOpen FacebookOpen LinkedInOpen GitHub
Open Menu
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar
Descubrir
Enviar
  • Bienvenido a la AIID
  • Descubrir Incidentes
  • Vista espacial
  • Vista Tabular
  • Vista de lista
  • Entidades
  • Taxonomías
  • Enviar Informes de Incidentes
  • Ranking de Reportadores
  • Blog
  • Resumen de noticias de IA
  • Control de Riesgos
  • Incidente aleatorio
  • Registrarse
Colapsar

Problema 1465

Incidentes Asociados

Incidente 1312 Reportes
Proctoring Algorithm in Online California Bar Exam Flagged an Unusually High Number of Alleged Cheaters

Loading...
El examen de la barra de California marcó a un TERCIO de los solicitantes como trampa
abovethelaw.com · 2020

¿Recuerdas cuando dijimos que el algoritmo de "trampa" del examen de la barra en línea iba a ser un problema? Ya marcó a las personas negras y marrones simplemente por existir, pero no se detuvo allí y logró identificar a todo tipo de personas como posibles tramposos.

Y este era un poco el punto. El algoritmo está diseñado para marcar a las personas por actividad "sospechosa" y luego dejar que los humanos analicen el video para asegurarse de que sea un falso positivo. Pero tal vez esa sea una tarea hercúlea...

De hecho, este video muestra al Comité de Examinadores de Abogados de California revelando que de las 9301 personas que tomaron el examen, 3190 de ellas fueron marcadas por el software. ¡Eso es 1 en 3!

Deje de lado si el software que marca a un tercio de los solicitantes realmente está haciendo su trabajo, ¡lo cual es una buena pregunta! — cuando a los examinadores de la barra se les dice que "parece que el 33 por ciento de los solicitantes hicieron trampa", la reacción debería ser "eso obviamente es una tontería". En cambio, California parece estar adoptando el enfoque de "orden para mostrar causa" de pedirle a un grupo, si no a la mayoría, de las personas señaladas por el software que demuestren que no estaban haciendo trampa.

Esto es una locura. Los avisos del "Capítulo 6" que California está enviando dicen cosas como "La vista facial de sus ojos no estuvo a la vista de la cámara durante un período prolongado de tiempo", lo que debería ser una invitación para que los examinadores vean el maldito video para ver si es válido antes de traer al solicitante a él. Esta descripción es tan genérica que está claro que los examinadores ni siquiera se molestaron en mirar estas banderas. Alguien que lo miró y detectó algo sospechoso diría "oye, la cámara te muestra mirando repetidamente tu regazo", no esta vaga basura.

Un aviso enviado fue "no se detectó ningún sonido audible", lo cual es un verdadero truco porque SE SUPONE QUE LAS PERSONAS NO DEBEN HACER RUIDO. Entiendo que alegan que alguien apagó su micrófono o algo así, pero eso es algo que podría verificarse con más investigación. ¿Por qué añadir estrés innecesario?

Si California no estaba lista para lidiar con las banderas, entonces no deberían haber optado por un examen en línea. Es parte del trato. Usted hace el examen en línea y eso significa más supervisión post-hoc. Cultivarlo para "probar que estamos equivocados" es absolutamente inaceptable.

Peor aún, están surgiendo informes en las redes sociales de que a los solicitantes se les dice que deben responder a estas vagas acusaciones sin ver el video por sí mismos, lo que suena como un detector de problemas. Con suerte, estos son solo rumores porque si los examinadores de la barra realmente están tratando de etiquetar a los solicitantes en función de un algoritmo compuesto apresuradamente que ya sabemos que crea falsos positivos sin acceso a la única evidencia relevante... bueno, eso sería un nuevo mínimo.

Desafortunadamente, este ciclo de exámenes me ha enseñado a no esperar mucho.

Leer la Fuente

Investigación

  • Definición de un “Incidente de IA”
  • Definición de una “Respuesta a incidentes de IA”
  • Hoja de ruta de la base de datos
  • Trabajo relacionado
  • Descargar Base de Datos Completa

Proyecto y Comunidad

  • Acerca de
  • Contactar y Seguir
  • Aplicaciones y resúmenes
  • Guía del editor

Incidencias

  • Todos los incidentes en forma de lista
  • Incidentes marcados
  • Cola de envío
  • Vista de clasificaciones
  • Taxonomías

2024 - AI Incident Database

  • Condiciones de uso
  • Política de privacidad
  • Open twitterOpen githubOpen rssOpen facebookOpen linkedin
  • e1b50cd