Incidentes Asociados
Un chatbot de inteligencia artificial muy publicitado, diseñado a medida para ayudar a los estudiantes a prosperar académicamente y a los padres a navegar por las complejidades de las escuelas públicas de Los Ángeles, ha sido desactivado después de que la empresa que lo creó suspendiera temporalmente a "la gran mayoría" de su personal.
El distrito escolar dijo que abandonó sus relaciones con AllHere, la empresa que creó "Ed", el chatbot con forma de sol, después de que "se nos notificara su colapso financiero". AllHere no respondió a una consulta esta semana de The Times y el nivel de su operación no está claro.
En un desarrollo separado, una importante filtración de datos ha afectado a una empresa de nube de datos llamada Snowflake, que ha trabajado con el Distrito Escolar Unificado de Los Ángeles. El distrito dijo el martes que no hay conexión con la situación de AllHere, y que está trabajando con agencias de investigación para evaluar el daño y qué registros del distrito se obtuvieron a través de un contratista externo.
Mientras tanto, el distrito desconectó el chatbot --- por el cual AllHere había recibido $3 millones --- el 14 de junio, menos de tres meses después de revelar la figura animada como un compañero de conversación fácil de usar para los estudiantes y una guía que pronto será indispensable para los padres. "Ed" es a la vez un chatbot, personificado como un sol feliz y redondo, y una plataforma en línea que intenta reunir en un solo portal los registros de los estudiantes, las tareas, las calificaciones, las recomendaciones académicas y las derivaciones de salud mental.
La plataforma en línea fue presentada en marzo por el superintendente. Alberto Carvalho es un revolucionario histórico y único en su tipo en el ámbito de la educación. Dijo que fue una piedra angular de los esfuerzos por hacer que la escuela sea más atractiva, actualizada, individualizada y exitosa. Habló de marcar el ritmo para la nación en una nueva tecnología ---inteligencia artificial-- que recién está comenzando a arrasar en el país.
El martes, los funcionarios enfatizaron que las fuentes de información del chatbot siguen estando disponibles en la plataforma Ed. Los usuarios simplemente deben navegar a través de ella de una manera más tradicional --- utilizando buzones y haciendo clic en enlaces. Una característica que continúa es que se puede encontrar información sin tener que iniciar sesión más de una vez, dijo Tony Aguilar, el jefe de educación especial y programas especializados del distrito.
El distrito tiene la intención de recuperar el chatbot, pero está en espera mientras los funcionarios determinan cómo proceder.
El sistema Ed ha sido aclamado como omnisciente en términos de información del distrito, así como por proteger completamente la información privada.
También fue un trabajo en progreso. El chatbot solo respondió preguntas que reconoció. Aguilar dijo que otras preguntas podrían recibir una respuesta como "Pregúntale a tu maestro".
AllHere trabajó con el distrito para expandir la base de conocimiento del sistema, y este trabajo tendría que continuar sin la colaboración de la compañía con sede en Boston. Además, AllHere había proporcionado moderadores humanos para supervisar el sistema.
Aguilar dijo que el distrito no tuvo ni idea de que hubiera problemas hasta el 14 de junio, cuando la compañía anunció que prácticamente cerraría.
La falta de conciencia del distrito es un problema, dijo Stephen Aguilar, director asociado del Centro de Sociedad e Inteligencia Artificial Generativa de la USC, y sin relación con Tony Aguilar del distrito.
Aunque AllHere era un favorito de los medios en el mundo de la tecnología, el LAUSD tuvo la oportunidad y la responsabilidad de investigar más a fondo, dijo Aguilar de la USC.
"Obviamente, podemos señalar con el dedo a las empresas, especialmente a las nuevas, que se ven presionadas a prometer demasiado y... en general, no cumplir. Especialmente en este entorno, depende de las cabezas más frías prevalecer y decir: 'Bueno, me estás prometiendo el paraíso. Veamos si podemos hacer despegar este avión antes de ir al espacio'. En última instancia, la responsabilidad recae en el distrito escolar".
AllHere tenía un contrato con el LAUSD por hasta 6 millones de dólares para llevar adelante el proyecto durante cinco años, y ha recibido aproximadamente la mitad, dijo el distrito en un comunicado.
El segundo sistema escolar más grande del país "logró su objetivo de desarrollar un producto que ofreciera rutas de aprendizaje individualizadas para los estudiantes... independientemente del resultado con AllHere", decía el comunicado.
El representante de la empresa Toby Jackson proporcionó una verificación del estado de AllHere el 20 de junio, en respuesta a una consulta privada sobre la empresa obtenida por The Times.
"Es cierto que Joanna Smith-Griffin ya no es la directora ejecutiva de AllHere y, el 14 de junio, tuvimos que suspender temporalmente a la gran mayoría de nuestros empleados debido a nuestra situación financiera actual", escribió Jackson en un correo electrónico.
"Habiendo dicho eso", continuó Jackson, "soy el director de tecnología aquí en AllHere y el arquitecto de Ed y he permanecido con un equipo muy pequeño, principalmente para garantizar que no haya interrupciones en el servicio de Ed y para ayudar a respaldar una transición ordenada".
Chris Whiteley, identificado como un ex director sénior de ingeniería de software en AllHere que fue despedido en abril, expresó su preocupación por la calidad de la protección de datos, según un artículo en The 74, un sitio web de noticias educativas que informó por primera vez sobre los problemas de AllHere.
Whiteley le dijo al sitio de noticias sobre educación que alertó a los funcionarios del distrito escolar de Los Ángeles de que el chatbot de su empresa procesaba los registros de los estudiantes de maneras que probablemente violaban las normas de privacidad de datos del Distrito Escolar Unificado de Los Ángeles y ponían la información confidencial en riesgo de ser pirateada, y que nadie le respondió nunca.
Whiteley alega que los mensajes que contenían información personal de los estudiantes se compartieron innecesariamente con empresas de terceros. Además, siete de las ocho solicitudes del chatbot se procesaron a través de servidores en el extranjero.
Tal conducta violaría el contrato con el distrito, dijo Tony Aguilar.
Las preocupaciones de seguridad no deben minimizarse, dijo Faith Boninger, profesora de investigación del Centro Nacional de Política Educativa de la Universidad de Colorado en Boulder.
"Si yo fuera una madre o una empleada de Los Ángeles, este episodio me haría sonar las alarmas", dijo. "El distrito no tiene control sobre los datos que comparte con ninguna de las empresas con las que tiene contratos. Lo que esas empresas hacen con los datos se rige por políticas de privacidad y términos y condiciones que, como regla general, no brindan la protección adecuada".
En su declaración, el distrito escolar dijo que "continuará tomando las medidas necesarias para garantizar que se implementen las protecciones de privacidad y seguridad adecuadas".
Un inicio festivo
El chatbot se presentó formalmente con fanfarria el 20 de marzo en el gimnasio decorado del Roybal Learning Center en el borde del centro de la ciudad. Había arcos de globos y un podio de bambú brillante con pantallas gigantes a ambos lados.
Posando junto a los dignatarios había una persona con un disfraz de Ed --- básicamente, un sol redondo amarillo con piernas.
Casi perdida en el estruendo de un DJ había una mesa donde los estudiantes estaban probando el producto: escribían preguntas y recibían respuestas bastante repetitivas, pero potencialmente útiles.
"En pocas palabras", dijo Carvalho, "Ed se basa en la información que el distrito ya posee, la analiza, la personaliza según las necesidades de cada estudiante y luego construye un camino, como verá, para cada estudiante en el sistema escolar.
"Le dirá a María: 'Te estás quedando un poco atrás en la lectura. Pero te tenemos cubierto. Haz clic aquí'. María hará clic y sin necesidad de iniciar sesión adicional. Un solo inicio de sesión abrirá las puertas a todos los recursos para satisfacer las necesidades de cada estudiante".
El martes, una declaración del distrito ofreció una explicación más sencilla:
"Después de la pandemia, estábamos experimentando problemas masivos de ausentismo crónico, disminución del rendimiento académico y estudiantes desconectados. La plataforma totalmente integrada combinada con un chatbot que brindaba recordatorios/empujones fue nuestra respuesta a este creciente problema y queríamos utilizar la tecnología más avanzada disponible".
En una entrevista de marzo con The Times, Smith-Griffin habló sobre la empresa que fundó. "Nuestro objetivo siempre fue... mejorar los resultados de los estudiantes asegurándonos de que la familia adecuada tuviera acceso a la información correcta en el momento adecuado", dijo. "Muchas veces las escuelas tienen prácticas muy impactantes como programas de tutoría y visitas domiciliarias que son muy difíciles de escalar. Entonces, la primera versión de AllHere giraba en torno a cómo usamos la tecnología, de una manera basada en la investigación. ... Esa versión de AllHere era un chatbot para padres que funcionaba las 24 horas del día, los 7 días de la semana y respondía preguntas frecuentes sobre la escuela".
Agregó: "Lo que ha sido tan poderoso en el trabajo del LAUSD para nosotros es que siempre habíamos trabajado en torno al ausentismo, pero su objetivo era: ¿cómo tomar esta misma tecnología y crear un mundo donde se pueda usar para facilitar el aprendizaje de los estudiantes con experiencias para los padres, pero también para los niños, de maneras innovadoras, apropiadas para la edad, pero aún muy basadas en la investigación?"