Incidentes Asociados
El principal funcionario de educación del estado se basó en inteligencia artificial generativa para redactar una política propuesta sobre el uso de teléfonos celulares en las escuelas de Alaska, que resultó en un documento estatal que cita supuestos estudios académicos que no existen.
El documento no reveló que se había utilizado IA en su concepción. Al menos parte de esa información falsa generada por IA terminó frente a los miembros de la Junta de Educación y Desarrollo Temprano del estado.
Los responsables de las políticas en educación y en otras partes del gobierno se basan en investigaciones bien respaldadas. El uso por parte del comisionado de contenido falso generado por IA apunta a una falta de política estatal en torno al uso de herramientas de IA, cuando la confianza pública depende de saber que las fuentes utilizadas para informar las decisiones del gobierno no solo son correctas, sino reales.
Un portavoz del departamento primero llamó a las fuentes falsas "marcadores de posición". Se citaron en todo el cuerpo de una resolución publicada en el sitio web del departamento antes de una reunión de la junta estatal de educación, que se llevó a cabo en el distrito de Matanuska-Susitna este mes.
Más tarde, la comisionada de educación estatal, Deena Bishop, dijo que eran parte de un primer borrador y que utilizó inteligencia artificial generativa para crear las citaciones. Dijo que se dio cuenta de su error antes de la reunión y envió las citaciones correctas a los miembros de la junta. La junta adoptó la resolución.
Sin embargo, existen referencias erróneas y otros vestigios de lo que se conoce como "alucinación de la IA" en el documento corregido que luego distribuyó el departamento y que, según Bishop, fue votado por la junta.
La resolución ordena al DEED que elabore una política modelo para las restricciones de teléfonos celulares. La resolución publicada en el sitio web del estado citaba supuestos artículos académicos que no se pueden encontrar en las direcciones web mencionadas y cuyos títulos no aparecían en búsquedas en línea más amplias.
Cuatro de las seis citas del documento parecen ser estudios publicados en revistas científicas, pero eran falsas. Las revistas que citó el estado existen, pero los títulos a los que hace referencia el departamento no están impresos en los números enumerados. En cambio, se publican trabajos sobre diferentes temas en los enlaces enumerados.
Ellie Pavlick, profesora adjunta de informática y lingüística en la Universidad de Brown y científica investigadora de Google Deepmind, revisó las citas y dijo que se parecen a otras citas falsas que ha visto que genera la IA.
"Ese es exactamente el tipo de patrón que uno ve con las citas alucinadas por la IA", dijo.
Una alucinación es el término que se utiliza cuando un sistema de IA genera información engañosa o falsa, generalmente porque el modelo no tiene suficientes datos o hace suposiciones incorrectas.
“Es muy típico que veas estas citas falsas que tendrían una revista real, a veces incluso una persona personal real, un nombre plausible, pero que no corresponden a una cosa real”, dijo. “Es exactamente el patrón de citas que esperarías de un modelo de lenguaje; al menos, los hemos visto hacer algo así”.
La sección de referencia del documento incluye URL, que llevaron a artículos académicos sobre diferentes temas. En lugar de “Prohibir los teléfonos móviles mejora el rendimiento de los estudiantes: evidencia de un cuasi-experimento” en la revista Computers in Human Behavior, la URL del estado llevó al artículo “Comportamientos sexualizados en Facebook”, un artículo diferente en la publicación. Una búsqueda del título correcto no arrojó ningún resultado. Lo mismo sucedió con dos estudios que, según el estado, se encontraron en el Journal of Educational Psychology.
Después de que Alaska Beacon le pidió al departamento que produjera los estudios falsos, los funcionarios actualizaron el documento en línea. Cuando se le preguntó si el departamento utilizó IA, el portavoz Bryan Zadalis dijo que las citas estaban simplemente allí como relleno hasta que se insertara la información correcta.
“Muchas de las fuentes enumeradas fueron marcadores de posición durante el proceso de redacción que se usaron mientras se criticaban, comparaban y revisaban las fuentes finales. Este es un proceso con el que muchos de nosotros nos hemos acostumbrado a trabajar”, escribió en un correo electrónico del viernes.
Zadalis escribió el borrador de la resolución y Bishop “luego lo puso en una plataforma de IA generativa solo para ver si podía ser útil para encontrar fuentes adicionales”, dijo Zadalis en un correo electrónico el lunes. Descubrieron que, en última instancia, no fue útil.
Bishop dijo más tarde que era un primer borrador que se había publicado por error y que luego se corrigió.
Pero todavía se encuentran vestigios del documento generado por IA en todo el documento que Bishop dijo que la junta revisó y votó.
Por ejemplo, el documento actualizado del departamento todavía remite a los lectores a un estudio ficticio de 2019 de la Asociación Estadounidense de Psicología para respaldar la afirmación de la resolución de que “los estudiantes en escuelas con restricciones de teléfonos celulares mostraron niveles más bajos de estrés y niveles más altos de logros académicos”. La nueva cita conduce a un estudio que analiza la salud mental en lugar de los resultados académicos. Como anécdota, ese estudio no encontró una correlación directa entre el uso del teléfono celular y la depresión o la soledad.
Aunque esa afirmación no se encuentra correctamente fundamentada en el documento, hay un estudio que muestra que los teléfonos inteligentes tienen un efecto en la comprensión de los cursos y el bienestar, pero entre los estudiantes universitarios en lugar de los adolescentes. Melissa DiMartino, la investigadora y profesora de New York Tech que publicó ese estudio, dijo que, aunque no ha estudiado los efectos de los teléfonos celulares en los adolescentes, cree que sus hallazgos solo se amplificarían en esa población.
“Sus cerebros aún se están desarrollando. Son muy maleables. Y si observas la investigación sobre los teléfonos inteligentes, gran parte de ella refleja la adicción a las sustancias o cualquier otro tipo de comportamiento adictivo”, dijo.
Dijo que la parte complicada de estudiar realmente a los adolescentes, como sugieren los títulos de los estudios falsos del estado, es que los investigadores deben obtener permiso de las escuelas para investigar a sus estudiantes.
El departamento actualizó el documento en línea el viernes, después de múltiples consultas de Alaska Beacon sobre el origen de las fuentes. La lista de referencias actualizada reemplazó la cita de un artículo inexistente en el Journal of Educational Psychology, de más de 100 años de antigüedad, con un artículo real del Malaysian Online Journal of Educational Technology.
Bishop dijo que no había "nada nefasto" en juego con los errores y que no se produjo ningún daño discernible a partir del incidente.
Sin embargo, las citas falsas indican cómo la desinformación de IA puede influir en la política estatal, especialmente si los funcionarios estatales de alto nivel utilizan la tecnología como una abreviatura de redacción que causa errores que terminan en documentos públicos y resoluciones oficiales.
La declaración del portavoz del departamento de educación sugiere que el uso de tales "marcadores de posición" no es inusual en el departamento. Este tipo de error podría repetirse fácilmente si esos marcadores de posición son típicamente contenido generado por IA.
Pavlick, el experto en IA, dijo que la situación apunta a ajustes de cuentas más amplios sobre dónde las personas obtienen su información y la circulación de información errónea.
“Creo que también existe una preocupación real, especialmente cuando las personas en posiciones de autoridad usan esto, debido a este tipo de degradación de la confianza que ya existe, ¿no?”, dijo. “Una vez que se revela varias veces que la información es falsa, ya sea intencionalmente o no, entonces se vuelve fácil descartar cualquier cosa como falsa”.
En este ejemplo, los artículos científicos, formas aceptadas desde hace mucho tiempo de validar un argumento con investigación, datos y hechos, están en duda, lo que podría socavar el grado en que siguen siendo un recurso confiable.
“Creo que para muchas personas, la IA es el sustituto de la búsqueda de la misma manera, porque en algunos sentidos se siente similar. Es como si estuvieran en su computadora, escribiendo en un cuadro de texto y obteniendo estas respuestas”, dijo.
Pavlick mencionó un caso legal del año pasado, en el que un abogado utilizó un chatbot de IA para redactar una presentación. El chatbot citó casos falsos que el abogado luego utilizó en el tribunal, lo que llevó al juez a considerar castigar al abogado. Pavlick dijo que esos errores le recuerdan lo que sucedió en el documento DEED.
Dijo que es preocupante que la tecnología se haya vuelto tan ampliamente utilizada sin un aumento correspondiente en la comprensión pública de cómo funciona.
"No sé de quién es realmente la responsabilidad, probablemente recaiga más sobre nosotros, la comunidad de IA, educar mejor, porque es un poco difícil culpar a las personas por no entender, por no darse cuenta de que necesitan tratar esto de manera diferente a otras herramientas de búsqueda, otras tecnologías", dijo.
Dijo que fomentar la alfabetización en inteligencia artificial es una forma de evitar el mal uso de la tecnología, pero no existen mejores prácticas universalmente reconocidas sobre cómo hacerlo.
“Creo que algunos ejemplos de cosas como esta, con suerte, se intensificarán para que todo el país, el mundo, se interese un poco más en los resultados de esto”, dijo.
Nota del editor: Este artículo ha sido actualizado para indicar que Zadalis escribió la resolución.