Problema 2582

CNN — ChatGPT es lo suficientemente inteligente como para aprobar prestigiosos exámenes de posgrado, aunque no con calificaciones particularmente altas.

La nueva y poderosa herramienta de chatbot de IA aprobó recientemente los exámenes de derecho en cuatro cursos en la Universidad de Minnesota y otro examen en la Escuela de Negocios Wharton de la Universidad de Pensilvania, según los profesores de las escuelas.

Para probar qué tan bien ChatGPT podría generar respuestas en los exámenes de los cuatro cursos, los profesores de la Facultad de Derecho de la Universidad de Minnesota [calificaron las pruebas a ciegas] recientemente (https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4335905 ). Después de completar 95 preguntas de opción múltiple y 12 preguntas de ensayo, el bot se desempeñó en promedio al nivel de un estudiante C+, logrando una calificación baja pero aprobatoria en los cuatro cursos.

A ChatGPT le fue mejor durante un examen del curso de gestión empresarial en Wharton, donde obtuvo una calificación de B a B-. En [un artículo que detalla el desempeño] (https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP.pdf), Christian Terwiesch, profesor de negocios de Wharton, dijo que ChatGPT hizo "un trabajo increíble" al responder preguntas básicas de administración de operaciones y análisis de procesos, pero tuvo problemas con indicaciones más avanzadas y cometió "errores sorprendentes" con matemáticas básicas.

“Estos errores pueden ser de gran magnitud”, escribió.

Los resultados de la prueba llegan cuando un número creciente de escuelas y maestros expresan inquietudes sobre el impacto inmediato de ChatGPT sobre los estudiantes y su capacidad para hacer trampa en las tareas. Algunos educadores ahora se están moviendo con notable velocidad para repensar sus tareas en respuesta a ChatGPT, incluso cuando no está claro qué tan extendido es el uso de la herramienta entre los estudiantes y qué tan dañino podría ser realmente para el aprendizaje.

Desde que estuvo disponible a fines de noviembre, ChatGPT se ha utilizado para generar ensayos, historias y letras de canciones originales en respuesta a las indicaciones de los usuarios. Ha redactado resúmenes de trabajos de investigación que engañaron a algunos científicos. Algunos directores ejecutivos incluso lo han usado para escribir correos electrónicos o para realizar trabajos de contabilidad.

ChatGPT está capacitado en grandes cantidades de datos en línea para generar respuestas a las solicitudes de los usuarios. Si bien ha ganado terreno entre los usuarios, también ha planteado algunas preocupaciones, incluidas las inexactitudes y su potencial para [perpetuar sesgos y difundir información errónea] (https://www.cnn.com/2022/06/30/tech/openai- google-realistic-images-bias/index.html).

Jon Choi, uno de los profesores de derecho de la Universidad de Minnesota, le dijo a CNN que el objetivo de las pruebas era explorar el potencial de ChatGPT para ayudar a los abogados en su práctica y ayudar a los estudiantes en los exámenes, ya sea que sus profesores lo permitan o no, porque las preguntas a menudo imitar la escritura que hacen los abogados en la vida real.

“ChatGPT tuvo problemas con los componentes más clásicos de los exámenes de la facultad de derecho, como detectar posibles problemas legales y realizar un análisis profundo aplicando reglas legales a los hechos de un caso”, dijo Choi. “Pero ChatGPT podría ser muy útil para producir un primer borrador que luego un estudiante podría refinar”.

Argumenta que la colaboración humano-IA es el caso de uso más prometedor para ChatGPT y tecnología similar.

“Mi fuerte corazonada es que los asistentes de IA se convertirán en herramientas estándar para los abogados en un futuro cercano, y las facultades de derecho deberían preparar a sus estudiantes para esa eventualidad”, dijo. “Por supuesto, si los profesores de derecho quieren continuar probando el simple recuerdo de las normas y doctrinas legales, deberán implementar restricciones como prohibir Internet durante los exámenes para hacer cumplir eso”.

Del mismo modo, Terwiesch de Wharton descubrió que el chatbot era "notablemente bueno" para modificar sus respuestas en respuesta a sugerencias humanas, como reelaborar las respuestas después de señalar un error, lo que sugiere el potencial para que las personas trabajen en conjunto con la IA.

Sin embargo, a corto plazo, persiste la incomodidad con respecto a si los estudiantes deben usar ChatGPT y cómo deben hacerlo. Las escuelas públicas de la ciudad de Nueva York y Seattle, por ejemplo, ya han prohibido estudiantes y maestros de usar ChatGPT en las redes y dispositivos del distrito.

Teniendo en cuenta que ChatGPT se desempeñó por encima del promedio en su examen, Terwiesch le dijo a CNN que está de acuerdo en que se deben implementar restricciones para los estudiantes mientras toman las pruebas.

“Se necesitan prohibiciones”, dijo. “Después de todo, cuando le das un título a un médico, quieres que sepa medicina, no cómo usar un bot. Lo mismo se aplica a otras certificaciones de habilidades, incluidas las leyes y los negocios”.

Pero Terwiesch cree que, en última instancia, esta tecnología todavía tiene un lugar en el aula. “Si todo lo que tenemos es el mismo sistema educativo que antes, hemos desperdiciado una oportunidad increíble que viene con ChatGPT”, dijo.