Así va a actuar la URV para protegerse del fraude y el plagio con ChatGPT

Más trabajos complejos y contextualizados, pruebas para la validación de la autoría, labores prácticas como entrevistas, recogidas de testimonios, alusión a casos concretos o entregas parciales de informes para valorar más el proceso que el producto final. Son algunas medidas que la URV empezará a aplicar este curso en la evaluación de sus estudiantes con motivo de la irrupción de ChatGPT.

El Servei de Recursos Educatius y la Factoria del Centre de Recursos per a l’Aprenentatge i la Investigació-CRAI han elaborado cuatro guías para estudiantes y profesores sobre inteligencia artificial de cara a «iniciar la necesaria adaptación de los procesos de enseñanza y aprendizaje que nos impone esta tecnología disruptiva».

En los últimos meses, ha cundido un cierto temor entre los profesores a usos indebidos de la herramienta por parte del alumnado y, en algunos casos, se han detectado empleos sospechosos.

Si bien la IA está siendo ya cada vez más recurrida en el aula para múltiples aplicaciones en educación, también inquieta su empleo inadecuado. «Cuando los docentes pensamos en la IA y en la evaluación de los estudiantes, lo que primero nos viene a la cabeza es el miedo al fraude académico», explica la URV, que habla de «la amenaza del incremento del fraude que la IA puede provocar». Nadie duda, eso sí, de los beneficios de estos sistemas. «Sabemos que el ChatGPT ha venido para quedarse. Son herramientas que, bien utilizadas, te pueden ayudar a aumentar la productividad», explica Jordi Castellà, profesor del Departament d’Enginyeria Informàtica i Matemàtiques en la URV.

Lo primero es pensar que la popular aplicación de chatbot facilitará el plagio de textos ajenos. Pero el conflicto va más allá. «Los profesores ya trabajamos con programas que te permiten detectar partes plagiadas de los trabajos, de forma automática. Subes un ‘pdf’, lo vinculas y tienes el tanto por ciento de coincidencia, para ver la fuente y de dónde procede ese texto. Te permite ver si ha habido una copia», indica Castellà.

Con el nuevo modelo todo se complica. «El ChatGPT crea de nuevo un texto, con menor o mayor gracia, pero ha generado una estructura, unas ideas y un flujo propios, así que no se puede seguir el rastro», apunta el profesor. Ya se han desplegado herramientas para detectar tesis, trabajos de investigación o documentos generados por modelos de IA pero estos programas se topan con inconvenientes. «Estas herramientas presentan problemas de propiedad intelectual, ya que pueden no ser transparentes con el uso que hacen de la información que les proporcionamos ni sabemos qué información trabajan para hacer esta detección», señala la URV.

El otro problema es la abundancia de falsos positivos. «Estas herramientas no son fiables, no podemos asegurar que si nos dicen que una parte de un texto está generada por IA, eso sea realmente así. Y las consecuencias de actuar en el caso de un falso positivo son graves y hay que evitarlas», añaden. Castellà alerta de que «no podemos dejar al estudiante en una situación de indefensión».

Además, el nivel de sofisticación es tal que ya hay herramientas, como explica la universidad, que «permiten modificar un texto generado por IA para que simule haber sido generado por humanos».

Garantizar las autorías

Cabe, pues, reformular la evaluación para salvar todos esos obstáculos. «Vamos a tener que cambiar los modelos porque eso de que ‘te encargo un trabajo, lo haces en casa y me lo envías’ ha quedado obsoleto. Nos va a tocar hacer un esfuerzo para ver que realmente el alumno ha alcanzado ese conocimiento, ya sea a través de pruebas escritas, orales, de validación. Dedicaremos más tiempo a a garantizar todo eso», indica Castellà.

Las guías establecen un punto de partida. Dado que la IA hará muchas de las labores de los humanos, la URV plantea «potenciar en nuestros estudiantes las capacidades cognitivas a las que la IA, al menos de momento, no llega, como el razonamiento abstracto, la creatividad, el pensamiento crítico o la comprensión emocional».

Las directrices pasan por evitar labores y aprendizajes que puedan ser asumidos por la máquina, tales como ejercicios de memorización, recuperación de hechos o datos de internet, corrección y resumen de textos, cálculos matemáticos simples o tareas de traducción sencillas. Castellà pone un ejemplo arquetípico pero que ilustra: «Por decirlo de alguna manera, el trabajo redaccional sobre los reyes godos es algo que la IA te podrá hacer y, por tanto, no tendrá demasiado sentido. De ahí que haya que cambiar».

Otra comparativa muy reveladora y recurrente es la de la aparición de las calculadoras portátiles en los años 70: «Aquello no eliminó la necesidad de realizar cálculos matemáticos, igual que la aparición de Google no hizo desaparecer la memorización de información, simplemente se redujo o menguó la importancia de estas destrezas, caminando hacia aprendizajes más competenciales».

El Servei de Recursos Educatius de la URV aconseja a los profesores pedir a ChatGPT que redacte el trabajo que han pensado para ver si lo puede hacer. Primar las referencias a diversos autores o referenciarse a cuestiones particulares o casos concretos tratados en clase son otras de las vías, así como ligar el trabajo con un debate o una labor realizada en el aula.

Una aplicación progresiva

Los cambios no van a ser inmediatos. «Se aplicará progresivamente. Hay que tener en cuenta que ChatGPT sale a finales de 2022 y en el curso pasado hubo el debate que ha acabado generando esta guía», cuenta Castellà.

Las nuevas indicaciones de la universidad no son solo restrictivas. También se ha elaborado una guía de cara al alumno para que incorpore la aplicación del lenguaje en su beneficio: declarar su uso como una fuente más y citarla correctamente o verificar la información para evitar errores o sesgos cognitivos son algunas señas.

Otra de las direcciones es el apoyo a la docencia que puede ofrecer. Manel Sanromà, profesor en el Departament d’Enginyeria Física i Matemàtiques, reconoce que «lo voy a incorporar en mis clases de álgebra lineal para resolver y discutir problemas».

Sanromà, impulsor de CIVIC Ai, un ente que pide el acceso libre y ético a la inteligencia artificial por el bien común, cree que «el fraude o el plagio en entornos científicos y tecnológicos es bastante complicado pero puede haber más efectos en grados más literarios».

Ultima la inclusión del modelo en sus clases, en una dimensión práctica: «Es capaz de resolver problemas pero a veces se puede equivocar y es fascinante discutir dónde ha fallado. Muchas veces aprendes más mirando los errores que los aciertos».

En esa línea, la guía de la Rovira i Virgili sugiere, por ejemplo, que el docente le plantee al chat que prepare casos de estudio para que el alumno los trabaje, que proponga ejercicios de terminología o que reescriba un texto para hacerlo más comprensible.

«Hará falta formación entre los profesores»

Montserrat Pinent es vicerrectora de Projectes Docents i Estudiants de la Universitat Rovira i Virgili

¿Han detectado casos de fraude con ChatGPT?

No han sido casos de denuncias formales como tales, ni cosas graves, pero hablando con compañeros te das cuenta de que sí se han detectado algunas cosas, sospechas de que ha podido haber algún uso indebido.

¿Cómo ha sido el proceso hasta la elaboración de las guías de IA?

En los últimos meses hemos estado en comunicación con otras universidades, debatiendo, reflexionando. En la URV hicimos un ‘workshop’ sobre el uso de la Inteligencia Artificial (IA) para docentes universitarios y de Secundaria. También hemos hecho actos de aire más reflexivo, con expertos, que han acabado en la elaboración de estas guías.

Son directrices para cambiar la metodología de evaluación.

De momento todo es muy nuevo y son recomendaciones. Falta ver cómo eso se materializa. Por eso, con el Institut de Ciències de l’Educació, estamos formando redes de expertos en este ámbito. Hará falta formación en el profesorado, aunque algunos ya lo han incluido en sus asignaturas .

La herramienta es positiva pero genera más riesgo de fraude académico.

Es una realidad que no tiene sentido prohibir. Hay que adaptarse a ella, por ejemplo haciendo que el estudiante pueda aportar algo que la IA no, impulsando pruebas presenciales, de validación. Se puede caer en ese fraude y por eso hacemos estas recomendaciones.

¿Será un cambio profundo?

Obliga a un cambio, pero en realidad no será tan grande. Ya existían muchas herramientas, mucho material en internet, además de nuestros programas antiplagio. Se trata de que en la valoración, el docente sea conocedor del nivel real que tiene ese alumno. La IA es un paso más, pero en ese sentido no va a suponer una revolución.

Pero el ChatGPT escapa incluso del plagio.

Va más allá. Pero hay muchas vías para poder evitar fraude. Si un alumno entrega un trabajo, le puedes hacer una prueba de validación, también comprobando si está citando convenientemente a ChatGPT en su trabajo... Se trata de dar más peso a algunas partes de la evaluación, de reconocimiento, de discusión. Quizás se tienen que priorizar más estas cosas que la resultado final de un trabajo por escrito.

¿Esas guías se aplicarán ya en este próximo curso?

Cada profesor puede ir incorporando ya esos cambios en este curso que empieza. En el año pasado no podíamos cambiar los criterios de evaluación a medio curso. Pero los docentes ya están legitimados para hacerlo. Más adelante haremos una coordinación entren enseñanzas para comprobar que hay una coherencia y una uniformidad.

El chat ofrece otros usos muy beneficiosos.

Es una herramienta buenísima, que generará muchos beneficios, pero que mal usada puede dar pie a ir hacia un terreno peligroso. Por eso tenemos que normalizar su uso, no tiene que ser algo escondido. De ahí que también hayamos hecho guías para el estudiante, para que aprendan a cómo citar.