Colaboración entre docentes de una universidad alemana y una española para el desarrollo de seminarios prácticos acerca de la credibilidad de la ...
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
Actas de las Jenui, vol. 6. 2021.
Páginas: 115-122
Colaboración entre docentes de una universidad alemana y
una española para el desarrollo de seminarios prácticos
acerca de la credibilidad de la información
Marcos Fernández-Pichel1 , David Elsweiler2 , David E. Losada1 , Juan C. Pichel1
1
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela
marcosfernandez.pichel, david.losada, juancarlos.pichel@usc.es
2
Chair for Information Science, Universität Regensburg
david@elsweiler.co.uk
Resumen 1. Introducción
En esta experiencia docente, presentamos una cola- Una cuestión fundamental en la docencia universi-
boración internacional entre investigadores de la Uni- taria reside en encontrar formas de mejorar la moti-
versidad de Regensburg (Baviera, Alemania) y la Uni- vación del alumnado [2, 18]. Habitualmente, muchas
versidad de Santiago de Compostela (Galicia, Espa- actividades y trabajos planteados en el contexto de las
ña), en la que el alumnado participa en dos materias sesiones interactivas de las materias de títulos del ám-
de Ciencias de la Información. Se propone un enfoque bito de la Informática siguen pautas demasiado rígidas.
en el que los estudiantes construyen su propia com- Por ejemplo, el profesorado establece unos requisitos
prensión de las tecnologías mediante el planteamiento básicos relacionados con la resolución de un problema
de un problema en el contexto de un proyecto de in- y el alumnado analiza, diseña, implementa y prueba
vestigación. El área de interés en la que se propone el soluciones informáticas que abordan ese desafío. Es-
desafío se orienta a cómo ayudar a los usuarios finales te esquema, aunque tiene indudables beneficios para el
de las tecnologías de información a establecer la cre- desarrollo de las capacidades técnicas y tecnológicas
dibilidad de la información. Para ello, se ha trabajado del alumnado (al fin y al cabo, el profesorado estable-
con contenidos online relacionados con la pandemia de ce los requisitos en base a los retos y tecnologías que
COVID-19. entiende como más adecuadas para la formación del
futuro/a graduado/a), también presenta algunas limita-
ciones. Por ejemplo, existe el claro peligro de que el
Abstract alumnado pierda motivación por sentirse en un rol se-
cundario. El camino lo tiene esencialmente marcado y,
In this teaching experience, we present an internatio- más allá de solventar de manera pulcra las distintas fa-
nal collaboration between researchers from a German ses técnicas del proyecto, no tiene demasiada libertad
university and a Spanish university, in which students para sentirse protagonista. Otro problema relacionado
participate in two Information Science courses. An ap- es que un esquema basado en trabajos y actividades
proach is proposed in which students build their own demasiado perfiladas limita la creatividad del alumna-
understanding of technologies by posing a problem in do. Es conocida la dificultad de los títulos de Infor-
the context of a research project. The area of interest mática (y también en otros ámbitos) para trabajar al-
in which the challenge is proposed is oriented towards gunas competencias transversales, como la creatividad
how to help end-users of information technologies to [9]. Por ello, planteamos aquí una experiencia docente
establish the credibility of information. To this end, innovadora que estamos ejecutando durante el presen-
work has been done with online content related to the te semestre y que entendemos puede tener valor para
COVID-19 pandemic. mejorar la motivación del alumnado.
En concreto, se trata de combinar distintos elemen-
tos: planteamiento de problemas abiertos relacionados
Palabras clave con desafíos de investigación en el ámbito de la Recu-
peración de Información (RI), colaboración entre per-
Motivación, Creatividad, Seminarios prácticos, Traba- sonal de universidades españolas y extranjeras, orga-
jo en grupo, Colaboración internacional, Recuperación nización del alumnado en grupos para fomentar el tra-
de información, Credibilidad de la información. bajo en equipo y la proposición de ideas y soluciones
115116 Actas de las Jenui, vol. 6. 2021. Ponencias
alternativas. Se trata de una experiencia piloto en mar- ajena a todos estos avances en el área de RI. Muchos
cha por lo que no tenemos todavía información com- títulos de grado y máster en el ámbito de la Informáti-
pleta sobre su ejecución pero, en este momento, trans- ca incorporan materias o contenidos de RI. A nivel de
curridos ya varios meses desde el inicio de estas activi- grado, es habitual la existencia de materias optativas
dades, podemos confirmar el alto grado de motivación sobre RI o gestión de información no estructurada o
mostrado por el alumnado. como complemento a materias tradicionales de gestión
Cada grupo de alumnos/as se siente protagonista y de información estructurada (Bases de Datos o simi-
muy activamente lidera la proposición de soluciones e lares). A nivel de máster, las tecnologías de búsqueda
ideas innovadoras (los proyectos son más suyos). La (a veces impartidas en conjunción con materias o con-
contextualización del problema en el ámbito de retos tenidos relacionados con Procesamiento de Lenguaje
de investigación reales fomenta también la proactivi- Natural) también suelen tener presencia, tanto en más-
dad del alumnado y, por otro lado, la participación de teres generalistas en Informática o Tecnologías de la
docentes de universidades nacionales y extranjeras su- Información como en títulos de másteres más especia-
pone una combinación que el alumnado percibe co- lizados (por ejemplo, en títulos orientados a Big Data
mo valiosa. Además, esta experiencia docente puede Analytics o Inteligencia Artificial). Se trata por tanto de
no sólo producir resultados interesantes para la docen- unos contenidos formativos importantes, con presen-
cia (por ejemplo, para guiar la organización de futuros cia relevante a nivel nacional en títulos de informática
planes de sesiones interactivas en materias del ámbito y donde procede incorporar o plantearse experiencias
de la Informática) sino que también tiene potencial pa- docentes innovadoras.
ra ayudar en el desarrollo de ideas de investigación. De
hecho, los grupos de alumnos/as proponen soluciones
variadas, divergentes y complementarias que pueden 2.1. Credibilidad en el acceso a la infor-
ser valiosas a corto o medio plazo para distintas líneas mación
de investigación.
A continuación describimos el campo de las tecno- La evolución de la Web y de las redes sociales ha
logías de información en el que se enmarca esta inicia- supuesto una mejora en la accesibilidad de la informa-
tiva (Sección 2) y, seguidamente, presentamos las prin- ción, así lo confirman los datos extraídos del estudio
cipales características de la experiencia docente plan- Reuters Digital News Report 2020 de la Universidad
teada (Sección 3) y el conjunto de datos que utilizamos de Oxford [16]. En muchos aspectos, este cambio ha
como referencia (Sección 4). La Sección 5 profundiza sido positivo, permitiendo un acceso a contenidos más
en la metodología utilizada y las Secciones 6 y 7 pre- variados y a una mayor velocidad, pero también debe-
sentan brevemente el tipo de evaluación utilizada y los mos ser conscientes de los peligros que entraña. Los
resultados preliminares alcanzados. Esta ponencia ter- resultados ofrecidos por un sistema automático de bús-
mina con la presentación de las conclusiones derivadas queda pueden ser poco creíbles [1], inadecuados [6],
de esta iniciativa. o de baja calidad [17]. Esto da lugar a desinformación
(cuando el productor de contenidos de forma no inten-
cionada publica información errónea o de baja calidad)
2. Recuperación de Información o a “malinformación” (cuando el productor de infor-
mación de manera deliberada publica información fal-
La Recuperación de la Información es un campo sa, errónea o de baja calidad; esto aparece habitual-
dentro de las tecnologías de la información que abor- mente en ámbitos como el político).
da la construcción de sistemas automáticos que per- Diversos estudios previos han demostrado que es-
miten a los usuarios recuperar información de tipo no tos fenómenos pueden inducir a las personas a tomar
estructurada (por ejemplo, texto procedente de páginas decisiones erróneas, tal y como Pogacar y sus colegas
web) a partir de consultas expresadas en lenguaje na- comprobaron en su estudio de usuario [14]. En dicho
tural [3, 5, 4]. Estas consultas responden a necesidades estudio, se quería comprobar hasta qué punto las per-
de información que los usuarios tienen. sonas se ven influidas por los resultados de un motor de
Grandes corporaciones, como Google, Baidu, búsqueda acerca de tratamientos médicos. Se compro-
Yahoo! o Yandex, obtienen en la actualidad la mayor bó que los participantes cometían más decisiones in-
parte de sus ingresos de la monetización asociada a correctas cuando interactuaban con resultados de bús-
sus sistemas de búsqueda (por ejemplo, procedentes de queda sesgados hacia información incorrecta.
anuncios asociados a las búsquedas) y algunas de ellas Esto puede tener un mayor o menor impacto depen-
ocupan posiciones muy prominentes en el listado de diendo del ámbito en el que nos encontremos, pero
corporaciones de mayor capitalización bursátil a nivel es especialmente sensible cuando se trata de conteni-
mundial. dos relacionados con la salud. Los buscadores son una
La docencia universitaria en Informática no ha sido herramienta ampliamente usada para obtener consejoFernández-Pichel et al.:Colaboración entre docentes de una universidad alemana... 117
médico [8]. Además, el uso de las redes sociales co- es posible en general en el sistema universitario espa-
mo medio para informarse ha aumentado considera- ñol.
blemente a lo largo de estos años, tal y como se indica Por otra parte, ambas clases fueron diseñadas para
en el estudio de Reuters [16]. Los bulos médicos, die- abordar las temáticas del proyecto de investigación en
tas milagrosas o consejos proporcionados por personas el que colaboran investigadores de las dos universida-
no cualificadas abundan en este tipo de medios [21] y des, que se centra en el desarrollo de tecnologías para
pueden resultar altamente peligrosos si se toman como ayudar a los usuarios de los motores de búsqueda a es-
ciertos y se aplican sin la supervisión de un profesio- tablecer la credibilidad de la información relacionada
nal médico. Esto se ha hecho especialmente patente en con la pandemia de COVID-19 en la web. Además, se
el contexto de pandemia que nos ha tocado vivir, con consideró que era un tema de enorme actualidad e im-
abundante información acerca del COVID-19 y de sus portancia, lo que podía motivar en mayor medida al
tratamientos de dudosa o baja calidad [11, 13]. alumnado.
El profesor titular coordinador de ambos seminarios
pertenece a la organización alemana, así como uno de
3. Experiencia docente los tutores o asistentes de prácticas. Además, un docto-
rando de la USC actuó como tutor adicional externo y
Esta iniciativa docente se puso en marcha en la Uni- distintos miembros del equipo colaboraron en la defini-
versidad de Regensburg, pero nos planteamos, además, ción de los retos y experimentos a plantear al alumnado
en un futuro próximo trasladarla a la Universidad de germano. La situación derivada de la pandemia provo-
Santiago de Compostela en el marco de una asignatura có que toda esta docencia fuese impartida de modo re-
del Máster Interuniversitario en Tecnologías de Aná- moto, lo que facilitó la participación activa del tutor
lisis de Datos Masivos: Big Data. El germen de esta español en las sesiones de seminario de ambos grupos.
colaboración radica en muchos años de investigación
conjunta entre las dos instituciones. Además, recien-
temente, uno de los autores de esta ponencia realizó 3.1. Objetivos
una estancia de investigación en Alemania que permi-
tió fortalecer los lazos docentes e investigadores entre Muchas materias del ámbito de los Sistemas de In-
ambas universidades. Esta experiencia permitió cono- formación (y en general de los títulos de Informática
cer de cerca las similitudes y diferencias entre los mo- o similares) adoptan un enfoque prescriptivo y reduc-
delos docentes utilizados en ambas universidades. A cionista. El profesorado define una serie de componen-
partir de ahí, diseñamos la colaboración docente que tes del sistema o comportamientos y comunica conoci-
se describe en esta sección. mientos específicos y predefinidos sobre ellos. En es-
La experiencia se organizó en torno a dos seminarios ta experiencia docente, se utilizó un enfoque comple-
del grado de Ciencias de la Información de la Universi- mentario en el que el alumnado impulsa su aprendi-
dad de Regensburg (en la terminología alemana se uti- zaje para construir su propia comprensión [19] de las
liza habitualmente la denominación seminario para lo tecnologías y los comportamientos en el contexto de
que en la universidad española denominamos, de modo un proyecto de investigación. La idea era enriquecer el
más general, como docencia interactiva). Un seminario proceso de aprendizaje mediante un modelo en el que
se centraba en Understanding Information Behaviour y alumnado se sintiese más protagonista y participase de
otro en Information Retrieval Research in Practice. El manera activa en retos asociados a temas del estado del
primero incluía a alumnado con un perfil menos técni- arte en investigación.
co (el/la alumno/a tipo inscrito/a en este seminario se- Desde el punto de vista pedagógico, nuestro enfoque
ría lo que en España entenderíamos habitualmente co- se basa en los principios constructivistas del aprendi-
mo estudiante de grado en Ciencias de la Información) zaje, en los que el conocimiento se construye sobre la
mientras que el segundo seminario incluía a alumnado base de la actividad mental. Los estudiantes buscan la
con un perfil más técnico (el/la alumno/a tipo inscri- comprensión a partir de un compromiso activo con los
to/a en este seminario sería un/a estudiante de grado en contenidos [23]. Nos interesa especialmente el cons-
Ingeniería Informática o similar). Además, el primer tructivismo social, en el que los grupos de estudian-
seminario contaba con 70 alumnos/as, mientras que el tes construyen su propia comprensión de la recupera-
segundo tenía 26 matriculados/as. ción de información y del comportamiento informati-
Se debe tener en cuenta que existen algunas diferen- vo. Hay que destacar que el constructivismo social no
cias entre el sistema universitario alemán y el español. da lugar necesariamente a comprensión correcta (en
En particular, estos seminarios en Alemania no se ofer- términos de los objetivos del profesor), sino que el pro-
tan solamente a alumnos/as de grado, sino que también ceso del constructivismo social ofrece una forma de
se pueden matricular en ellos alumnos/as de máster que entender cómo los estudiantes utilizan el material im-
deseen completar su formación. Sin embargo, esto no partido en las clases anteriores por el profesorado para118 Actas de las Jenui, vol. 6. 2021. Ponencias
construir su propio modelo mental de la Recuperación
de Información y el Comportamiento Informativo.
En la práctica, lo que se persigue es que el alumna-
do derive sus propias preguntas de investigación a par-
tir del análisis de la literatura. Dar respuesta a dichas
preguntas requiere que utilicen y desarrollen tecnolo-
gías de Recuperación de la Información y que realicen
pequeños experimentos controlados para comprender
sus efectos. De este modo, haciéndolos partícipes de
un tema abierto de investigación, se espera que la mo-
tivación e implicación del alumnado aumente [2, 19]. Figura 1: Consulta de ejemplo de la TREC 2020
Por otra parte, se persigue también el desarrollo de Health Misinformation Track.
ciertas competencias transversales que pueden ser de
gran utilidad para el alumnado en su futura vida labo- ben nuevas ideas de investigación. Las colecciones de
ral. Por ejemplo, la evaluación crítica de contenidos, la TREC son puestas a disposición de la comunidad cien-
búsqueda de información o la correcta comprensión de tífica, de modo que no sólo los participantes en cada
un texto científico, entre otros. edición de TREC pueden utilizar los datos sino que
En la Sección 5 se detallará la metodología de las muchos otros pueden después reutilizar los datos pa-
clases, que es muy similar para ambos seminarios, pero ra evaluar sus sistemas.
presenta algunas diferencias en la parte final, ya que los La colección de la TREC 2020 Health Misinforma-
objetivos de aprendizaje no son los mismos. tion Track es un corpus de noticias relacionadas con
el COVID-19 que fueron extraídas en el periodo com-
prendido entre el 1 de enero de 2020 y el 30 de abril
4. Conjunto de datos de 2020. Adicionalmente, los organizadores de la ta-
rea proporcionaron una serie de consultas relacionadas
El objetivo de los retos planteados en estos semi- con el COVID-19 y sus tratamientos, véase Figura 1.
narios era ayudar a comprender mejor la credibilidad El objetivo principal de la tarea era encontrar los do-
de la información relacionada con el COVID-19 en la cumentos dentro del corpus que respondiesen de ma-
web, así como entender la forma en que los usuarios de nera correcta a las necesidades de información expre-
la web perciben la información recuperada por un sis- sadas en dichas consultas. Para ello, los organizadores
tema de búsqueda. Para ello, se planteó que cada grupo del TREC utilizaron asesores humanos que etiquetaron
de alumnos/as llevase a cabo un estudio de usuario so- los documentos en base a tres dimensiones diferentes:
bre una determinada pregunta de investigación que se relevancia (si el documento es útil para una determina-
quisiera testear. Un estudio de usuario es algo muy co- da consulta), credibilidad (si la fuente de información
mún en el área de RI interactiva. Por ejemplo, si quere- es creíble) y correctitud (si el documento responde de
mos evaluar una nueva visualización de resultados de manera correcta, según la evidencia científica del mo-
un sistema de RI podemos organizar grupos de perso- mento, a la consulta).
nas que utilicen el sistema, monitorizar su comporta- Los documentos se encuentran en formato HTML.
miento o rendimiento para hacer determinadas tareas Por tanto, para poder ser utilizados por el alumnado,
y, opcionalmente, hacerles encuestas o entrevistas tras se llevó a cabo un preprocesado de los mismos y se
haber realizado el experimento. extrajeron los pasajes más relevantes de un subconjun-
Resultaba necesario utilizar un conjunto de datos de to de ellos. Con esto, se pretendía imitar los snippets
referencia para que el alumnado trabajase sobre los que nos podemos encontrar en la página de resultados
mismos, lanzando sus propias preguntas de investiga- de cualquier buscador. El doctorando de la universidad
ción sobre la credibilidad de la información y las veri- española fue el encargado de realizar esta tarea y para
ficase con experimentos y estudios de usuario. La co- ello utilizó la tecnología neuronal MonoT52 .
lección elegida fue el conjunto de datos utilizado en la
TREC 2020 Health Misinformation Track1 . TREC es
un foro de referencia mundial en la evaluación de sis- 5. Metodología de los seminarios
temas de búsquedas que se celebra anualmente en Es-
tados Unidos. Está organizado en una serie de tracks Los dos seminarios siguieron una metodología muy
que plantean retos experimentales y proporcionan co- similar, tan sólo diferenciándose en las etapas fina-
lecciones de datos para que los participantes (equipos les. La principal diferencia entre ambos es el objeti-
de investigación y compañías de todo el mundo) prue- vo, ya que Understanding Information Behaviour tiene
1 https://trec-health-misinfo.github.io/ 2 https://github.com/castorini/pygaggleFernández-Pichel et al.:Colaboración entre docentes de una universidad alemana... 119
La azul se corresponde con un grupo de la clase me-
nos técnica, mientras que la roja, con un grupo de la
más técnica. La primera de ellas plantea la posibilidad
de que los usuarios con un estilo cognitivo más racio-
nal sean capaces de evaluar mejor la credibilidad de la
información. Mientras que la segunda pretende deter-
Figura 2: Ejemplo real de preguntas de investigación minar la influencia de la simplificación automática de
generadas por dos grupos; azul, clase menos técnica, y los textos en la detección de la credibilidad.
rojo, más técnica. Una vez seleccionadas las preguntas de investiga-
ción a testear, los distintos grupos tuvieron que mo-
un propósito menos técnico centrándose en compren- tivarla y justificarla utilizando la literatura existente y
der cómo los usuarios finales evalúan la credibilidad estudiada en las semanas previas.
de la información; mientras que Information Retrieval
Research in Practice se centra en investigar solucio-
nes automáticas para la detección de la información no
5.3. Presentación del conjunto de datos
creíble. A continuación, se detallan las fases que se si- La siguiente semana se presentaron los datos del
guieron en el desarrollo de estos seminarios. TREC al alumnado. El encargado de hacerlo fue el
doctorando español, más familiarizado con ellos y res-
5.1. Revisión de la literatura ponsable de la parte técnica.
Llegados a este punto, es cuando surge la primera
Las 4-5 primeras semanas fueron dedicadas a una diferencia entre ambas clases. El alumnado de Unders-
revisión del estado del arte en la literatura en temas re- tanding Information Behaviour podía utilizar el con-
lacionados con la credibilidad de la información. En la junto de datos del TREC para sus experimentos o ir-
primera sesión, se llevó a cabo un brainstorming en el se a otro totalmente diferente, siempre y cuando es-
que participó tanto el alumnado como el profesor titu- tuviese relacionado con el COVID-19. Mientras que
lar y los tutores. La idea principal consistía en identifi- los/as alumnos/as de Information Retrieval Research
car temas de investigación o ideas relacionadas con el in Practice (clase más técnica) estaban sujetos a unas
concepto de credibilidad, en general, y credibilidad de restricciones mayores. En este caso, se seleccionaron
la información relacionada con la salud, en particular. seis consultas, como la de la Figura 1, y se escogieron
Una vez hecho esto, se organizó al alumnado en gru- cuatro documentos correctos y cuatro documentos in-
pos de 3-4 personas, donde cada grupo debía encontrar correctos para cada una de ellas (recuérdese que la co-
artículos relacionados con un tema concreto y analizar lección de documentos está etiquetada en términos de
dichos artículos. Para poder llevar a cabo correctamen- corrección, además de en otras dimensiones), generán-
te esa fase de análisis y comprensión de la literatura, dose sus snippets o resúmenes automáticos. El objetivo
previamente el profesor principal leyó y analizó un ar- era que todos los grupos contasen con la misma infor-
tículo científico para toda la clase. mación de partida (resúmenes tal y como aparecerían
Algunos de los artículos que más se utilizaron y más en la página de resultados de un sistema de búsqueda)
se discutieron fueron [7, 10, 12, 15, 20, 22, 24], entre y tuvieran que diseñar su experimento sobre el mismo
otros. conjunto de snippets. Este entorno común de colección
centralizada de datos y retos asociados dio al semina-
5.2. Identificación de nuevas preguntas rio un cierto perfil competitivo que demostró ser muy
de investigación valioso para fomentar la motivación del alumnado.
Por último, cabe aclarar que para la selección de las
Las dos siguientes semanas se emplearon en iden- seis consultas base también se requirió una participa-
tificar preguntas de investigación que todavía no estu- ción activa del alumnado. Para ello, se llevó a cabo una
viesen resueltas, o al menos no completamente, por la encuesta para determinar su impresión acerca de las
literatura preexistente. preguntas planteadas en las consultas del TREC, véase
Cada uno de los grupos (variaron con respecto a los Figura 3. El principal objetivo consistía en identificar
de las semanas anteriores, para que el alumnado entra- las que causasen más discordancia en cuanto a su co-
se en contacto con el mayor número de temas posible) rrección y utilizarlas en los experimentos.
realizó una especie de brainstorming, del que trató de
obtener posibles preguntas o líneas de investigación re-
5.4. Diseño de los experimentos
lacionadas con la credibilidad y con el tema del grupo
concreto. Las dos siguientes semanas del semestre se dedica-
En la Figura 2 se pueden ver dos ejemplos reales de ron al diseño de los estudios de usuario por parte de
preguntas de investigación generadas por el alumnado. cada uno de los grupos.120 Actas de las Jenui, vol. 6. 2021. Ponencias
Figura 3: Resultado de la encuesta para una consulta
concreta. Figura 4: Las dos condiciones del estudio de usuario
de uno de los grupos: snippet original (arriba) y sim-
En la clase de Information Retrieval Research in plificado (abajo)
Practice, se trató que las preguntas de investigación es-
tuviesen más orientadas a aspectos técnicos y que im- Para la mayoría de grupos, no existe ninguna restric-
plicasen el desarrollo de algún sistema automático para ción acerca de estos participantes, pero para algunos sí
la detección de información no creíble, como puede ser que es necesario que pertenezcan a un target específi-
un algoritmo de Inteligencia Artificial (IA). La utilidad co (por ejemplo, con un cierto nivel de estudios) para la
o validez de este sistema será evaluada por los partici- correcta validación de sus preguntas de investigación.
pantes en el estudio. Sin embargo, sí que es altamente recomendable que
Por otra parte, las preguntas de investigación del la muestra de participantes sea lo más variada posible
alumnado de Understanding Information Behaviour para que los resultados también sean generalizables, y
estaban más centradas en el comportamiento de los así se le transimitió al alumnado.
usuarios a la hora de determinar la credibilidad de un
cierto contenido online. Es decir, era una orientación 6. Evaluación
más basada en la persona y menos basada en tecnolo-
gía automática de estimación de credibilidad. De nue- Cada grupo deberá plasmar los resultados de sus ex-
vo, serán los resultados del estudio los que permitan perimentos en un artículo en formato ACM Short Pa-
dar respuesta a si un determinado comportamiento fa- per. Para ello, deben plantear sus preguntas de investi-
vorece o perjudica la evaluación de la credibilidad por gación y motivarlas, tal y como se explicó en la Sec-
parte de los usuarios finales. ción 5.2. A continuación, deben describir el experi-
Entre las tareas comunes de esta fase para ambas cla- mento que han diseñado y cómo lo han llevado a ca-
ses destaca la elaboración de un cuestionario incluyen- bo. Por último, tendrán que presentar los resultados y
do las diferentes condiciones del estudio de usuario. En concluir si estos soportan o no su preguntas de investi-
este ámbito, por condición nos referimos a cada una de gación iniciales. Este procedimiento de evaluación fa-
las variantes del sistema que se quieren testear. En la vorece trabajar competencias de comunicación escrita.
Figura 4, se pueden observar las dos condiciones de Y a lo largo del semestre, han participado activamente
uno de los grupos: el snippet sin modificar (arriba) o además en la proposición de ideas y debate de alterna-
simplificado (abajo). tivas. Esto ha fomentado el desarrollo de competencias
Por parte del profesorado, en esta fase se incidió es- de comunicación oral.
pecialmente en los errores más comunes a la hora de La evaluación por parte del profesorado no tendrá
conducir un estudio de usuario: la no disposición alea- en cuenta si se consigue verificar o no las preguntas de
toria de las preguntas pudiendo así generar algún tipo investigación, sino que se valorará el haber seguido un
de sesgo, la falta de claridad a la hora de formular las correcto procedimiento para diseñar los experimentos
preguntas, la selección del tipo de estudio (si el mismo y la utilización de un lenguaje científico apropiado en
participante va a ver todas las condiciones o sólo una), el artículo final.
etc.
7. Resultados
5.5. Ejecución de los experimentos
Tal y como se comentó previamente, el semestre en
En el momento de escribir esta ponencia, todavía Alemania todavía no ha finalizado y el alumnado aún
quedan cinco semanas de semestre y, por tanto, los tiene margen para finalizar sus experimentos. Una vez
estudios todavía no están finalizados. Actualmente, el completados, se podrá dar respuesta a las preguntas de
alumnado se encuentra en una fase de captación de par- investigación planteadas y, en base a las calificaciones,
ticipantes para la realización de los estudios de usuario. se podrá determinar cuantitativamente la mejoría de laFernández-Pichel et al.:Colaboración entre docentes de una universidad alemana... 121
Figura 5: Puntuaciones para la pregunta “Mi interés Figura 6: Puntuaciones para la pregunta “El profeso-
por este tema científico aumentó” (la máxima puntua- rado consigue crear una atmósfera estimulante y moti-
ción es 1) vante” (la máxima puntuación es 1)
metodología descrita en esta ponencia con respecto a sarrolla su propia comprensión de los contenidos en el
otras utilizadas previamente. contexto de retos relacionados con temas de investiga-
Lo que sí se puede destacar es la alta calidad de las ción. El ámbito de estudio es la determinación de la
motivaciones redactadas por el alumnado, que ilustran credibilidad de contenidos online relacionados con el
el proceso cognitivo y pensamiento racional aplicado COVID-19 y sus tratamientos. La experiencia, aún en
por todos los grupos. desarrollo, se valora como muy positiva, al mostrar el
En la clase más técnica, los/as estudiantes demostra- alumnado un alto grado de implicación y motivación.
ron un firme conocimiento de la literatura y pudieron El objetivo principal es exportar este tipo de meto-
desarrollar las habilidades necesarias para implemen- dologías a las enseñanzas universitarias de Ingeniería
tar soluciones técnicas que apoyan la tarea de búsque- Informática en España, donde es mucho menos común
da de los usuarios/as. Para ello, utilizaron desde técni- ver una aproximación de este tipo. En el curso 2020/21
cas de PLN hasta Aprendizaje Automático. Del mismo esto se ha puesto en marcha en Alemania como expe-
modo, en la clase menos técnica los/as estudiantes de- riencia piloto pero pensamos importarlo, quizás en una
mostraron comprender los elementos teóricos que in- materia de nivel de máster, ya que en la USC conta-
fluyen en el comportamiento de la búsqueda web. Un mos con un Máster Interuniversitario en Tecnologías
resultado general positivo fue que la argumentación de Análisis de Datos Masivos: Big Data que puede
científica y el diseño empírico fueron sólidos, así co- ofrecer el encaje perfecto para este tipo de docencia.
mo el análisis estadístico de los datos. Por otra parte, esta actividad forma parte de una co-
Adicionalmente, se realizó una encuesta de satisfac- laboración internacional de investigación activa entre
ción con la docencia en ambos grupos. Por parte de ambas entidades. En este sentido, se desea determinar
la clase más técnica participaron 24 alumnos/as, mien- qué preguntas de investigación son más valiosas para a
tras que de la menos técnica la cubrieron 47. En ge- posteriori ser utilizadas en un estudio de usuario mayor
neral, los resultados fueron muy positivos en todas las que pudiera tener impacto en los proyectos de investi-
dimensiones evaluadas. En la Figura 5, se muestran las gación que estamos llevando a cabo. Con esto, se pre-
puntuaciones para la pregunta “Mi interés por este te- tende poner en valor la relación directa entre docencia
ma científico aumentó”. Cabe aclarar que en Alemania e investigación que muchas veces no es tan patente.
el sistema de puntuación es el inverso al nuestro (el 1
se corresponde con la máxima puntuación). Por otra
parte, en la Figura 6, se puede apreciar que la mayo- Agradecimientos
ría de los/as alumnos/as consideran que con esta me-
todología el profesorado consigue crear una atmósfera Este trabajo ha sido financiado por FEDER/Ministerio
estimulante y motivante. de Ciencia, Innovación y Universidades - Agencia
Por último, en esta encuesta también se permitía la Estatal de Investigación (RTI2018-093336-B-C21), y
inclusión de comentarios en texto libre y algunos de también ha recibido apoyo financiero de la Consellería
ellos fueron: “Espectacular. Me ha gustado mucho este de Educación, Universidade e Formación Profesional
curso. Me gustó que investigadores internacionales es- (acreditación 2019-2022 ED431G-2019/04, ED431C
tuvieran vinculados al curso”, “Superinteresante, siem- 2018/29, ED431C 2018/19) y de los fondos FEDER,
pre útil porque siempre recibes ayuda del profesor o que reconocen al CiTIUS de la USC como Centro de
de los asistentes, muy bien supervisado” o “Seminario Investigación del Sistema Universitario de Galicia.
muy interesante e instructivo”.
Referencias
8. Conclusiones
[1] Mustafa Abualsaud y Mark D Smucker. Exposu-
En esta ponencia se ha descrito una novedosa ex- re and order effects of misinformation on health
periencia docente colaborativa entre la Universidad de search decisions. En Proc. of the 42nd Int. ACM
Regensburg y la Universidad de Santiago de Compos- SIGIR Conf. on Research and Development in In-
tela. Se utiliza un enfoque en el que el alumnado de- formation Retrieval, Roma, 2019.122 Actas de las Jenui, vol. 6. 2021. Ponencias
[2] Mercedes Marqués Andrés, Vicente Ramón To- accuracy-nudge intervention. Psychological
más, y Ismael Sanz Blasco. Tratando de fomen- science, 31(7):770–780, 2020.
tar la motivación del estudiante. En X Jornadas [14] Frances A Pogacar, Amira Ghenai, Mark D
de Enseñanza Universitaria de la Informática Smucker, y Charles LA Clarke. The positive and
(JENUI)., páginas 329–336. Thomson-Paraninfo, negative influence of search results on people’s
2004. decisions about the efficacy of medical treat-
[3] Ricardo Baeza-Yates, Berthier Ribeiro-Neto, ments. En Proc. of the ACM SIGIR Int. Conf.
et al. Modern information retrieval, volume 463. on Theory of Information Retrieval, páginas 209–
ACM press Nueva York, 1999. 216, 2017.
[4] Fidel Cacheda Seijo, Juan Manuel Fernández Lu- [15] Kashyap Popat, Subhabrata Mukherjee, Jan-
na, y Juan Francisco Huete Guadix. Recupera- nik Strötgen, y Gerhard Weikum. Where the
ción de información: un enfoque práctico y mul- truth lies: Explaining the credibility of emerging
tidisciplinar. Ra-Ma, 2011. claims on the web and social media. En Proc. of
[5] W Bruce Croft, Donald Metzler, y Trevor Stroh- the 26th Int. Conf. on World Wide Web Compa-
man. Search engines: Information retrieval in nion, páginas 1003–1012, 2017.
practice, volume 520. Addison-Wesley Reading, [16] Reuters Insitute, University of Oxford. Reuters
2010. Digital News Report 2020, 2020 (accedida 16 de
[6] Gunther Eysenbach. Infodemiology: The epi- Noviembre, 2020).
demiology of (mis) information. The American [17] Soo Young Rieh. Judgment of information qua-
journal of medicine, 113(9):763–765, 2002. lity and cognitive authority in the web. Journal of
[7] Brian J Fogg. Prominence-interpretation theory: the American society for information science and
Explaining how people assess credibility online. technology, 53(2):145–161, 2002.
En CHI’03 extended abstracts on human factors [18] Silvia Rueda, J Ignacio Panach, Miriam Gil, Ser-
in computing systems, páginas 722–723, 2003. gio Casas, y Mariano Pérez. Cuando la clase in-
[8] Susannah Fox. Health topics: 80 % of internet vertida no es suficiente: estrategias para motivar
users look for health information online. Pew In- al alumnado en ingeniería del software. Actas de
ternet & American Life Project, 2011. las Jenui, 5:125–132, 2020.
[9] Mariana-Daniela González-Zamar, Emilio Abad- [19] Ian Ruthven, David Elsweiler, y Emma Nicol.
Segura, et al. Evidencias del aprendizaje creati- Designing for users: an holistic approach to tea-
vo en la educación superior. Reencuentro. Análi- ching information retrieval. En 2nd Int. Workshop
sis de problemas universitarios, 31(77):111–132, on Teaching and Learning of Information Retrie-
2019. val (TLIR), páginas 1–4, 2008.
[10] Carolin Hahnel, Frank Goldhammer, Ulf Kröhne, [20] Julia Schwarz y Meredith Morris. Augmenting
y Johannes Naumann. The role of reading skills web pages and search results to support credibi-
in the evaluation of online information gathered lity assessment. En Proceedings of the SIGCHI
from search engine environments. Computers in conference on human factors in computing sys-
Human Behavior, 78:223–234, 2018. tems, páginas 1245–1254, 2011.
[11] Md Saiful Islam, Tonmoy Sarkar, Sazzad Hossain [21] Karishma Sharma, Feng Qian, He Jiang, Natali
Khan, Abu-Hena Mostofa Kamal, SM Murshid Ruchansky, Ming Zhang, y Yan Liu. Combating
Hasan, Alamgir Kabir, Dalia Yeasmin, Moham- fake news: A survey on identification and mitiga-
mad Ariful Islam, Kamal Ibne Amin Chowdhury, tion techniques. ACM Trans. on Intelligent Sys-
Kazi Selim Anwar, et al. Covid-19–related in- tems and Technology (TIST), 10(3):1–42, 2019.
fodemic and its impact on public health: A glo- [22] Parikshit Sondhi, VG Vinod Vydiswaran, y
bal social media analysis. The American Journal ChengXiang Zhai. Reliability prediction of web-
of Tropical Medicine and Hygiene, 103(4):1621– pages in the medical domain. En European confe-
1629, 2020. rence on information retrieval, páginas 219–231.
[12] Michal Kakol, Radoslaw Nielek, y Adam Wierz- Springer, 2012.
bicki. Understanding and predicting web con- [23] Ernst Von Glasersfeld. Cognition, construction
tent credibility using the content credibility cor- of knowledge, and teaching. En Constructivism
pus. Information Processing & Management, in science education, páginas 11–30. Springer,
53(5):1043–1061, 2017. 1998.
[13] Gordon Pennycook, Jonathon McPhetres, [24] Yusuke Yamamoto y Katsumi Tanaka. Enhancing
Yunhao Zhang, Jackson G Lu, y David G Rand. credibility judgment of web search results. En
Fighting covid-19 misinformation on social Proc. of the SIGCHI Conf. on Human Factors in
media: Experimental evidence for a scalable Computing Systems, páginas 1235–1244, 2011.También puede leer
