Learning analytics in de praktijk

Feedbackgebruik bij formatieve toetsing van informatievaardigheden
Caroline Timmers & Jannie Braber-van den Broek, onderwijskundig adviseurs bij Saxion

Learning analytics ofwel het observeren van online gedrag van studenten binnen een elektronische leeromgeving of digitale leer- en werkomgeving kan waardevolle informatie opleveren. Bij Saxion wordt gebruik gemaakt van een computergestuurde formatieve toets informatievaardigheden. Het primaire doel van een formatieve toets is het sturen en stimuleren van leerprocessen. De formatieve toets informatievaardigheden maakt deel uit van het onderwijs in onderzoeksvaardigheden bij verschillende opleidingen van Saxion. De toets biedt studenten de mogelijkheid hun eigen kennis en inzichten ten aanzien van informatievaardigheden te testen. Na afloop van de toets krijgt de student een resultatenpagina te zien waarop per vraag zichtbaar is of deze juist of onjuist is beantwoord (zie figuur 1). Voor uitgebreide feedback kan de student per vraag doorklikken voor het juiste antwoord en een toelichting hierop (zie figuur 2).



Figuur 1: Overzicht van juist en onjuist beantwoorde vragen

Figuur 2: Voorbeeld van een pop-up scherm met uitgebreide feedback

Om uit te vinden of en in welke mate studenten gebruik maken van de uitgebreide feedback is een systeem ontwikkeld. Dit systeem observeert, of beter logt, het feedbackgedrag van studenten. Per student wordt gelogd of deze een vraag juist of onjuist beantwoordt én of de bijbehorende uitgebreide feedback is geraadpleegd. De gelogde data geven informatie over …:

· …de mate waarin studenten gebruik maken van de uitgebreide feedback. Deze data laat zien in hoeverre het toevoegen van uitgebreide feedback een zinvolle tijdsinvestering is.

· …de relatie tussen het juist/onjuist beantwoorden van de vraag en het raadplegen van uitgebreide feedback. Deze data laat zien in hoeverre de moeilijkheid van een formatieve toets het feedbackgebruik van studenten beïnvloed.

· …de relatie tussen de lengte van de toets (10. 15, of 20 multiplechoicevragen) en het raadplegen van uitgebreide feedback. Deze data laat zien in hoeverre de lengte van een formatieve toets het feedbackgebruik van studenten beïnvloed.

Uit analyse bleek dat het feedbackgedrag sterk verschilde per student [1]. De ene student raadpleegde alle uitgebreide feedback, terwijl een andere student alleen uitgebreide feedback raadpleegde voor de door hem onjuist beantwoorde vragen. Ongeveer 25% van de studenten bekeek alleen de resultatenpagina en raadpleegde geen uitgebreide feedback. De overige 75% van de studenten raadpleegde uitgebreide feedback voor 1 of meer vragen. Studenten raadplegen vooral uitgebreide feedback voor onjuist beantwoorde vragen. Dit suggereert dat een moeilijke formatieve toets studenten meer aanzet tot het raadplegen van uitgebreide feedback dan een makkelijke. De lengte van de formatieve toets bleek ook van invloed op het feedbackgedrag; bij de langere toetsen neemt het percentage gebruikte feedback af. Deze onderzoeksresultaten wijzen erop dat het raadzaam kan zijn om formatieve toetsen (over dit onderwerp) kort te houden. Samenvattend: over het algemeen zet een korte en moeilijke formatieve toets studenten meer aan tot het raadplegen van uitgebreide feedback dan een makkelijke lange formatieve toets.

Observaties van online gedrag van studenten binnen een elektronische leeromgeving of digitale leer- en werkomgeving winnen aan waarde als deze gekoppeld kunnen worden aan kenmerken van de gebruiker en de leeromgeving. Wanneer bijvoorbeeld de taak-specifieke motivatie van studenten bekend is, dan kan het gelogde gedrag van studenten diepgaander geanalyseerd worden [1]. Kortom, voor diepgaandere analyses van gelogde gegevens is aanvullende informatie nodig. Het is hierbij de kunst om de aanvullende informatie op zo’n manier te verzamelen dat de gelogde gegevens en de aanvullende informatie met elkaar gecombineerd kunnen worden.

Referenties
[1] Timmers, C. F., & Veldkamp, B. P. (2011). Attention paid to feedback provided by a computer-based assessment for learning on information literacy Computers & Education, 56(3), 923-930.
[2] Braber-Van den Broek, J. A. (2011). De rol van taakmotivatie bij het gebruik van feedback in formatieve toetsing van informatievaardigheden. Radboud Universiteit, Nijmegen.