Op dit moment is kwaliteit van toetsen een hot item in Nederland. Door de nieuwe accreditatieregels/normen van de NVAO (Nederlands-Vlaamse Accreditatie Organisatie), waarin ‘toetsing en beoordeling’ een knock-out criterium is geworden, zijn de academies, in ieder geval op Saxion, op zoek naar methoden en middelen om de kwaliteit van hun toetsen te verbeteren.
Binnen Saxion hebben we in 2010 een SIG Toetsing (Special Interest Group) opgericht waar alle academies en belanghebbende afdelingen in vertegenwoordigd zijn. Dit zijn dus niet alleen docenten, maar ook onderwijskundigen, roostermakers en medewerkers van de informatiseringdienst en het toetsbureau.
Wat me de laatste jaren heeft verbaasd is dat er vaak toetsen werden afgenomen en dat er dan alleen een cijfer werd bepaald en dat was het. Dit is vanuit het kwaliteitskader gezien een deel van het traject, de kwalitatieve analyse ontbrak nog te vaak. Het ontbreken van een dergelijke diepgaande analyse had vooral te maken met tijdsdruk (het op tijd aanleveren van cijfers) en met het ontbreken van kennis op het gebied van toetsanalyse en toetsconstructie. Daar valt in een geautomatiseerde omgeving zeker winst te halen!
Kader
In dit artikel beperk ik mij tot toetsen waarbij gebruik gemaakt worden van gesloten vraagvormen. Denk hierbij aan toetsen met MC-vragen, meer uit meer vragen, invulvragen, matrixvragen, hotspotvragen etc. Met deze toetsvorm kan je namelijk op vrij eenvoudige wijze en bij gebruikmaking van digitale tools, snel en goed, psychometrische waarden generen.
Het gaat erom dat alle psychometrische gegevens van de toets en de items kunnen worden gegenereerd.
Doordat het toetsservicesysteem niet alleen cijfers bepaalt, maar ook standaard een toets- en itemanalyse levert, ben ik nu vooral bezig om docenten en toetscommissies te trainen in het interpreteren van die analyse, om zo de toets betrouwbaarder te maken en de kwaliteit en validiteit van de vragen op een hoger niveau te brengen.
Saxion breed heb ik me in het begin vooral met de toetsorganisatie en toetstechniek bezighouden en nu dit staat als een huis zie je dat er nu vraag komt naar toetsconstructie- en toetsanalysecursussen.
Bij een academie, de AMA (Academie Mens en Arbeid), heb ik het afgelopen jaar, alle toetsen die digitaal werden afgenomen, geanalyseerd en geïnterpreteerd. Ik versta onder digitaal toetsen in dit geval niet alleen de toetsen die daadwerkelijk achter de computer zijn afgenomen maar ook alle toetsen die in ons toetsservicesysteem (TestVision) zijn aangemaakt en zijn afgenomen op papier (Teleform). Deze formulieren zijn weer in het toetsprogramma in te lezen, zodat het nakijk- en analysewerk geautomatiseerd kan plaats vinden.
Ik hoop, ga er vanuit, dat dit schooljaar bij de AMA de gesloten toetsen betrouwbaarder en van een kwalitatief hoger niveau zullen zijn dan vorig jaar. Ik denk dit na het huidige schooljaar met cijfers te kunnen onderbouwen…
De (ideale) workflow van een toets
De docent (inhoudsdeskundige) maakt de toets, legt deze voor aan de toetscommissie en deze keurt de toets goed / stelt hem bij. Deze stap gebeurt helaas lang niet altijd. Met andere woorden de toets wordt niet gecontroleerd en de docent bepaalt dus zijn eigen kwaliteit en niveau. Dan wordt de toets digitaal afgenomen en geanalyseerd. De toets wordt door een toetsexpert geïnterpreteerd, dus alleen op psychometrische waarden, en deze schrijft aan de docent zijn bevindingen/adviezen. De docent bepaald dan welke adviezen hij overneemt (hij is tenslotte de inhoudsdeskundige en de toetsverantwoordelijke) en hij bepaalt het definitieve cijfer. De veranderingen, aanpassingen van de items worden daarna verwerkt in het toetsservicessysteem zodat bij de volgende toetsafname de verbeterde items worden gebruikt.
Slag achteraf
Nu kan je zeggen: dit is allemaal wel leuk, maar moeten we de toetsitems niet al vooraf screenen. Helemaal mee eens, maar de toetscommissies en de docenten hebben in de huidige onderwijssituatie daar geen tijd voor (over).
Slag vooraf?
Diverse academies zien ook het belang van vooraf investeren in de docenten door deze een cursus toetsconstructie aan te bieden. Over een half jaar is er ook een digitale leergang toetsconstructie en toetsanalyse beschikbaar.
Wat kunnen we hiervan leren?
Als je de kwaliteit van toetsen wilt verbeteren moet je investeren in tijd, mensen en middelen. Dan zal een volgende accreditatie, waarin je als examencommissie moet aantonen hoe je de kwaliteit borgt, in ieder geval op het gebied van digitaal toetsen een “makkelijke” zaak zijn.
Alexander Kremers
Adviseur ICT&O, Voorzitter SIG Toetsing bij Saxion, Voorzitter SIG Digitaal Toetsen bij SURF
Geen opmerkingen:
Een reactie posten