woensdag 14 september 2011

SURF seminar “hoe selecteer ik een digitaal toetssysteem?

Gisteren was ik op de SURF seminar over “toetsitemafnamesystemen”. De opzet van de dag was er een waar ik voor af een goed gevoel bij had. Drie presentaties uit de praktijk, pitches van 9 leveranciers of eigenlijk nog beter de pitches werden door gebruikers van het systeem gedaan en de leveranciers zelf mochten zich op een “markt” presenteren. Een “vragen uit de zaal sessie” van aanwezigen aan de leveranciers. Een mooi overzichtsboekje wat de leveranciers te bieden hebben. De zaal was precies vol (ik schat zo’n kleine 100 aanwezigen) en niet veel hen zijn voor het eind van de dag weggegaan. Een goed teken.

Een aantal zaken zijn me deze dag bijgebleven, die ik graag met u deel:
1. De ontwikkelingen in toetsafnameland gaan langzaam, het duurt een tijd voordat de grote “volgersgroep” overtuigd is
2. Er is te weinig deskundigheid bij docenten als het gaat om het maken van toetsvragen, en toch doen ze dit al jaren.......
3. Niemand in de zaal was financieel eigenaar/beslisser (hoewel een leverancier zich dat wel voelde…..)
4. Iedereen is op zoek hoe je nu grootschalig gelijktijdig summatief kunt toetsen, de leverancier die dit oplost is spekkoper (denk ik).
5. Autorisatie en dus individuele afname is een wens en er is hoop, stemherkenning. De stem kan aan een persoon gekoppeld worden, de antwoorden niet intypen maar inspreken (critici, zullen dan wel weer beginnen over spieken, voorfluisteren, enzovoort, maar we komen er straks wel uit).
6. Niemand rept over het feit dat deze vorm van toetsing wel eens achterhaald zou kunnen zijn. Substitutie van papier naar digitaal. Past dat nog wel in deze onderwijstijd. Nu volgens de aanwezigen dus wel, anders had er tenminste iemand wat over geroepen, toch?
7. Naast de bekende ook een paar nieuwe spelers in de markt, ik heb geen aandelen maar voorspel Quayn, ondanks de onmogelijke naam een mooie toekomst, niet alleen omdat het nieuwe toetsinzichten serviced en daardoor toekomstbestendig is (delen van vragenlijsten met anderen!, tabletafnames, het is een webservice, secure als het moet enz.) maar ook, omdat het uit de “stal” van Wintoets komt. Adaptief toetsen lijkt een makkie en koppelingen binnen DLO’s ook, nou ja ga zelf maar eens kijken. Waar nog eens wat verder over gedacht kan worden is de prijsstelling, die is wat aan de hoge kant, ik zou zeggen: gauw met SURF/Kennisnet om tafel om over licentieprijzen te spreken.
8. Een mooi samenwerkingsinitiatief blijft "Leerstation zorg". Het gaat hier juist om de content, dit initiatief doorzetten naar andere domeinen, doen! Past misschien ook wel goed in de SURF COnext initiatieven.

Verder zou ik vooral de SURF site in de gaten houden, wanneer je in dit onderwerp geïnteresseerd bent. En natuurlijk ook de LinkedIn groep Digitaal Toetsen van de Special Interest Group Digitaal Toetsen van SURF.

Organisatie dank en het was een leerzame dag, nu de follow up organiseren, hoe trekken we samen op, hoe pakken we de knelpunten aan en laten we vooral werk maken van co-creatie op het vlak van toetsitembanken, een mooie taak voor de SIG

En als ik dan toch bezig ben: organiseer nog zo’n dag rondom toetsing gericht op alle andere toetsvormen, aandacht voor formatief toetsen, talentontwikkeling, proces, dashboards, ik geef me op om er over mee te denken/organiseren.

4 opmerkingen:

  1. Deze discussie speelt al sinds de introductie van Hot Potatoes. Jaren geleden is geconcludeerd dat toetsprogramma's als QMP geen meerwaarde hebben ten opzichte van ELO's. Immers, in een professionele ELO kan grootschalig worden getoetst.
    Wat doen docenten met hun toetsenbanken van honderden vragen als beleidsmakers besluiten een nieuw toetssysteem te selecteren?
    Docenten huiveren voor dit scenario, waardoor digitaal toetsen moeilijk van de grond komt.

    BeantwoordenVerwijderen
  2. @Eus, als beleidsmakers besluiten een nieuw toetssysteem te selecteren zijn die ook slim genoeg om te bedenken dat het converteren van een bestaande itembank een must is. Hangt dus van het pakket van eisen af. Enne over grootschalig toetsen vanuit een ELO..ach er is een verschil tussen toetsen en toetsen

    BeantwoordenVerwijderen
  3. @Eus, ja als je wat langer meeloopt krijg je regelmatig een deja vu. Heb je misschien de documenten nog waarin staat dat dergelijke toetsprogramma's geen meerwaarde hebben tov ELO's?
    Wat mij wat irriteert is dat wanneer de goe gemeenschap (uit)eindelijk op weg is, er weer eens iemand aan een knop draait, er wordt te weinig ook echt afgemaakt. Of zoals een docent mij eens vrolijk toeriep als innovatiemanager: managers en onderwijskundigen komen en gaan, wij blijven zitten waar we zitten, het waait wel weer voorbij... joa, joa

    BeantwoordenVerwijderen
  4. @ Heino. Eind vorige eeuw waren ELO's en toetsprogramma's gescheiden werelden. Blackboard heeft deze geïntegreerd en in 2003 concludeerde de Bb gebruikersgroep dat de toetsmodule in Bb6 gelijkwaardig was aan QMP. Deze informatie stond op de Edusite, maar is helaas uit de lucht.
    Uiteraard kan QMP meer als het gaat om toetsanalyses en toetsrapportages, maar voor docenten is de tool 'Pogingstatistieken' in het Gradecenter van Blackboard voldoende. Daarmee ziet de docent eenvoudig welke vragen goed en welke vragen minder goed zijn gemaakt.

    BeantwoordenVerwijderen