Masterscriptie: welke toetsanalytics zijn relevant voor feedback?

Het afgelopen studiejaar heb ik, Yva, de master Onderwijswetenschappen gevolgd aan de Radboud Universiteit. In het begin van het studiejaar ben ik gestart met een masterstage bij Cito Toetsketens, die goed beviel. Omdat ik het erg naar mijn zin had, heb ik ook mijn masterscriptie geschreven bij Cito. De begeleiding tijdens de stage en het schrijven van de scriptie was fijn. Wekelijks werd er een moment ingepland om de voortgang te bespreken. Daarnaast waren alle teamleden erg behulpzaam en was de sfeer op de werkvloer goed. Zo nu en dan werd er ook een borrel georganiseerd waardoor ik al snel binding voelde met het team.

Literatuurstudie toetsanalytics

Ik ben ontzettend blij dat ik mijn scriptie heb afgerond met een mooi resultaat. In mijn literatuurstudie heb ik me verdiept in toetsanalytics, ook wel bekend als toetsdata. Toetsanalytics bieden de mogelijkheid om feedback te geven over toetsresultaten die verder gaat dan alleen slagen of zakken. Denk hierbij aan feedback over het proces van de toets, zoals hoe vaak een student een vraag heeft bekeken of gewijzigd voordat ze het definitieve antwoord selecteren. Ook kan er inhoudelijke feedback gegeven worden over hoe de student heeft gepresteerd. Maar welke toetsdata zijn eigenlijk relevant om te verzamelen voor nuttige feedback aan studenten en docenten? En hoe rapporteer je deze data op een begrijpelijke manier? Dit waren vragen waar ik me mee bezig heb gehouden tijdens mijn literatuurstudie.
In eerste instantie dacht ik dat er veel literatuur beschikbaar zou zijn over dit onderwerp, aangezien we al een tijdje digitaal toetsen waarbij er veel meer data verzameld kan worden dan alleen de resultaten. Maar tot mijn verbazing bleek er nog maar weinig bekend te zijn over welke toetsdata relevant zijn voor nuttige feedback aan studenten en docenten.

De resultaten

Uit mijn resultaten bleek echter wel dat een aantal factoren inzicht kunnen bieden in het toetsproces:
• de tijd die studenten besteden aan het beantwoorden van vragen (samen met andere factoren),
• de tijd voordat ze antwoord geven
• en de volgorde waarop ze vragen beantwoorden.
Daarnaast kan het aantal keer dat een antwoord op een vraag wordt gewijzigd informatie geven over kennislacunes.
Het bleek niet mogelijk om onderscheid te maken tussen welke data relevant is voor studenten en welke voor docenten. Verder kwam naar voren dat het helpend is om belangrijke datapunten in rapportages te benadrukken met tekst, zowel voor studenten als docenten. Dit maakt het duidelijker waar zij hun aandacht op moeten richten. Bovendien is het waardevol om grafieken en andere visualisaties te ondersteunen met tekst, zodat ze gemakkelijker te begrijpen zijn.

Van literatuur naar praktijk?

Wat kan Cito met de resultaten van het onderzoek? Jorine, scriptiebegeleider vanuit Cito, weet precies hoe zij het wil gebruiken: ‘De businessunit Toetsketens heeft veel expertise op het gebied van grootschalige toetsen en examens zoals de Inburgerings- en Staatsexamen Nt2, de Pabo toelatingstoetsen en Wiscat. De uitslagen van deze examens zijn vooral gericht op de genomen zak- slaagbeslissing. De digitalisering van toetsen en examens biedt kansen om te onderzoeken of het mogelijk en relevant is om (gezakte) kandidaten op toetsen- en examens uitgebreidere feedback te geven. De literatuurstudie van Yva laat zien dat toetsanalytics nog niet breed worden toegepast in deze toetscontext. Desalniettemin kunnen we de resultaten van de literatuurstudie gebruiken om in samenwerking met onze opdrachtgevers de vernieuwings- en innovatie wensen en mogelijkheden op het gebied van toetsanalytics en rapportage dashboards te verkennen.’