Meer en betere feedback met behulp van data
Op school worden op tal van manieren data verzameld. Leraren observeren bijvoorbeeld tijdens instructies, kijken het werk van de leerlingen na en nemen methode- en niet-methodegebonden toetsen af. Dat leidt tot enorme hoeveelheden data. Maar hoe breng je verschillende databronnen op een handige manier bij elkaar? En belangrijker, hoe kom je vanuit de beschikbare data tot feedback die een docent en leerling richting geeft bij het vormgeven van leertrajecten? Deze vragen worden in dit meerjarige promotieonderzoek vanuit verschillende perspectieven belicht.
Bekijk ook innovatiethema De waarde van data
Looptijd
Dit promotieonderzoek loopt van januari 2019 tot en met december 2025.
Promovendus: Eva de Schipper
Samenwerking
In dit onderzoeksproject werken we vanuit CitoLab samen met:
- Universiteit Twente
- Universiteit Utrecht
- Direction de l’évaluation, de la prospective et de la performance (DEPP), Ministère de l’éducation nationale, de la jeunesse et des sports, Frankrijk
Deelprojecten van het promotieonderzoek
- Onderzoek naar nakijkondersteuning voor docenten bij toetsvragen met open antwoorden.
- Onderzoek naar de toepasbaarheid van recommender systems voor het aanraden van oefenopgaven aan examenkandidaten.
- Onderzoek naar de mogelijkheid om oplossingsstrategieën van leerlingen te destilleren uit procesdata van toetsen.
Deelproject: nakijkondersteuning voor docenten
In dit deelproject zoeken we naar manieren om docenten te ondersteunen bij het nakijken van open vragen. We doen technisch onderzoek naar hoe we zo goed mogelijk automatisch een score kunnen voorspellen, maar ook gebruikersonderzoek om te bepalen wat docenten nodig hebben in hun nakijkproces en welk niveau van automatisering gewenst is. We onderzoeken dit door middel van een prototype genaamd CheckMate, dat ontwikkeld is binnen CitoLab en onder financiëring van het Nationaal Onderwijslab voor AI (NOLAI) en samen met twee VO-scholen verder wordt ontwikkeld.
Lees meer over CheckMateDeelproject: oefenopgaven voor examenleerlingen
Grote commerciële partijen zoals Netflix, Spotify en bol.com gebruiken algoritmes die ‘recommender systems’ heten. Daarmee raden ze hun klanten producten aan op basis van voorkeuren. In dit deelproject testten we in de praktijk uit in hoeverre recommender systems goede oefenvragen kunnen aanraden aan leerlingen. We onderzoeken de leerwinst en ervaring van leerlingen wanneer ze met een gepersonaliseerde of niet-gepersonaliseerde oefentoets oefenen.
Recommender systems zijn algoritmes waarmee bedrijven producten aan gebruikers aanraden. Waarom zouden we dezelfde algoritmes niet kunnen gebruiken om leerlingen oefenopgaven aan te raden?
Lees het interview met Eva de Schipper over haar onderzoek naar recommender systems in het onderwijs
Oefenopgaven op maat
Een effectieve manier om stof te leren, is oefenen met toetsopgaven. In dit project onderzoeken we of we recommender systems kunnen inzetten om leerlingen oefenopgaven op maat aan te raden. Het algoritme koppelt specifieke gaten in kennis aan passende oefenstof. Daarmee ondersteunen we leerlingen in hun leerproces. En dat is een mooi hulpmiddel in situaties (of tijden) dat een docent niet de mogelijkheid heeft om individuele feedback te geven. De onderzoeksresultaten zijn veelbelovend. Ze laten zien dat recommender systems in theorie inderdaad goed kunnen voorspellen met welke opgaven leerlingen moeite zouden hebben.
Deelproject: leerlingstrategieën opsporen
Wanneer leerlingen een digitale toets maken of werken in een digitale leeromgeving, worden vaak meer gegevens geregistreerd dan alleen of de leerling een vraag goed of fout heeft beantwoord. Dit noemen we procesdata. In dit deelproject onderzoeken we hoe we automatisch de strategie die een leerling gebruikt bij het oplossen van een toetsvraag kunnen achterhalen op basis van wat de leerling doet in de digitale toetsomgeving.
Ineens komt de mens achter de data in beeld. En daar zoek ik naar.
Lees het interview met Eva de Schipper over haar onderzoek naar procesdata áchter de schermen
Feedback op toetsresultaten
Om inzicht te krijgen in de strategieën die leerlingen gebruiken, bekijken we bijvoorbeeld wat ze invullen in een tekstveld. Ook nemen we mee of ze een digitale rekenmachine gebruiken en in welke volgorde ze dingen doen. Met de opgedane kennis hopen we iets te kunnen betekenen in de klas. Als je weet welke oplossingsstrategieën er zijn en hoe je deze kunt aflezen uit procesdata, kun je namelijk gerichter feedback geven op toetsresultaten. Dat helpt om behaalde toetsscores te verklaren, maar kan ook input vormen voor leerinstructies. Zo worden procesdata een waardevol onderwijsinstrument dat leerlingen een steuntje in de rug geeft.