Meer en betere feedback met behulp van data

Op school worden op tal van manieren data verzameld. Leraren observeren bijvoorbeeld tijdens instructies, kijken het werk van de leerlingen na en nemen methode- en niet-methodegebonden toetsen af. Dat leidt tot enorme hoeveelheden data. Maar hoe breng je verschillende databronnen op een handige manier bij elkaar? En belangrijker, hoe kom je vanuit de beschikbare data tot feedback die een docent en leerling richting geeft bij het vormgeven van leertrajecten? Deze vragen worden in dit meerjarige promotieonderzoek vanuit verschillende perspectieven belicht.

Bekijk ook innovatiethema De waarde van data

Looptijd

Dit promotieonderzoek loopt van januari 2019 tot en met december 2023.

Promovendus: Eva de Schipper

Samenwerking

In dit onderzoeksproject werken we vanuit CitoLab samen met:

Universiteit Twente
Universiteit Utrecht
Direction de l’évaluation, de la prospective et de la performance (DEPP), Ministère de l’éducation nationale, de la jeunesse et des sports, Frankrijk

CitoLab - twee studenten met laptop op de bank

Deelprojecten van het promotieonderzoek

Onderzoek naar de toegevoegde waarde van procesdata bij het begrijpen van gebruikte strategieën en het geven van geautomatiseerde feedback.
Onderzoek naar de toepasbaarheid van recommender systems voor het aanraden van oefenopgaven aan examenkandidaten.
Onderzoek naar de mogelijkheid om leerlingstrategieën te destilleren uit toetsgerelateerde data. En op basis daarvan oefenopgaven aan te raden.

Deelproject: leerlingen, strategieën en oefenopgaven

In dit meerjarige onderzoeksproject zijn beschikbare data het uitgangspunt en onderzoeken we hoe we docenten extra kunnen ondersteunen en hoe we leerlingen verder kunnen helpen in hun leerproces. In 2022 startten we een deelproject, waarin we leerlingstrategieën destilleren binnen digitale toetsafnames. Vervolgens testen we in de praktijk uit in hoeverre recommender systems leerlingen goede oefenvragen kunnen aanraden.

Waarom kunnen we hetzelfde algoritme niet gebruiken om leerlingen oefenopgaven aan te raden?

Lees het interview met Eva de Schipper over haar onderzoek naar recommender systems in het onderwijs

Deelproject: gepersonaliseerde feedback met recommender systems

Grote commerciële partijen zoals Netflix, Spotify en bol.com gebruiken algoritmes die ‘recommender systems’ heten. Daarmee raden ze hun klanten producten aan op basis van voorkeuren. In dit deelproject onderzoeken we de toepasbaarheid van deze algoritmes voor het onderwijs. Het idee is om leerlingen geautomatiseerd feedback op maat te kunnen geven bij het leren voor een toets.

Oefenopgaven op maat

Een effectieve manier om stof te leren, is oefenen met toetsopgaven. In dit project onderzoeken we of we recommender systems kunnen inzetten om leerlingen oefenopgaven op maat aan te raden. Het algoritme koppelt specifieke gaten in kennis aan passende oefenstof. Daarmee ondersteunen we leerlingen in hun leerproces. En dat is een mooi hulpmiddel in situaties (of tijden) dat een docent niet de mogelijkheid heeft om individuele feedback te geven. De onderzoeksresultaten zijn veelbelovend. Ze laten zien dat recommender systems in theorie inderdaad goed kunnen voorspellen met welke opgaven leerlingen moeite zouden hebben. Een volgende stap is praktijkonderzoek.

Ineens komt de mens achter de data in beeld. En daar zoek ik naar.

Lees het interview met Eva de Schipper over haar onderzoek naar procesdata áchter de schermen

Deelproject: Meten achter de schermen - procesdata

Wanneer leerlingen een digitale toets maken of werken in een digitale leeromgeving, worden vaak meer gegevens geregistreerd dan alleen of de leerling een vraag goed of fout heeft beantwoord. Dit noemen we procesdata. In dit onderzoek hopen we inzicht te krijgen in de strategieën die leerlingen gebruiken om wiskundeopgaven op te lossen.

Feedback op toetsresultaten

Om inzicht te krijgen in de strategieën die leerlingen gebruiken, bekijken we bijvoorbeeld wat ze invullen in een tekstveld. Ook nemen we mee of ze een digitale rekenmachine gebruiken en in welke volgorde ze dingen doen. Met de opgedane kennis hopen we iets te kunnen betekenen in de klas. Als je weet welke oplossingsstrategieën er zijn en hoe je deze kunt aflezen uit procesdata, kun je namelijk gerichter feedback geven op toetsresultaten. Dat helpt om behaalde toetsscores te verklaren, maar kan ook input vormen voor leerinstructies. Zo worden procesdata een waardevol onderwijsinstrument dat leerlingen een steuntje in de rug geeft.