In alle onderwijssectoren neemt de druk op leraren toe, bijvoorbeeld door groeiende administratielasten en personeelstekorten. Ook het nakijken van toetsen is een taak die vaak veel tijd en moeite kost. Hoe mooi zou het zijn als we deze last kunnen verlichten? In het project 'Slimme nakijkoplossingen' gingen we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Dat resulteerde in het prototype CheckMate.
In juli 2022 bouwden we een tweede prototype van CheckMate, onze digitale nakijkomgeving om korte open antwoorden op toetsvragen makkelijk na te kijken. Voor docenten in het vo staat CheckMate nu open!
CheckMate testen
We willen CheckMate graag uitgebreid testen in de klas. Daarvoor zijn we op zoek naar docenten in het VO, en in het bijzonder naar biologiedocenten in de bovenbouw van het VMBO. Wil jij testen en met ons meedenken?
Na een paar weken flink testen, nadenken, bouwen en schrappen staat er een nieuw prototype van CheckMate. Door een slim algoritme wordt er niet alleen naar de schrijfwijze gekeken, maar juist ook naar de betekenis van een antwoord.
Eva de Schipper, wetenschappelijk onderzoeker en projectleider CheckMate
Checkmate 2.0 in drie handige functionaliteiten
Antwoorden die op elkaar lijken, worden bij elkaar gezet. Zo kun je ze consistent beoordelen en hoef je niet dubbel over hetzelfde antwoord na te denken.
Waar dat kan, krijg je een scoresuggestie voor antwoorden die je nog niet hebt nagekeken. CheckMate doet dit op basis van wat jij en andere docenten al wél hebben nagekeken.
Belangrijke woorden uit het antwoordmodel worden gemarkeerd in de antwoorden van je leerlingen. Je kunt sneller zien of een leerling het heeft begrepen.
Nakijken met NLP
CheckMate maakt gebruik van Natural Language Processing (NLP) technieken. Dit onderzoeksveld houdt zich bezig met de automatische verwerking van door mensen geproduceerde tekst. We bouwen en testen bijvoorbeeld functionaliteiten waarmee docenten leerlingantwoorden kunnen filteren op basis van zelf gekozen kernwoorden. Ook ontwikkelen we automatische scoresuggesties voor antwoorden die nog niet nagekeken zijn.
Gewonnen! CheckMate
Een naam voor een prototype bedenk je niet zomaar. In maart 2022 zetten we een naamgevingswedstrijd uit op LinkedIn. NT2-docent Vika Lukina bedacht "CheckMate": een maatje bij het nakijken. Ze won hiermee een CitoLab-innovatieworkshop. En die workshop gaf Vika vervolgens weer gul door aan een geïnteresseerde PO- of VO-school.
De knoppen - waarmee je meerdere gelijksoortige antwoorden tegelijk kunt nakijken - besparen veel tijd.
Docent bij het testen van CheckMate
Je moet eerst je akkoord geven voor het plaatsen van cookies, voordat we deze video mogen laten zien.
Het is handig dat ik kan aangeven welke woorden zeker in het antwoord moeten voorkomen.
Docent bij het testen van CheckMate
Peiling over toetsen en het nakijken ervan
Op 17 februari 2022 peilden we de onderwijspraktijk viaTeacher Tapp. Bijna 1.000 leraren beantwoordden de volgende vragen:
Vooral zelfgemaakte toetsopgaven
Wat voor toetsvragen leg jij je leerlingen voor? Leerlingen krijgen in afsluitende toetsen diverse soorten toetsvragen voorgelegd. Onze survey via Teacher Tapp wijst uit dat veruit de meeste leraren kiezen voor zelfgemaakte opgaven (50% maakt de opgaven zelf, 35% gebruikt zelfgemaakte vragen van collega's). Daarna volgen toetsvragen uit oude examens (34% kiest voor vragen uit oude schoolexamens, 26% voor vragen uit oude centrale examens). Ook oefeningen uit de lesmethode zijn populair (bijna 60%). Bekijk de antwoorden
Leraren kiezen voor feedback
Welke werkwijze gebruik jij het vaakst wanneer je individueel nakijkt? De populairste nakijkmethode is het geven van feedback. Daarbij schrijft 28% van de leraren een aantal verbeterpunten op, geeft 23% in één of enkele zinnen feedback over het geheel en kiest 16% voor gedetailleerde feedback. Daarna volgt het geven van cijfers (37% van de leraren geeft cijfers zonder uitleg, 29% geeft cijfers met uitleg). Meer dan een derde van de docenten (38%) geeft aan fouten te verbeteren. Bekijk de antwoorden
Tijdgebrek als grootste obstakel
Wat maakt individueel nakijken voor jou belastend? Tijdgebrek is met stip het meest genoemde argument. Maar liefst 67% van de leraren zegt te weinig tijd te hebben om na te kijken of dat nakijken te veel tijd kost. Ook geeft bijna een derde aan (28%) dat leerlingen niet warmlopen voor feedback, maar eigenlijk alleen geïnteresseerd zijn in scores. Een grote groep leraren stelt ook heel eerlijk dat ze nakijken niet leuk vinden om te doen (24%), of dat er in het programma geen ruimt is om iets met de resultaten te doen (24%). Bekijk de antwoorden
In dit project ...
gaan we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Daarbij vragen we in de praktijk uit wanneer nakijkwerk plaatsvindt en wat daarbij als belastend wordt ervaren. Vanuit onze expertise onderzoeken we vervolgens hoe we leraren kunnen ontlasten. Daarbij leggen we de focus op het exploreren van innovatieve technische concepten, zoals het toepassen van machine learning-algoritmes.