CheckMate

Slimme nakijkoplossing

In alle onderwijssectoren neemt de druk op leraren toe, bijvoorbeeld door groeiende administratielasten en personeelstekorten. Ook het nakijken van toetsen is een taak die vaak veel tijd en moeite kost. Hoe mooi zou het zijn als we deze last kunnen verlichten? In het project 'Slimme nakijkoplossingen' gingen we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Dat resulteerde in het prototype CheckMate.

Bekijk ook innovatiethema De waarde van data

CheckMate testen

We willen CheckMate graag uitgebreid testen in de klas. Daarvoor zijn we op zoek naar docenten in het VO, en in het bijzonder naar biologiedocenten in de bovenbouw van het VMBO. Wil jij testen en met ons meedenken?

Laat hier je gegevens achter

CheckMate bekijken en proberen

Bekijk hier de demo van CheckMate (en gebruik CheckMate eventueel direct).

Naar de demo-omgeving van CheckMate

Na een paar weken flink testen, nadenken, bouwen en schrappen staat er een nieuw prototype van CheckMate. Door een slim algoritme wordt er niet alleen naar de schrijfwijze gekeken, maar juist ook naar de betekenis van een antwoord.

Eva de Schipper, wetenschappelijk onderzoeker en projectleider CheckMate

Checkmate 2.0 in drie handige functionaliteiten

Antwoorden die op elkaar lijken, worden bij elkaar gezet. Zo kun je ze consistent beoordelen en hoef je niet dubbel over hetzelfde antwoord na te denken.
Waar dat kan, krijg je een scoresuggestie voor antwoorden die je nog niet hebt nagekeken. CheckMate doet dit op basis van wat jij en andere docenten al wél hebben nagekeken.
Belangrijke woorden uit het antwoordmodel worden gemarkeerd in de antwoorden van je leerlingen. Je kunt sneller zien of een leerling het heeft begrepen.

Nakijken met NLP

CheckMate maakt gebruik van Natural Language Processing (NLP) technieken. Dit onderzoeksveld houdt zich bezig met de automatische verwerking van door mensen geproduceerde tekst. We bouwen en testen bijvoorbeeld functionaliteiten waarmee docenten leerlingantwoorden kunnen filteren op basis van zelf gekozen kernwoorden. Ook ontwikkelen we automatische scoresuggesties voor antwoorden die nog niet nagekeken zijn.

Gewonnen! CheckMate

Een naam voor een prototype bedenk je niet zomaar. In maart 2022 zetten we een naamgevingswedstrijd uit op LinkedIn. NT2-docent Vika Lukina bedacht "CheckMate": een maatje bij het nakijken. Ze won hiermee een CitoLab-innovatieworkshop. En die workshop gaf Vika vervolgens weer gul door aan een geïnteresseerde PO- of VO-school.

De knoppen - waarmee je meerdere gelijksoortige antwoorden tegelijk kunt nakijken - besparen veel tijd.

Docent bij het testen van CheckMate

Het is handig dat ik kan aangeven welke woorden zeker in het antwoord moeten voorkomen.

Docent bij het testen van CheckMate

Peiling over toetsen en het nakijken ervan

Op 17 februari 2022 peilden we de onderwijspraktijk via Teacher Tapp. Bijna 1.000 leraren beantwoordden de volgende vragen:

Vooral zelfgemaakte toetsopgaven

Wat voor toetsvragen leg jij je leerlingen voor? Leerlingen krijgen in afsluitende toetsen diverse soorten toetsvragen voorgelegd. Onze survey via Teacher Tapp wijst uit dat veruit de meeste leraren kiezen voor zelfgemaakte opgaven (50% maakt de opgaven zelf, 35% gebruikt zelfgemaakte vragen van collega's). Daarna volgen toetsvragen uit oude examens (34% kiest voor vragen uit oude schoolexamens, 26% voor vragen uit oude centrale examens). Ook oefeningen uit de lesmethode zijn populair (bijna 60%). Bekijk de antwoorden

Leraren kiezen voor feedback

Welke werkwijze gebruik jij het vaakst wanneer je individueel nakijkt? De populairste nakijkmethode is het geven van feedback. Daarbij schrijft 28% van de leraren een aantal verbeterpunten op, geeft 23% in één of enkele zinnen feedback over het geheel en kiest 16% voor gedetailleerde feedback. Daarna volgt het geven van cijfers (37% van de leraren geeft cijfers zonder uitleg, 29% geeft cijfers met uitleg). Meer dan een derde van de docenten (38%) geeft aan fouten te verbeteren. Bekijk de antwoorden

Tijdgebrek als grootste obstakel

Wat maakt individueel nakijken voor jou belastend? Tijdgebrek is met stip het meest genoemde argument. Maar liefst 67% van de leraren zegt te weinig tijd te hebben om na te kijken of dat nakijken te veel tijd kost. Ook geeft bijna een derde aan (28%) dat leerlingen niet warmlopen voor feedback, maar eigenlijk alleen geïnteresseerd zijn in scores. Een grote groep leraren stelt ook heel eerlijk dat ze nakijken niet leuk vinden om te doen (24%), of dat er in het programma geen ruimt is om iets met de resultaten te doen (24%). Bekijk de antwoorden

In dit project ...

gaan we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Daarbij vragen we in de praktijk uit wanneer nakijkwerk plaatsvindt en wat daarbij als belastend wordt ervaren. Vanuit onze expertise onderzoeken we vervolgens hoe we leraren kunnen ontlasten. Daarbij leggen we de focus op het exploreren van innovatieve technische concepten, zoals het toepassen van machine learning-algoritmes.