CheckMate

Slimme nakijkoplossing

De werkdruk van leraren groeit in alle onderwijssectoren, onder andere door stijgende administratieve lasten en personeelstekorten. Ook het nakijken van toetsen kost vaak veel tijd en inspanning. Wat als we deze taak kunnen vereenvoudigen? Met het project Slimme nakijkoplossingen onderzochten we de grootste knelpunten bij het nakijken en ontwikkelden we oplossingen die leraren écht ondersteunen. Dit leidde tot het prototype CheckMate. Momenteel werken we samen met twee VO-scholen in een co-creatieproject van het Nationaal Onderwijslab AI (NOLAI) om CheckMate verder te verbeteren en klaar te maken voor gebruik in de klas.

Lees meer over het co-creatieproject met NOLAI Bekijk ook innovatiethema De waarde van data

NOLAI co-creatieproject ‘Open vragen nakijken met hulp van AI’

Van september 2024 tot juni 2026 krijgt het prototype CheckMate een slimme upgrade in het co-creatieproject Open vragen nakijken met hulp van AI, mede mogelijk gemaakt door een subsidie van het Nationaal Onderwijslab AI (NOLAI). Samen met het Aloysius de Roosten in Eindhoven en Roncalli in Bergen op Zoom – beide VO-scholen uit de OMO-scholengroep – werken we aan een verbeterde versie van het prototype. Ons doel? CheckMate verbeteren en zo snel mogelijk richting gebruik in de klas te brengen. Heb je vragen over dit project? Neem dan contact op met projectleider Eva de Schipper.

CheckMate testen

We willen CheckMate graag uitgebreid testen in de klas. Daarvoor zijn we op zoek naar docenten in het vo, en in het bijzonder naar biologiedocenten in de bovenbouw van het vmbo. Wil jij testen en met ons meedenken?

Laat hier je gegevens achter

CheckMate bekijken en proberen

Bekijk hier de demo van CheckMate (en gebruik CheckMate eventueel direct).

Naar de demo-omgeving van CheckMate

Na een paar weken flink testen, nadenken, bouwen en schrappen staat er een nieuw prototype van CheckMate. Door een slim algoritme wordt er niet alleen naar de schrijfwijze gekeken, maar juist ook naar de betekenis van een antwoord.

Eva de Schipper, wetenschappelijk onderzoeker en projectleider CheckMate

Checkmate 2.0 in drie handige functionaliteiten

Antwoorden die op elkaar lijken, worden bij elkaar gezet. Zo kun je ze consistent beoordelen en hoef je niet dubbel over hetzelfde antwoord na te denken.
Waar dat kan, krijg je een scoresuggestie voor antwoorden die je nog niet hebt nagekeken. CheckMate doet dit op basis van wat jij en andere docenten al wél hebben nagekeken.
Belangrijke woorden uit het antwoordmodel worden gemarkeerd in de antwoorden van je leerlingen. Je kunt sneller zien of een leerling het heeft begrepen.

Nakijken met NLP

CheckMate maakt gebruik van Natural Language Processing, NLP-technieken. Dit onderzoeksveld houdt zich bezig met de automatische verwerking van door mensen geproduceerde tekst. We bouwen en testen bijvoorbeeld functionaliteiten waarmee docenten leerlingantwoorden kunnen filteren op basis van zelf gekozen kernwoorden. Ook ontwikkelen we automatische scoresuggesties voor antwoorden die nog niet nagekeken zijn.

Gewonnen! CheckMate

Een naam voor een prototype bedenk je niet zomaar. In maart 2022 zetten we een naamgevingswedstrijd uit op LinkedIn. NT2-docent Vika Lukina bedacht "CheckMate": een maatje bij het nakijken. Ze won hiermee een CitoLab-innovatieworkshop. En die workshop gaf Vika vervolgens weer gul door aan een geïnteresseerde PO- of VO-school.

De knoppen - waarmee je meerdere gelijksoortige antwoorden tegelijk kunt nakijken - besparen veel tijd.

Docent bij het testen van CheckMate

Het is handig dat ik kan aangeven welke woorden zeker in het antwoord moeten voorkomen.

Docent bij het testen van CheckMate

Peiling over toetsen en het nakijken ervan

Op 17 februari 2022 peilden we de onderwijspraktijk via Teacher Tapp. Bijna 1.000 leraren beantwoordden de volgende vragen:

Vooral zelfgemaakte toetsopgaven

Wat voor toetsvragen leg jij je leerlingen voor? Leerlingen krijgen in afsluitende toetsen diverse soorten toetsvragen voorgelegd. Onze survey via Teacher Tapp wijst uit dat veruit de meeste leraren kiezen voor zelfgemaakte opgaven (50% maakt de opgaven zelf, 35% gebruikt zelfgemaakte vragen van collega's). Daarna volgen toetsvragen uit oude examens (34% kiest voor vragen uit oude schoolexamens, 26% voor vragen uit oude centrale examens). Ook oefeningen uit de lesmethode zijn populair (bijna 60%). Bekijk de antwoorden

Leraren kiezen voor feedback

Welke werkwijze gebruik jij het vaakst wanneer je individueel nakijkt? De populairste nakijkmethode is het geven van feedback. Daarbij schrijft 28% van de leraren een aantal verbeterpunten op, geeft 23% in één of enkele zinnen feedback over het geheel en kiest 16% voor gedetailleerde feedback. Daarna volgt het geven van cijfers (37% van de leraren geeft cijfers zonder uitleg, 29% geeft cijfers met uitleg). Meer dan een derde van de docenten (38%) geeft aan fouten te verbeteren. Bekijk de antwoorden

Tijdgebrek als grootste obstakel

Wat maakt individueel nakijken voor jou belastend? Tijdgebrek is met stip het meest genoemde argument. Maar liefst 67% van de leraren zegt te weinig tijd te hebben om na te kijken of dat nakijken te veel tijd kost. Ook geeft bijna een derde aan (28%) dat leerlingen niet warmlopen voor feedback, maar eigenlijk alleen geïnteresseerd zijn in scores. Een grote groep leraren stelt ook heel eerlijk dat ze nakijken niet leuk vinden om te doen (24%), of dat er in het programma geen ruimt is om iets met de resultaten te doen (24%). Bekijk de antwoorden

In dit project ...

gaan we op zoek naar de grootste struikelblokken bij het nakijken en naar oplossingen die leraren echt kunnen ondersteunen. Daarbij vragen we in de praktijk uit wanneer nakijkwerk plaatsvindt en wat daarbij als belastend wordt ervaren. Vanuit onze expertise onderzoeken we vervolgens hoe we leraren kunnen ontlasten. Daarbij leggen we de focus op het exploreren van innovatieve technische concepten, zoals het toepassen van machine learning-algoritmes.

Kunnen we je helpen?

Je kan bij CitoLab terecht voor onderwijskundige- en psychometrische vraagstukken en voor innovatieve prototypes rondom toetsing. Stel je vraag via ons contactformulier of mail direct naar citolab@cito.nl. Blijf op de hoogte via onze CitoLab LinkedIn.

Heb je een vraag over Leerling in beeld, de doorstroomtoetsen of de Centrale Toetsen en Examens? Stuur een mail naar klantenservice@cito.nl of bel (026) 352 11 11.

Bereikbaar Ma t/m vr 08.30 tot 15.00 uur

Bellen (026) 352 11 11

E-mail citolab@cito.nl