Tóch generatieve AI in CheckMate. Waarom?

Toen we begonnen met het ontwikkelen van CheckMate, werkten we met wat we toen tot onze beschikking hadden: NLP-methoden en clusteralgoritmen. Daarmee konden we leerlingantwoorden clusteren en scoresuggesties doen. Dat werkte goed. Bovendien was deze aanpak voor veel docenten logisch en herkenbaar: vergelijkbare antwoorden leiden tot vergelijkbare scores.

In de jaren die volgden hebben we deze methode verder uitgebreid. Zo kunnen we inmiddels ook vragen ondersteunen die meerdere punten waard zijn en kunnen we langere antwoorden beter nakijken dan eerst. Daarnaast deden en doen we uitgebreid gebruikersonderzoek naar wat docenten belangrijk vinden en hoe de interface eruit moet zien. Dat gebeurt onder andere binnen het NOLAI co-creatieproject 'Open vragen nakijken met hulp van AI'.

Een nieuwe ontwikkeling: generatieve AI
Ondertussen heeft generatieve AI een snelle entree gemaakt, ook in het onderwijs. De nieuwste taalmodellen zijn krachtig, makkelijk in gebruik en getraind op enorme hoeveelheden data. Daardoor kunnen ze indrukwekkende tekst kunnen genereren. Ook voor de toepassing van nakijkondersteuning is het gebruik van generatieve AI super populair geworden in de afgelopen jaren. Er zijn veel bedrijven en andere partijen gestart met het implementeren van generatieve AI voor het bieden van nakijkondersteuning.

Deze opkomst van generatieve AI maakte natuurlijk ook dat wij een overweging te maken hadden: gaan ook wij gebruik maken van generatieve AI of blijven we werken aan onze NLP-methode? 

Waarom niet zomaar overstappen?
Onze huidige methode heeft duidelijke voordelen. Zo is goed uit te leggen hoe een score tot stand komt. Voor hetzelfde antwoord krijg je altijd dezelfde score. En we kunnen de input van de docent gericht meenemen in de beoordeling. Ook is deze methode een stuk milieuvriendelijker en goedkoper dan het gebruik van generatieve AI.

Waarom dan toch verkennen?
Tegelijkertijd biedt generatieve AI belangrijke voordelen. Je kunt het bijvoorbeeld inzetten zonder dat een toets al eerder is afgenomen. Ook maakt het andere nuttige toepassingen mogelijk, zoals het automatisch geven van feedback. Daarnaast is het relatief eenvoudig te implementeren. Deze voordelen sluiten aan bij onze missie om leren zichtbaar te maken en docenten zo goed mogelijk te ondersteunen. 

Daarom kiezen we voor…
Binnen CheckMate kiezen we er bewust voor om de route van generatieve AI te verkennen en deze te vergelijken met de route die we eerder namen. Wat werkt het beste in de praktijk? Waar zitten de verschillen? En wat betekent dat voor jou als docent?

Zorgvuldig en verantwoord experimenteren
We doen dit onderzoek met dezelfde zorgvuldigheid die je van ons gewend bent. Dat betekent dat we niet alleen kijken naar wat technisch mogelijk is, maar ook naar de onderwijskundige en ethische kant. Wat is de impact op leerlingen en docenten? Hoe transparant zijn de uitkomsten? En hoe zorgen we dat de technologie eerlijk en verantwoord wordt ingezet?

Zo onderzoeken we onder andere hoe we AI beter uitlegbaar kunnen maken (explainable AI) en kijken we naar Europese taalmodellen die passen bij onze waarden.

Op weg naar betere nakijkondersteuning
We blijven CheckMate doorontwikkelen met één doel voor ogen: jou als docent helpen om sneller, consistenter en eerlijker na te kijken. Door verschillende routes te verkennen, leren we wat echt werkt in de praktijk. En juist die combinatie van technologie én jouw professionele oordeel maakt het verschil.

Voorbeeld uit de praktijk
Een (geanonimiseerde) screenshot met echte leerlingdata (met toestemming van docent en leerlingen):