Hoe dragen we bij aan een betrouwbaar en rechtvaardig examencijfer?

Het is weer examentijd in het vo! Tijdens deze periode laten collega’s in een vijfdelige blogserie zien hoe wij bijdragen aan dit jaarlijkse toetsmoment, nu en in de toekomst. In deze vijfde (en laatste) aflevering vertellen Harco Weemink en Anke Weekers over Cito’s bijdrage aan een betrouwbaar en rechtvaardig examencijfer.

Hoe goed examenmakers ook hun best doen: centrale examens kunnen het ene jaar wat moeilijker (of makkelijker) zijn dan het andere jaar. De kunst is om de lat waarover leerlingen moeten springen om een voldoende te halen, gelijk te houden. Daarvoor wordt de n-term gebruikt. Deze zorgt ervoor dat cijfers die leerlingen halen niet afhangen van de moeilijkheid van het examen, maar van hun prestatie, dus van wat ze kunnen. Dat is eerlijk en rechtvaardig, vinden Harco Weemink en Anke Weekers. Zij maken deel uit van het team Normering en Digitalisering dat data voor, tijdens en na de examens verzamelt en analyseert om uiteindelijk het College voor Toetsen en Examens (CvTE) te adviseren over de best mogelijke n-term. 

De n-term compenseert voor ‘verschillen in moeilijkheid’ van examens. Hoe meet je hoe moeilijk een examen is?
Harco: “Vooraf weten we nooit precies hoe moeilijk vragen zijn en hoe examenleerlingen de moeilijkheidsgraad ervaren. Daarom verzamelen we data via verschillende bronnen die allemaal iets zeggen over de examenmoeilijkheid. Door het combineren van die informatie komen we tot een advies-n-term. Bij een relatief makkelijk examen moet de leerling meer scorepunten halen voor een voldoende. De n-term is dan laag, minimaal 0,0. Bij een moeilijker examen hebben leerlingen minder scorepunten nodig voor een voldoende. De n-term is dan hoger, in principe maximaal 2,0.” 

Anke: “'Belangrijke bronnen zijn de pretests en posttests. Dan maken leerlingen respectievelijk potentieel toekomstige opgaven, of al in het examen afgenomen opgaven, in schooleigen toetsen. Zonder het te weten leveren zij een belangrijke bijdrage aan het bepalen van de moeilijkheid van een examen. Verder gebruiken we historische n-termen en vragen we experts, onder wie leden van de vaststellingscommissies van het CvTE en docenten, of en in hoeverre de moeilijkheidsgraad van het examen afwijkt van oudere examens waarvan we de moeilijkheidsgraad al kennen. Ook nemen we bij het bepalen van de definitieve n-term reacties mee van leerlingen die na hun examen het LAKS benaderen, bijvoorbeeld over onduidelijke vragen, en van docenten die contact met de examenlijn hebben gezocht.” 

In hoeverre spelen docenten een belangrijke rol bij het verzamelen van informatie voor de normering? 
Harco: “Docenten spelen een sleutelrol in het normeringsproces. Bij het pretesten en posttesten bijvoorbeeld hebben we ze hard nodig, als organisator en contactpersoon.
Verder vragen we docenten afnamegegevens van de examens aan te leveren via Wolf voor de normering en voor onderzoek. Een van de vragen die we ze stellen gaat over de moeilijkheid van huidige examens ten opzichte van die van vorig jaar. Onafhankelijk van elkaar geven docenten aan of ze een examen moeilijker, makkelijker of even moeilijk vinden. Dat is echt heel nuttige informatie.”

Docenten zijn in verschillende rollen bij eigenlijk alle stappen in het normeringsproces betrokken. We vragen ook best wel wat van ze. Het is niet zomaar een ‘even-tussendoor-klusje’.

Anke Weekers, onderwijskundig onderzoeker, team normering en digitalisering

Anke: “Docenten zijn in verschillende rollen bij eigenlijk alle stappen in het normeringsproces betrokken. We vragen ook best wel wat van ze. Het is niet zomaar een ‘even-tussendoor-klusje’. Toch doen ze altijd graag mee, ook omdat ze weten hoe belangrijk hun bijdrage is.”

Jullie gebruiken ‘Wolf’ bij het verzamelen van de afnamedata. Waarom is Wolf zo belangrijk in de examenperiode?
Anke: “Zoals Harco al vertelde leveren docenten via de applicatie Wolf de afnamegegevens van hun leerlingen bij ons aan. Samen met de verzamelde afnamedata van het online afnameplatform Facet gebruiken we de Wolf-gegevens voor onze analyse die nodig is om de technische n-termen te berekenen. Docenten zijn trouwens niet verplicht om Wolf te gebruiken, maar een dekkingsgraad van bijna 100% zegt alles. Dit jaar doen voor het eerst de scholen in de overzeese gebiedsdelen mee.” 

Harco: “Wolf ondersteunt docenten ook bij het proces van de eerste en tweede correctie en het vastleggen van de definitieve scores. Die kunnen ze invoeren in het leerling-administratiesysteem, om de juiste cijfers te berekenen. Verder sturen we docenten een groepsrapportage, met daarin voor verschillende examencategorieën de resultaten van hun examenkandidaten en het landelijk gemiddelde. Al met al een mooi evaluatie-instrument.” 

Anke: “Wolf groeit nog steeds. Dat is een goede zaak. Hoe meer examengegevens wij binnenkrijgen, hoe nauwkeuriger wij het CvTE kunnen adviseren over de n-term.” 

In totaal zijn we zo’n tien maanden bezig met het verzamelen en analyseren van alle data. Het is een doorlopend proces.

Harco Weemink, manager team normering en digitalisering

Is het eindexamen voor julliezelf ook een eindexamen?
Harco: “Absoluut. In totaal zijn we zo’n tien maanden bezig met het verzamelen en analyseren van alle data. Het is een doorlopend proces. Eind mei, begin juni zijn alle gegevens binnen. Dan volgt een piekoment van zo’n twee weken waarin we bezig zijn om in overleg met CvTE te komen tot de definitieve n-term. De kleinste wijziging kan grote invloed hebben op de normering, dus moeten we alert blijven en scherpe keuzes maken. Alles voor een zo zorgvuldig mogelijk besluit.”