De slaaggrens van een examen vastleggen met behulp van experts

Want u wilt niet dat de norm te hoog of te laag ligt en u wilt zeker weten dat u het juiste niveau toetst. Wanneer de slaaggrens vaststellen, doen we dat vaak samen met experts in een zogenoemde standaardsetting. Recent heb ik deze nog uitgevoerd voor het Basisexamen Sustainable Finance. In deze blog leg ik u uit wat een standaardsetting is, waarom we het doen en wat u er aan heeft.

Wat is een standaardsetting?

Tijdens een standaardsetting beoordeelt een nieuwe groep inhoudelijke experts, dus andere experts dan die het examen samenstelden, het examen vanuit het perspectief van de doelgroep. Dit is vaak de ‘zesjeskandidaat’. Door hun inschattingen te vergelijken, bepaalt de groep samen of het examen het juiste niveau heeft. Zo voorkomen we dat de norm te streng of te soepel is. Een standaardsetting zorgt dus voor een betrouwbare, goed onderbouwde cesuur die je met vertrouwen kunt vaststellen.

De stappen die we doorlopen

Er zijn verschillende methodieken om een standaardsetting te doen. In deze blog ga ik uit van de Angoff-methode, die we gebruiken bij toetsen en examens met meerkeuzevragen. Hieronder beschrijf ik de stappen die ik heb ondernomen bij eerdere bijeenkomsten:

1. Voorbereiding
   Voorafgaand aan de sessie maak ik een duidelijke instructie voor de experts die gaan beoordelen. Ik leg daarin uit wat de bedoeling is en wie de doelgroep van het examen is. Experts krijgen in de briefing ook de opdracht om te beoordelen vanuit de ‘zesjeskandidaat’. Dat vraagt om focus: niet alle materie in het examen is even belangrijk.
   
   
2. Briefing van experts
   Ik zorg ervoor dat het examen vooraf al beschikbaar is voor de experts (bijvoorbeeld als pdf). Wanneer ik het examen stuur, stuur ik ook de instructie, een scoreformulier en een deadline mee.
   
   
3. Individuele inschatting
   Experts maken het examen en geven per vraag aan hoeveel procent van de doelgroep (de zesjeskandidaten) deze volgens hen goed zou beantwoorden.
   
   
4. Analyse
   Als voorzitter van een sessie verzamel en analyseer ik de uitkomsten van de experts. Waar zitten verschillen? Waar zijn ze het niet met elkaar eens? Wanneer de ingevulde examens van tevoren al naar mij worden gestuurd, doe ik deze analyse vooraf. Wanneer experts het examen afleggen tijdens de sessie, doe ik de analyse ter plekke.
   
   
5. Gezamenlijke bespreking
   Na de analyse gaan we in gesprek over vragen waarbij de mening van de experts ver uit elkaar ligt. Iedereen heeft dan de ruimte om keuzes toe te lichten. Als gespreksleider stel ik vragen, vat ik samen wat er gezegd is en help ik om knopen door te hakken om tot een consensus te komen.
   
   
6. Vaststellen van de cesuur
   Hebben we bij de meeste vragen een consensus bereikt? Dan kijken we samen naar het resultaat: ligt het niveau waar de opdrachtgever het wil hebben? Het kan zijn dat de cesuur te hoog of te laag ligt. Als dat zo is, stellen we dat op dit moment bij.
   
   
7. Afronding en evaluatie
   Na afloop verwerk ik de uitkomsten. De eigenaar van het examen (onze opdrachtgever) en de commissie van de standaardsetting ontvangen de analyse en samenvatting. Natuurlijk staat nu nog steeds niet alles vast: wanneer de eerste afnames zijn geweest, kan de cesuur ook weer bijgesteld worden op basis van resultaten en analyses. 

Wat levert het op?

Heb je de bovenstaande stappen goed doorlopen? Dan geeft een standaardsetting je:

• een onderbouwde cesuur; 
• meer zekerheid over het niveau van je examen;
• inzicht in verschillen tussen experts
• een bonus: waardevolle feedback op je examenvragen.

Daarnaast levert het gesprek zelf veel op: experts leren van elkaar en krijgen een beter gedeeld beeld van het gewenste niveau. Door nieuwe experts te betrekken, levert het ook validatie van je meetinstrument op.

Tot slot

Een standaardsetting vraagt om uitgebreide voorbereiding, duidelijke begeleiding en goede tijdsbewaking. Maar als het goed uitgevoerd wordt, helpt het u om met vertrouwen de beslissing te nemen over wanneer iemand vakbekwaam is en wanneer niet.

Wil je weten hoe je dit goed organiseert voor jouw examen of certificeringsstelsel? Of geef je het liever uit handen? Ik denk graag met je mee. Neem contact met ons op via advies-zakelijk@cito.nl