Toetsontwikkeling: Bouw aan de toekomst van uw organisatie

Bij Cito begrijpen we dit proces als geen ander. Daarom ondersteunen we organisaties bij het ontwikkelen en verbeteren van hun toetsinstrumenten. Onze toetsdeskundige Nienke Elijzen vertelt u meer over de do’s en dont’s bij het (door)ontwikkelen van toetsmateriaal. 

Hoe start je als organisatie met het ontwikkelen van een toets?

‘’Je start met het bedenken wát je wil meten en waaróm je dat wil meten. Dat kun je vervolgens vertalen naar leerdoelen en een *toetsmatrijs. Daarna kun je gaan nadenken over het basisontwerp van je toets. Denk dan bijvoorbeeld aan de vorm van de toets, de hoeveelheid aan vragen en de manier van afnemen. Ik zou vooral niet lukraak beginnen met het opstellen van vragen.’’

*De toetsmatrijs is als het ware een blauwdruk van de toets en de basis voor het toetsontwerp. Bij de vorm kun je denken aan open vs. gesloten vragen en de manier van afnemen kan bijvoorbeeld op locatie of digitaal. 

Hoe verbeter je bestaand toetsmateriaal?

‘’Data bestuderen en interpreteren. Ik denk dan bijvoorbeeld aan een toets- en itemanalyse voor een theorietoets. Bij een praktijktoets zou ik daarnaast ook naar ingevulde evaluaties kijken en in gesprek gaan met de assessoren. Die evaluaties kan je ook weer hebben voor een theorietoets. Je wilt weten hoe de slagingspercentages en de betrouwbaarheid en validiteit van je toets zijn. Vervolgens zoom je in op vraagniveau: Hoe goed of slecht zijn de items gemaakt? Welke items zou je op basis van je analyse willen aanpassen en waarom?’’

Hoe kan de toets-check hierbij helpen?

‘’De toets-check geeft een tipje van de sluier. Een eerste inzicht waar je zelf wellicht niet aan had gedacht of niet aan toegekomen was. Of een bevestiging van wat je al dacht en de munitie die je nodig hebt om het management te overtuigen van budget om een kwaliteitsslag te maken op je toets of toetsketen.’’

Wat zijn de dont’s bij toetsverbetering?

‘’Daarop kan ik geen eenduidig antwoord geven, maar enkele voorbeelden van don’ts zijn:

• lukraak beginnen met vragen aanpassen zonder onderzoek of doel;
• nooit een toets- en itemanalyse doen;
• géén of onvoldoende budget reserveren om toetsen aan een PDCA cyclus te onderwerpen.

En dat is zonde, je moet je toets wel actueel houden en je wilt natuurlijk ook graag weten of hij wel meet wat hij moet meten.’’

Tip: reserveer niet alleen budget voor het ontwikkelen van een toets, maar ook voor het doorlopend evalueren en dóórontwikkelen. Voor regelmatige evaluatie is nou eenmaal structureel budget nodig.

Waar gaat het vaak ‘mis’ bij organisaties? Is er een veelvoorkomende fout?

‘’Zoals hierboven gezegd worden toetsen vaak niet structureel onderhouden. Met allerhande problemen tot gevolg. Verouderde vragen, of *exposure control: de toets is zo vaak afgenomen dat de inhoud bekent raakt onder de kandidaten.’’

*Verouderde vragen zijn mogelijk niet meer actueel voor het werkveld. Hiermee neemt de toetskwaliteit af. Daarnaast kan herhaaldelijk gebruik van dezelfde toets leiden tot bekendheid met de inhoud onder kandidaten (exposure control). Dit schaadt dan weer de betrouwbaarheid en validiteit van de resultaten.

Wat kan Cito Zakelijk voor u betekenen?

Onze toetsdeskundigen  bieden een frisse blik op uw toetsmateriaal. We voeren toets- en itemanalyses uit, begeleiden inhoudsdeskundigen bij het ontwikkelen van toetsvragen en stellen een plan van aanpak op voor een continue kwaliteitsverbetering volgens de PDCA-cyclus (Plan, Do, Check, Act). Met onze expertise zorgen we ervoor dat uw toetsen betrouwbaar, valide en up-to-date blijven.

Wilt u meer weten over hoe Cito Zakelijkuw organisatie kan ondersteunen bij toetsontwikkeling? Bekijk onze Trainingen en Adviezen of vraag direct de gratis toets-check geheel vrijblijvend aan.

Vraag de gratis toets-check aan