De feilbare beoordelaar

Maar, hoe goed criteria ook worden beschreven of vastgelegd in rubrics en hoe deskundig de beoordelaars ook zijn: álle beoordelaars zijn feilbaar.

Elke beoordelaar heeft last van beoordelaarseffecten. De oorzaak ligt deels in de procedure (zoals bij het volgorde-effect) en deels in de persoon van de beoordelaar (zoals systematische strengheid of mildheid). Daarnaast blijft het ambigue karakter van veel competenties een valkuil voor het beoordelingsproces én voor beoordelaars. Kenmerken als nieuwsgierigheid, vasthoudendheid, fantasie, kunnen samenwerken en gedisciplineerd zijn, zijn nog enigszins objectiveerbaar.

Maar het wordt al moeilijker bij kenmerken als opstandigheid, onaangepastheid, eigenzinnigheid, individualiteit, of gevoeligheid. Een ander probleem is dat ons beoordelingsvocabulaire vaak ontoereikend is. Woorden als onduidelijk, irrelevant, onlogisch, incoherent, inconsistent, of nog erger: niet overtuigend, niet effectief, onvolwassen of te voorspelbaar zorgen al snel voor een bron van misverstanden. Dergelijk beoordelingsjargon kan de kwaliteit van beoordelingen ernstig ondermijnen.

Hoe bestrijd je persoonsgebonden beoordelaarseffecten?

Om persoonsgebonden beoordelaarseffecten te bestrijden, blijken kalibreersessies zeer waardevol. In deze sessies stemmen examinatoren periodiek met elkaar af hoe zij de criteria en beslisregels interpreteren en in de praktijk hanteren (Andriessen, D., & Manders, P., 2014). In een kalibreersessie worden de resultaten van beroepstaken onafhankelijk beoordeeld door deskundige beoordelaars. Aan de hand van deze beoordelingen gaan beoordelaars in gesprek over de uitkomsten, vooral wanneer deze afwijken. Verschillen worden in het gesprek geduid vanuit opvattingen over onder andere de beoordelingstaak, de terminologie, standaarden en de beroepstaak zelf.*

Hoe bestrijd je proceduregebonden beoordelaarseffecten?

Een doorslaggevende factor in de bestrijding van proceduregebonden beoordelaarseffecten is de manier waarop leiding wordt gegeven aan beoordelingsvergaderingen. Dat begint al bij de voorbereiding, met een analyse van de beoordelingen en andere gegevens die bij de besluitvorming worden betrokken. Tijdens de vergadering dient degene die vergadering leidt het gesprek bij te sturen op het moment dat het beoordelingsproces ontspoort, bijvoorbeeld wanneer bij individuele studenten plots andere criteria worden ingebracht en meegewogen.

Training van beoordelaars moet hand in hand gaan met dialoog over standaarden

Hoewel de individuele beoordelaar de zwakste schakel is in het beoordelingsproces, is training van beoordelaars om tot een professionele beoordeling van beroepsprestaties te komen verspilde moeite als dit niet hand in hand gaat met een continue dialoog over standaarden. Dit gesprek moet gevoed worden door een structurele input van de beroepsgroep.

* Andriessen, D., & Manders, P. (2014). Beoordelen is mensenwerk: Bevindingen over de wenselijkheid en mogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern) werkstukken. Den Haag, Vereniging Hogescholen.