Sluiten
leerlingen achter laptop

Projecten

Qinsight

Qinsight: spoort voorspelbaarheden op in toetsopgaven

Als een leerling of student een toetsopgave goed beantwoordt, wil je er zeker van zijn dat hij dat kan op basis van kennis of inzicht, en niet omdat hij een trucje toepast. Dat risico bestaat als er voorspelbaarheden in je toets zitten. Dan is bijvoorbeeld de langste zin te vaak het juiste antwoord. Of is het juiste antwoord op een rekensom vaak het laagste getal. Qinsight helpt je om voorspelbaarheden in je toetsdatabank op te sporen en de kwaliteit van je toets te verbeteren.
Qinsight patroon
Qinsight is ...
  • een prototype van een online tool om voorspelbaarheid in toetsen op te sporen
  • ontwikkeld door psychometrici van Cito
  • geschikt voor het importeren van QTI itembanken
Qinsight analyseert je toetsen op de vijf meest voorkomende patronen
  • Antwoordlengte: Het correcte antwoord bevat vaak meer informatie dan de andere antwoordopties. De constructeur wil volledig zijn, maar de leerling denkt simpelweg: 'Ik kies het langste antwoord, want dat is meestal correct'.
  • Antwoordpositie: Antwoordopties moeten voor een leerling in een logische volgorde staan. Bijvoorbeeld alfabetisch, van klein naar groot, chronologisch. Toch zijn bepaalde posities soms favoriet bij de constructeur. De leerling denkt: 'Ik kies C of D, want dan ik de kans op ene correct antwoord het grootst'. 
  • Stelligheid: Weinig zaken zijn volledig juist of onjuist. Daardoor gebruiken constructeurs in foute antwoorden vaak absolute termen, zoals altijd, nooit, alle, iedere, precies, uitsluitend en zeker. De leerling denkt: 'Deze optie kies ik niet, want deze stelligheid kan niet waar zijn'. 
  • Nuance: De waarheid is vaak genuanceerd en daarom zijn de ware antwoorden dat vaak ook. Relatieve termen zoals waarschijnlijk, meestal en zelden worden door constructeurs vaak gebruikt om die nuance te realiseren. De leerling denkt: 'Ik ga voor dit antwoord, wat dat is het meest genuanceerd'.
  • Echo: Soms bevat een antwoordoptie (als enige) eenzelfde term als in de vraag. In de praktijk blijkt die optie ook vaak de juiste te zijn. De leerling denkt: 'Ik kies deze, want in dit antwoord komen delen uit de vraag terug'.
Qinsight helpt je door in te zoomen op vragen en antwoorden waar mogelijk iets mee aan de hand is. Vervolgens is het aan jou om te bepalen of je actie onderneemt.
“De uitdaging bij dit soort algoritmes is dat je de juiste woorden eruit filtert, om te zorgen dat je een zuivere analyse maakt. Ik vind dat hele leuke dingen om mee te puzzelen.”
Tjeerd Hans Terpstra
Ontwikkelaar, team Prototypes OK&I

Zo werkt Qinsight

  • Open het programma.
  • Laad je toetsopgaven in.
  • Bekijk de aandachtspunten die Qinsight naar voren brengt.
  • Gaat het om onwenselijke onvoorspelbaarheden? Zijn het voorspelbaarheden die de leerling kan zien?
  • Check het en pas waar nodig je opgaven aan.
Let op: Om betrouwbare analyses te kunnen maken, heb je voldoende informatie nodig. Dat geldt ook voor Qinsight. Je krijgt daarom een melding als de informatie in jouw set met toetsopgaven te beknopt is om er aandachtspunten uit te filteren.

Hoever zijn we met Qinsight?

De huidige versie hebben we getest met een universiteit en een toetsaanbieder, om goed zicht te krijgen op de mogelijkheden en de bruikbaarheid. Met deze versie gaan we breder onderzoek doen. Mogelijk willen we in de toekomst analyses toevoegen die zinvol zijn voor andersoortige opgaventypes. Zijn er bijvoorbeeld patronen te ontdekken bij sleepopgaven?

Doe mee!

Qinsight is op aanvraag voor iedereen beschikbaar. De huidige versie is een prototype. Als gebruiker kun je ermee experimenteren en ervaringen opdoen. Wil je Qinsight gebruiken, laat ons dan wel weten wat je ervaringen zijn. Zo kunnen wij Qinsight doorontwikkelen.  Ja, ik wil Qinsight