Q-insight
Spoort voorspelbaarheden op in toetsopgaven
Als een leerling of student een toetsopgave goed beantwoordt, wil je er zeker van zijn dat hij dat kan op basis van kennis of inzicht, en niet omdat hij een trucje toepast. Dat risico bestaat als er voorspelbaarheden in je toets zitten. Zo is de langste zin nog té vaak het juiste antwoord. Op een rekensom is het juiste antwoord té vaak het laagste getal. Q-insight helpt je om deze voorspelbaarheden in je toetsdatabank op te sporen. En dus om de kwaliteit van je toets te verbeteren.
Bekijk ook innovatiethema De waarde van data
Q-insight is:
- een prototype van een online tool om voorspelbaarheid in toetsen op te sporen
- ontwikkeld door psychometrici van CitoLab
- geschikt voor het importeren van QTI-itembanken
De uitdaging bij dit soort algoritmes is dat je de juiste woorden eruit filtert, om te zorgen dat je een zuivere analyse maakt. Ik vind dat hele leuke dingen om mee te puzzelen.
Tjeerd Hans Terpstra, ontwikkelaar CitoLab
Q-insight analyseert je toetsen op de vijf meest voorkomende patronen
- Antwoordlengte
- Antwoordpositie
- Stelligheid
- Nuance
- Echo
Q-insight helpt je door in te zoomen op vragen en antwoorden waar mogelijk iets mee aan de hand is. Vervolgens is het aan jou om te bepalen of je actie onderneemt.
Herken je dit patroon in je toetsen?
Dat het correcte antwoord vaak meer informatie bevat dan de andere antwoordopties? Als constructeur wil je volledig zijn. Maar de leerling denkt simpelweg: 'Ik kies het langste antwoord, want dat is meestal correct'.
Dit soort patronen haalt filtert Q-insight uit je itembank.
Zo werkt Q-insight
- Open het programma.
- Laad je toetsopgaven in.
- Bekijk de aandachtspunten die Q-insight naar voren brengt.
- Gaat het om onwenselijke onvoorspelbaarheden? Zijn het voorspelbaarheden die de leerling kan zien?
- Check het en pas waar nodig je opgaven aan.
Let op: Om betrouwbare analyses te kunnen maken, heb je voldoende informatie nodig. Dat geldt ook voor Q-insight. Je krijgt een melding als de informatie in jouw set met toetsopgaven te beknopt is.
Wil je Q-insight gebruiken?
Q-insight is op aanvraag beschikbaar. De huidige versie is een prototype. Als gebruiker kun je ermee experimenteren en ervaringen opdoen. Wil je Q-insight gebruiken, mail dan naar citolab@cito.nl. Laat ons weten wat je ervaringen zijn, zodat wij Q-insight verder kunnen doorontwikkelen.
Kunnen we je helpen?
Stel je vraag via onze kanalen of kijk in de veelgestelde vragen