Veel docenten in het hoger onderwijs ontvangen een statistische analyse van hun multiple-choice toets omdat hun hogeschool werkt met een digitaal toetssysteem of een schrapkaarten-systeem. Niet alle docenten weten wat ze met die veelheid aan statistische gegevens aan moeten. Ze kijken alleen naar de samenvatting en besluiten op basis daarvan vragen te schrappen en/of aan te passen. Dat is echter veel te voorbarig!
(Te) moeilijke vragen in de toets
Een docent vertelde ons: “Ik voeg aan mijn toets altijd een paar moeilijke vragen toe, zodat ik de écht goede studenten van de redelijk goede studenten kan scheiden. Gisteren kreeg ik echter een statistisch overzicht waarin stond dat een aantal vragen in mijn toets veel te moeilijk waren omdat de meerderheid van de studenten ze fout had. Daardoor was mijn toets niet goed.”
Die conclusie is niet terecht. De docent gaf immers duidelijk aan dat hij bewust een aantal moeilijke vragen in zijn toets had opgenomen. Dat maakt zijn toets niet automatisch een slechte toets. Het is in sommige gevallen juist aan te raden om een aantal gemakkelijke en een aantal moeilijke vragen op te nemen, zodat je kunt differentiëren tussen goede en minder goede studenten.
Hoe moet je die gegevens dan interpreteren?
Statistische informatie, zoals de P-waarde die iets zegt over de moeilijkheid van een vraag, heeft natuurlijk wel degelijk nut. Het geeft jou, als docent en/of toetsontwikkelaar, gereedschap in handen om je toets eens goed te bestuderen. Wanneer een vraag moeilijk blijkt te zijn, kun je jezelf drie vragen stellen:
- Is de vraag relevant (sluit de vraag wel aan bij de leerdoelen)?
- Is de vraag duidelijk geformuleerd?
- Is de vraag geen strikvraag (het gaat er tenslotte niet om dat studenten slim en eigenwijs genoeg zijn om niet in een strikvraag te trappen)?
Is geen van deze drie redenen de oorzaak van de moeilijke toetsvraag? En heb je er bewust voor gekozen om de vraag als moeilijke toetsvraag op te nemen in je toets? Dan kun je deze gewoon in je toets laten zitten!