Wat is de gouden vraag in jouw toets?

Door Jaap Brunnekreef, adviseur leren & toetsen én trainer bij Teelen

Laatst gaf ik een training over de toets- en itemanalyse aan docenten uit het voortgezet onderwijs. Toen de docenten aan de gang gingen met het analyseren van hun eigen toetsvragen, ontdekte één van de deelnemers een toetsvraag met een Rit-waarde van 0.8! De groep was er stil van. Hij had een ‘gouden vraag’ ontdekt in zijn toets. In deze blog bespreek ik de kracht van de Rit-waarde, wat dat betekent voor jouw toets en hoe je dit kunt gebruiken in je formatieve didactiek.

Wat is de rit-waarde?

De Rit-waarde staat voor een correlatie coëfficiënt (R) die de relatie aangeeft tussen de score op een specifieke vraag (item) en de totale score op de toets. Met andere woorden, het toont in hoeverre het aantal behaalde punten op de vraag voorspellend is voor de totale score op de toets.

Voor elke vraag kan je een Rit-waarde berekenen, variërend van -1.0 tot 1.0. Een Rit-waarde boven de 0.35 betekent dat er een duidelijk verband is. Soms is de Rit-waarde zelfs nog hoger, zoals bij de docent in mijn training, waar deze 0.80 was. Je kunt de Rit-waarde niet berekenen met een rekenmachine. Hiervoor heb je een speciaal softwareprogramma nodig, zoals Excel.

Uitleg rit-waarde

In het plaatje hieronder zie je de correlatie tussen de totale score op de toets en de score op één specifieke vraag in de toets. Leerlingen konden maximaal 70 punten behalen op de toets (Y-as) en maximaal 4 punten op de vraag (X-as). Elke cirkel vertegenwoordigt één leerling, met het totaal aantal behaalde punten op de toets weergegeven in de cirkel. De toets werd afgenomen bij 65 leerlingen. Sommige cirkels overlappen, waardoor niet alle cirkels zichtbaar zijn.

De computer berekent een correlatielijn; de lijn die het beste past tussen de afzonderlijke punten. Hoe schuiner de lijn omhoog of omlaag loopt, des te sterker is het verband tussen de 2 variabelen. In dit voorbeeld loopt de correlatielijn (r = 0.41) redelijk schuin omhoog, wat aangeeft dat er een redelijk verband bestaat tussen de score op de vraag en de totale score op de toets. Dit betekent dat de vraag in redelijke mate onderscheid maakt tussen ‘goed’ en ‘slecht’ presterende leerlingen.

Er zijn echter uitzonderingen. Bijvoorbeeld, een leerling met 57 punten (een goed cijfer) scoorde slechts 1 punt op deze vraag. Aan de andere kant is er een leerling met een lage totaalscore van 12 punten, die wel 4 punten behaalde op de vraag (rechtsonder). Kortom, de Rit-waarde geeft vooral informatie over de gehele groep, niet over individuele leerlingen.

 

Wat zegt de Rit-waarde nog meer?

De Rit-waarde laat zien hoe goed een vraag onderscheid maakt tussen goed en slecht presterende leerlingen. Een hoge waarde betekent dat goed presterende leerlingen de vraag goed maken en slecht presterende leerlingen niet. Dit betekent dat de vraag goed werkt en daar word je als docent blij van!

Een negatieve Rit-waarde duidt op een probleem, want dan maken goed presterende leerlingen de vraag vaker fout dan slecht presterende leerlingen. Dit kan bijvoorbeeld gebeuren als een vraag te makkelijk is waardoor de leerling denkt dat het een strikvraag is.

Een Rit-waarde van 0 betekent dat de vraag geen onderscheid maakt tussen goed en slecht presterende leerlingen. Zo’n vraag voegt dus weinig toe en het valt te overwegen om dergelijke vragen in een volgende versie uit je toets te halen.

Belangrijk

De Rit-waarde heeft alleen betekenis als er een ‘heterogene’ scoreverdeling is. Oftewel: er moet een goede spreiding zijn in het aantal behaalde punten op de vraag. Als alle leerlingen de vraag goed (of fout) beantwoorden, liggen alle cirkels op één hoop. Hoewel Excel dan nog steeds een Rit-waarde kan berekenen, heeft deze weinig betekenis. Dit probleem doet zich vooral voor bij vragen die te makkelijk (P-waarde[1] > 0.90) of te moeilijk (P-waarde < 0.25) zijn. Kijk dus ook altijd naar de P-waarde!

[1] P-waarde geeft de moeilijkheid van de vraag aan. Te bereken als het percentage leerlingen dat de vraag goed heeft.

Wat betekent dit voor je (formatieve) didactiek?

Nu komt de meest interessante vraag: hoe kun je de Rit-waarde gebruiken in je formatieve didactiek? Vragen met een hoge Rit-waarde zijn bij uitstek geschikt om te gebruiken in je lessen. De docent uit

mijn training, die wiskunde gaf, ontdekte bijvoorbeeld dat het oplossen van een lijnvergelijking (y = a×x + b) een ‘gouden vraag’ was, iets wat hij zelf overigens niet had verwacht.

In je formatieve didactiek kun je een nieuwe lijnvergelijking op het bord schrijven en de leerlingen vragen om de uitwerking te laten zien met hun wisbordjes. Leerlingen die het juiste antwoord geven, zullen naar verwachting een hoge score behalen op hun toets. Een hoge Rit-waarde wordt namelijk voorspellend voor het totale resultaat: leerlingen die de gouden vraag goed beantwoorden, beheersen waarschijnlijk ook de andere onderwerpen op de toets.

Leerlingen die moeite hebben met deze vraag, kun je extra aandacht geven in je lessen. Hiervoor zijn allerlei didactische werkvormen geschikt. Zo kunnen leerlingen die de stof beheersen het uitleggen aan klasgenoten die er moeite mee hebben. Ook kun je leerlingen extra oefenmateriaal voor thuis meegeven (ook een vorm van formatieve feedback).

Tot slot

In deze blog werd de Rit-waarde uitgelegd en welke kansen dit biedt om gouden vragen in je toets te ontdekken. Deze vragen helpen je als docent om te bepalen welke leerlingen de stof beheersen en welke niet, en hoe je deze informatie kunt gebruiken in je formatieve didactiek.

Wil je meer weten over het analyseren van je toetsen en het toepassen van onderscheidende vragen in je lessen? Volg dan één van onze trainingen.