Van quotiëntregel naar productregel

De quotiëntregel, een scoringsmethode voor meervoudige keuzevragen, heeft als nadeel dat de kandidaat via een vaste strategie een zekere score kan behalen. Met de nieuw ontwikkelde productregel voor gebruik in geautomatiseerde toetssystemen is dit nadeel ondervangen, terwijl de scores van beide regels vergelijkbaar zijn.

Quotiëntregel

De quotiëntregel is een regel voor het scoren van meervoudige keuzevragen. De meervoudige keuzevraag (multiple response item) is een variant op de klassieke meerkeuzevraag waarbij meer dan één alternatief juist kan zijn. De quotiëntregel luidt als volgt:

Score = (proportie goed) / (1 + proportie fout).

Proportie goed is het aantal gekozen goede alternatieven gedeeld door het totaal aantal goede alternatieven.
Proportie fout is het aantal gekozen foute alternatieven gedeeld door het totaal aantal foute alternatieven.

De quotiëntregel geeft goede resultaten als gekeken wordt naar de psychometrische kwaliteitsindicatoren betrouwbaarheid en discriminerend vermogen. De regel heeft echter een nadeel. Wanneer een kandidaat alle alternatieven selecteert, levert deze regel altijd een score van 1/2 op.De proportie goed is dan 1 en de proportie fout is ook 1. Een kandidaat die het juiste antwoord op een vraag niet weet, kan dus altijd 50% van het aantal punten voor de betreffende vraag behalen.Vos en De Graaf (2008) stellen voor om in het geval van het selecteren van alle alternatieven door een kandidaat een alternatieve scoringsregel toe te passen:

S = totaal aantal goede alternatieven / totaal aantal alternatieven.

Het nadeel van deze constructie is dat de scores niet meer volgens een vast patroon op- en aflopen naarmate er meer of minder juiste en/of onjuiste alternatieven geselecteerd worden. De regel is daardoor minder transparant voor de kandidaat en de toetsontwikkelaar.

Voorbeeld van een meervoudige keuzevraag
Welke kleuren heeft de Nederlandse viag? (*juist)
A* blauw
B geel
C oranje
D* rood
E* wit

Productregel

Om bovenstaande nadelen van de quotiëntregel op te lossen, is in overleg met Vos een alternatieve regel ontwikkeld. Bij de quotiëntregel wordt gekeken naar zowel de proportie goed als de proportie fout. Echter, de score is altijd minimaal de helft van de proportie goed omdat de noemer in de formule van de quotiëntregel nooit groter dan 2 kan worden. Een alternatief zou kunnen zijn:

Score = proportie goed * (1 – proportie fout).

Deze regel heeft echter de eigenschap dat de score altijd 0 is wanneer de proportie fout gelijk is aan 1 (dus wanneer alle onjuiste alternatieven geselecteerd zijn). Dit is niet gewenst omdat men wil dat een kandidaat altijd meer punten krijgt, naarmate hij meer juiste alternatieven selecteert.Wanneer de kandidaat in de voorbeeldvraag antwoord ABC selecteert, krijgt hij volgens deze regel evenveel punten (0) als wanneer hij ABCD selecteert terwijl hij wel 6én extra juist alternatief heeft gekozen.
Bovengenoemd probleem is op te lossen door de proportie fout niet in zijn geheel mee te laten tellen, maar door dit afhankelijk te maken van het aantal juiste alternatieven ten opzichte van het aantal juiste alternatieven. De productregel wordt dan:

Score = proportie goed * (1 – proportie fout * (1/a + ((n-k)/n)*(1-1a)))

n:het totale aantal alternatieven; k: het aantal juiste alternatieven; a: weegfactor.

De factor 1/a geeft aan hoeveel van de proportie fout wordt meegenomen bij de berekening van de score. De waarde van a is groter dan of gelijk aan 1. Als a gelijk is aan 1 wordt de proportie fout volledig meegenomen. Bij een grotere waarde van a wordt een kleiner gedeelte van de proportie fout meegenomen. Dus hoe hoger de waarcle van a, hoe soepeler de regel wordt. Uit eigen onderzoek in samenwerking met Vos blijkt een waarde van 2 voor a de beste scoreregel op te leveren. De factor (n-k)/n is de proportie onjuiste alternatieven in de vraag. Deze factor bepaalt hoe zwaar de onjuiste alternatieven meetellen bij de berekening van de score. Zijn er veel onjuiste alternatieven, dan wordt deze factor groter en telt de proportie fout dus zwaarder mee.

Figuur 1

In figuur 1 wordt van een aantal varianten van meervoudige keuzevragen de uitwerking van de productregel gegeven. Zoals in figuur 1 te zien is, wordt de proportie fout inderdaad voor een steeds groter gedeelte meegenomen als er meer onjuiste alternatieven zijn. Bij vijf alternatieven waarvan er twee juist zijn (en dus drie onjuist), wordt de proportie fout voor 8/10 meegenomen en bij vijf alternatieven waarvan er vier juist zijn (en dus één onjuist) wordt de proportie fout maar voor 6/10 meegenomen. De aftrek per geselecteerd onjuist alternatief wordt echter kleiner naarmate er meer onjuiste alternatieven zijn. Bij drie onjuiste alternatieven is de proportie fout bij selectie van één alternatief maar 1/3 terwijl deze bij één onjuist alternatief 1/1 is. Dit is ook intuïtief correct. Als er meer onjuiste alternatieven zijn, dan moet het selecteren van één onjuist alternatief de kandidaat minder zwaar worden aangerekend dan wanneer er maar één onjuist alternatief is.

Scoring bij selectie van alle alternatieven

Doordat de mate van aftrek van de proportie fout nu variabel is, heeft het voor de kandidaat minder zin om bij een meervoudige keuzevraag waarvan hij het antwoord niet weet, standaard alle alternatieven te selecteren. Dit levert nog steeds punten op, maar vergelijkbaar met het gokken van antwoorden bij klassieke meerkeuzevragen. Bij een vraag met vier alternatieven waarvan er twee juist zijn, krijgt een kandidaat bij het selecteren van alle alternatieven bijvoorbeeld een score van 1/4. Dit is gelijk aan de kansscore op een klassieke meerkeuzevraag met vier alternatieven. Als de kandidaat van één alternatief zeker is en alleen dit selecteert, wordt een score van 1/2 toegekend. Dit is dus meer dan wanneer de kandidaat alle alternatieven had geselecteerd.

Quotiëntregel versus Productregel

Wanneer de quotiëntregel en de productregel met elkaar vergeleken worden, dan blijkt dat deze vergelijkbare scores opleveren. Ook de psychometrische kwaliteitsindicatoren betrouwbaarheid en discriminerend vermogen leveren gelijkwaardige waardes op. De productregel heeft dus dezelfde gunstige eigenschappen als de quotiëntregel, zonder het nadeel dat de kandidaat via een vaste strategie een zekere score kan behalen.

 

Dit artikel is verschenen in E-xamens in maart 2009 en geschreven door Edwin Terwisscha van Scheltinga. Edwin is nog steeds werkzaam als softwareontwikkelaar bij Teelen.