Kennisbank

Constructievoorschriften voor open vragen

Het is belangrijk dat open vragen relevant, objectief, specifiek en efficiënt zijn. De kwaliteitseisen aan een open vraag met en zonder situatiebeschrijving zijn hierbij gelijk. Om aan de kwaliteitseisen te voldoen helpt het om te werken met onderstaande constructievoorschriften. In ons boek Toetskwaliteit in de praktijk. Hoe maak ik goede toetsen met gesloten en open vragen? hebben wij deze constructievoorschriften nader uitgewerkt. Hieronder vind je een verkort overzicht van de voorschriften. Klik op het voorschrift/de voorschriften van je keuze voor meer informatie.

De situatiebeschrijving

Kwaliteitseis: Relevant

Constructeurs hebben vaak de neiging om een situatiebeschrijving in een toets ingewikkeld te maken of om een uitzonderlijke situatie te beschrijven. Je wil echter toetsen of kandidaten kunnen functioneren in de dagelijkse praktijk. Neem daarom ook een representatieve, veelvoorkomende situatie uit de praktijk en kies niet voor een uitzondering. Dit komt de authenticiteit van de toets ten goede. Daarnaast voorkomt het gebruiken van werkelijke situaties dat je veel tijd kwijt bent met het bedenken van een fictieve situatiebeschrijving.

Kwaliteitseis: Efficiënt

Een situatiebeschrijving bestaat soms uit een grote hoeveelheid documenten, tabellen of grafieken. Je kunt alle informatie die niet relevant is voor de vraag beter weglaten. Te veel informatie en vooral irrelevante informatie is onwenselijk, omdat het lezen, analyseren en selecteren van de informatie meestal niet specifiek is opgenomen in de toetstermen.

Daarom moet je voorkomen dat deze taken een (groot) deel van de kostbare toetstijd in beslag nemen. Ook moet je voorkomen dat dyslectische kandidaten, trage lezers of kandidaten met Nederlands als tweede taal te veel worden benadeeld. Probeer de situatiebeschrijving daarom zo kort mogelijk te houden en maak er geen ‘zoekpuzzel’ van. Pas wel op dat de bondigheid niet ten koste gaat van de duidelijkheid (zie constructievoorschrift Si-3).

Kwaliteitseis: Objectief

De beschrijving moet grammaticaal en qua spelling juist zijn. Daarnaast moet de beschrijving qua taalniveau aansluiten bij de doelgroep en moet je het gebruik van vage termen (bijvoorbeeld: voor langere tijd of enkele aspecten) vermijden (zie ook constructievoorschrift Ov-3).

Je kunt de informatie het beste zonder mogelijkheid tot interpretatie én zo objectief mogelijk weergeven. De interpretatie is namelijk juist vaak een belangrijke stap in de beantwoording van de vraag.

Kwaliteitseis: Specifiek/Efficiënt

De situatiebeschrijving moet informatie bevatten die nodig is om de vraag te kunnen beantwoorden. Deze informatie moet worden geïnterpreteerd en/of gecombineerd om tot het juiste antwoord te komen.

De vraag

Kwaliteitseis: Relevant

Stel dat de volgende toetsterm is opgenomen in jouw toetsmatrijs: de kandidaat kan omschrijven wat de gevolgen voor de patiënt zijn van het niet tijdig betalen van de eerste premie en de vervolgpremie van een zorg- en ziektekostenverzekering. De vraag in onderstaand voorbeeld sluit niet goed aan bij deze toetsterm.

Hoe het niet moet:
Situatiebeschrijving: Patiënt Boersen wordt na een ongeval opgenomen in het ziekenhuis. Nu blijkt dat hij de premie van zijn ziektekostenverzekering van die maand niet tijdig heeft betaald.

Vraag: Wie moet de kosten van de opname van patiënt Boersen betalen?

De vraag gaat inhoudelijk verder dan de toetsterm.

Hoe het wel moet:
Vraag: Wat is het gevolg van de opname voor patiënt Boersen? Beschrijf in maximaal 15 woorden.

Kwaliteitseis: Relevant

Stel dat de volgende toetsterm is opgenomen in uw toetsmatrijs: de kandidaat kan de regels opsommen voor het verstrekken van een beginnersrijbewijs (K). De vraag in onderstaand voorbeeld is dan op het verkeerde niveau gesteld.

Hoe het niet moet:
Situatiebeschrijving: Situatiebeschrijving waarin een burger van 16 jaar een beginnersrijbewijs wil.
Vraag: Mag u in deze situatie een beginnersrijbewijs verstrekken?

De gestelde vraag is geen kennisvraag, maar een toepassingsvraag.

Hoe het wel moet:
Vraag: Vanaf welke leeftijd komen burgers in aanmerking voor een beginnersrijbewijs?

Kwaliteitseis: Objectief/Efficiënt

De vraag moet grammaticaal en qua spelling juist zijn. Daarnaast moet de vraag qua taalniveau aansluiten bij de doelgroep en moet je het gebruik van vage termen vermijden (zie ook constructie voorschrift Si-3). Zorg ervoor dat de vraag leidt tot het gewenste antwoord.

Hoe het niet moet:
Vraag: Kun je de vier functies van het document aan de klant noemen?
Vraag: De aarde warmt op. Zal het waterpeil van de Noordzee hierdoor stijgen of dalen?

Bij deze formulering van de vragen volstaat het antwoord ‘ja’ en zijn het dus eigenlijk gesloten vragen. En dat was natuurlijk niet de bedoeling van de constructeur.

Hoe het wel moet:
Vraag: Wat zijn de functies van het document?
Vraag: De aarde warmt op. Welk gevolg heeft dit voor het waterpeil van de Noordzee?
Of als gesloten vraag: De aarde warmt op. Welk gevolg heeft dit voor het waterpeil van de Noordzee?
A. het waterpeil blijft gelijk
B. het waterpeil zal dalen
C. het waterpeil zal stijgen

Probeer bij de vraag duidelijke antwoordinstructies of -restricties te geven, zodat precies duidelijk is welk antwoord je verwacht. De antwoordinstructie in onderstaand voorbeeld is niet duidelijk.

Kwaliteitseis: Efficiënt

Een vraag met twee problemen of vraagstellingen is vaak verwarrend voor de kandidaat.

Hoe het niet moet:
Vraag: Wat is iteratie en waarvoor wordt dit gebruikt? (1 punt)

Hier worden feitelijk twee vragen gesteld. Als de kandidaat niet kan omschrijven wat iteratie is, dan kan hij waarschijnlijk ook niet benoemen waarvoor dit wordt gebruikt. Je kunt dus net zo goed alleen vragen naar de functie van iteratie. Een bijkomend voordeel is dat het dan niet nodig is om 1 punt te verdelen over de twee deelantwoorden.

Hoe het wel moet:
Vraag: Met welk doel wordt iteratie gebruikt bij kwantitatieve onderzoeken? (1 punt)

Kwaliteitseis: Efficiënt

Een positief geformuleerde vraag is makkelijker leesbaar. Door een ontkenning wordt een vraag soms onbedoeld moeilijk

Hoe het niet moet:
Opdracht: Arceer in onderstaand overzicht twee besluiten die aantonen dat het niet juist is om te beweren dat de lokale politiek in Kleinpolder zich niet meedenkend opstelt richting de ondernemers in het MKB.

In dit voorbeeld is zelfs sprake van een dubbele ontkenning, wat de vraag haast onleesbaar maakt. Vermijd daarom ontkenningen en probeer een vraag altijd positief te formuleren. Negatieve vragen zijn vaak makkelijk om te zetten naar positieve.

Hoe het wel moet:
Opdracht: De lokale politiek in Kleinpolder stelt zich meedenkend op richting de ondernemers in het MKB. Arceer in onderstaand overzicht twee besluiten waaruit dit blijkt.

Kwaliteitseis: Objectief

De vraag mag de kandidaat geen ruimte geven om een andere interpretatie te kiezen dan die van de constructeur. Vaak leidt dit ertoe dat meer antwoorden goed zouden moeten worden gerekend dan het antwoordmodel voorschrijft.

Hoe het niet moet:
Vraag: Waarom beoordeelt een baliemedewerker de pasfoto van een burger aan de hand van het fotomatrixmodel bij de aanvraag van een reisdocument?

Deze vraag kan door verschillende delen te benadrukken tot verschillende antwoorden leiden:

  • nadruk op ‘waarom’: om te controleren of de pasfoto aan de eisen voldoet;
  • nadruk op ‘een baliemedewerker’: omdat deze persoon de aanvraag verwerkt;
  • nadruk op ‘de pasfoto’: omdat bij de aanvraag een pasfoto moet worden ingeleverd die aan de eisen voldoet;
  • nadruk op ‘aan de hand van het fotomatrix model’: omdat dit is vereist in de paspoortuitvoeringsregeling of omdat dit zorgt voor uniforme beoordelingen van pasfoto’s.

Een kandidaat kan op deze vraag vanuit zijn eigen interpretatie een juist antwoord geven, dat echter niet het bedoelde antwoord is en ook niet in het antwoordmodel staat. De vraag is dus onvoldoende duidelijk.

Hoe het wel moet:
Vraag: Bij de aanvraag van een reisdocument moet een baliemedewerker de pasfoto van de burger controleren aan de hand van het fotomatrixmodel. Waarom moeten baliemedewerkers dit model hanteren? Noem één reden.

Je ziet dat de vraag hier is gesplitst in een informatiegedeelte en een vraaggedeelte. Dit helpt om de vraag duidelijker te formuleren

Kwaliteitseis: Specifiek

De context of het voorbeeld moet zo algemeen mogelijk worden gekozen, zodat kandidaten bij het beantwoorden van de vraag geen voor- of nadeel ondervinden door hun leeftijd, sekse, cultuur, geloof en dergelijke.

Hoe het niet moet:
Situatiebeschrijving: Situatiebeschrijving over make-up, waarin het assortiment en de marketingstrategie van verschillende make-up merken uitgebreid worden beschreven.
Vraag: Welke verschillen zijn ontstaan uit verschillende marketingstrategieën van het assortiment van het merk Flashy en dat van het merk MyLooks? Noem er drie.

Deze vraag kan de vrouwelijke kandidaten bevoordelen, omdat zij waarschijnlijk beter bekend zijn met make-up assortimenten en mogelijk ook met deze merken en hun producten en imago’s. Het is daarom beter om voor een algemener product te kiezen, bijvoorbeeld fietsen of tandenborstels.

Het antwoordmodel

Kwaliteitseis: Objectief

Of aan dit constructievoorschrift is voldaan, ligt vaak aan de vraag en niet zozeer aan het antwoord model. De vraag is dan zodanig gesteld dat antwoorden die niet in het antwoordmodel staan toch verdedigbaar zijn. Bij kwaliteitseis Ov-6 zijn hiervan voorbeelden opgenomen. Maar ook het antwoordmodel zelf moet zodanig zijn geformuleerd dat er geen discussie kan ontstaan.

Hoe het niet moet:
Vraag: Wie was een betere minister-president: Wim Kok of Jan Peter Balkenende? Geef twee argumenten voor je keuze.
Antwoordmodel: Wim Kok (1 punt).
De volgende argumenten zijn 1 punt waard.

  • Omdat hij van de PvdA was.
  • Omdat hij meer ervaring had.
  • Omdat onder hem minder kabinetten zijn gevallen.
  • Omdat hij eerst vakbondsleider is geweest.
  • Omdat hij meer heeft bereikt op het gebied van de werkgelegenheid

Over dit antwoordmodel kan discussie ontstaan. Ten eerste zal niet elke deskundige het eens zijn met het correcte antwoord en ook op een deel van de argumenten is nogal wat af te dingen. Het antwoordmodel moet zodanig zijn geformuleerd, dat elke beoordelaar én elke deskundige zich erin kan vinden.

Hoe het wel moet:
Vraag: Wie was een betere minister-president: Wim Kok of Jan Peter Balkenende? Geef twee argumenten voor je keuze.
Antwoordmodel: De kandidaat krijgt geen punten voor de gemaakte keuze. Beide antwoorden zijn even correct. De punten worden gegeven voor de argumentatie.
Instructies: Beoordeel alleen de eerste twee argumenten als de kandidaat er meer geeft. Een correct gebruikt argument dat voldoende aansluit bij de keuze is 1 punt waard. Denk daarbij aan:

  • een waardering van de leidinggevende capaciteiten;
  • een waardering van de kwaliteit van de kabinetten;
  • een waardering van de duur van de kabinetten of de totale regeerperiode;
  • een waardering van het gevoerde beleid.

Kwaliteitseis: Objectief

Het doel van een antwoordmodel is zorgen dat dezelfde beoordelaar de antwoorden van (verschillende) kandidaten steeds op een vergelijkbare manier beoordeelt, maar ook dat verschillende beoordelaars hetzelfde antwoord zo gelijk mogelijk beoordelen. In paragraaf 8.5 van het boek lees je meer over deze intrabeoordelaarsbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Om deze betrouwbaarheid zo groot mogelijk te maken, is het van belang dat je van tevoren exact vastlegt hoe het juiste antwoord eruit moet zien (welke onderdelen minimaal in het antwoord aanwezig moeten zijn).

Hoe het niet moet:
Antwoordmodel: Jan is een derde generatie allochtoon, artikel 3 RWN lid 3 (5 punten).

In bovenstaand voorbeeld is onduidelijk welke delen van het modelantwoord punten opleveren. Het is beter deze delen duidelijk te markeren, bijvoorbeeld door ze te onderstrepen. Daarnaast is onduidelijk hoe de 5 punten worden verdeeld over de verschillende delen van het modelantwoord. Ook ontbreken instructies voor de beoordelaar over hoe om te gaan met afwijkingen, zoals andere formuleringen of fouten in het antwoord.

Hoe het wel moet:
Antwoordmodel: Jan is een derde generatie allochtoon (1p).

  • ook goed: zoon van een tweede generatie allochtoon;
  • ook goed: Jan’s familie woont al twee generaties in Nederland.
  • Volgens de Rijkswet op het Nederlanderschap (1p), artikel 3 (1p) lid 3 (2p).
  • Fout moet worden gerekend: Jan is een Nederlander, want zijn vader heeft de Nederlandse identiteit.

Kwaliteitseis: Objectief

Het doel van een antwoordmodel is zorgen dat dezelfde beoordelaar de antwoorden van (verschillende) kandidaten steeds op een vergelijkbare manier beoordeelt, maar ook dat verschillende beoordelaars hetzelfde antwoord zo gelijk mogelijk beoordelen.

In paragraaf 8.5 van het boek lees je meer over deze intrabeoordelaarsbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Om deze betrouwbaarheid zo groot mogelijk te maken, is het van belang dat je van tevoren exact vastlegt hoe het juiste antwoord eruit moet zien (welke onderdelen minimaal in het antwoord aanwezig moeten zijn).

Hoe het niet moet:
Antwoordmodel: Jan is een derde generatie allochtoon, artikel 3 RWN lid 3 (5 punten).

In bovenstaand voorbeeld is onduidelijk welke delen van het modelantwoord punten opleveren. Het is beter deze delen duidelijk te markeren, bijvoorbeeld door ze te onderstrepen. Daarnaast is onduidelijk hoe de 5 punten worden verdeeld over de verschillende delen van het modelantwoord. Ook ontbreken instructies voor de beoordelaar over hoe om te gaan met afwijkingen, zoals andere formuleringen of fouten in het antwoord.

Hoe het wel moet:
Antwoordmodel: Jan is een derde generatie allochtoon (1p).

  • ook goed: zoon van een tweede generatie allochtoon;
  • ook goed: Jan’s familie woont al twee generaties in Nederland.
  • Volgens de Rijkswet op het Nederlanderschap (1p), artikel 3 (1p) lid 3 (2p).
  • Fout moet worden gerekend: Jan is een Nederlander, want zijn vader heeft de Nederlandse identiteit.

Kwaliteitseis: Objectief

Het doel van een antwoordmodel is zorgen dat dezelfde beoordelaar de antwoorden van (verschillende) kandidaten steeds op een vergelijkbare manier beoordeelt, maar ook dat verschillende beoordelaars hetzelfde antwoord zo gelijk mogelijk beoordelen.

In paragraaf 8.5 van het boek lees je meer over deze intrabeoordelaarsbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Om deze betrouwbaarheid zo groot mogelijk te maken, is het van belang dat je van tevoren exact vastlegt hoe het juiste antwoord eruit moet zien (welke onderdelen minimaal in het antwoord aanwezig moeten zijn).

Hoe het niet moet:
Antwoordmodel: Jan is een derde generatie allochtoon, artikel 3 RWN lid 3 (5 punten).

In bovenstaand voorbeeld is onduidelijk welke delen van het modelantwoord punten opleveren. Het is beter deze delen duidelijk te markeren, bijvoorbeeld door ze te onderstrepen. Daarnaast is onduidelijk hoe de 5 punten worden verdeeld over de verschillende delen van het modelantwoord. Ook ontbreken instructies voor de beoordelaar over hoe om te gaan met afwijkingen, zoals andere formuleringen of fouten in het antwoord.

Hoe het wel moet:
Antwoordmodel: Jan is een derde generatie allochtoon (1p).

  • ook goed: zoon van een tweede generatie allochtoon;
  • ook goed: Jan’s familie woont al twee generaties in Nederland.
  • Volgens de Rijkswet op het Nederlanderschap (1p), artikel 3 (1p) lid 3 (2p).
  • Fout moet worden gerekend: Jan is een Nederlander, want zijn vader heeft de Nederlandse identiteit.

Kwaliteitseis: Relevant

Alleen constructievoorschrift An-5 lichten we niet verder toe, omdat dit een relatie heeft met een specifieke toetsmatrijs.

Ga naar de inhoud