Toetsvragen maken met behulp van AI

Door Jaap Brunnekreef, adviseur leren & toetsen én trainer bij Teelen

In mijn trainingen besteed ik veel aandacht aan het ontwikkelen van goede toetsvragen. Tegenwoordig komt daar een nieuwe dimensie bij: het gebruik van AI (Artificial Intelligence). Ik zie het als een positieve ontwikkeling dat AI docenten kan ondersteunen bij het maken van kwalitatief goede toetsvragen. 

Hoewel de docent altijd in de lead blijft, kan AI een waardevolle rol spelen in het ontwikkelproces. Het helpt niet alleen bij het formuleren van vragen, maar kan ook bijdragen aan variatie en diepgang. Dit verlaagt de werkdruk voor docenten en zorgt er tegelijk voor dat de deelnemers aan je onderwijs profiteren van beter doordachte toetsvragen. Een mooie kans op verbetering dus!

In deze blog deel ik de ervaringen die ik heb opgedaan tijdens mijn trainingen met het genereren van toetsvragen met behulp van AI.

Waar begin je?

Het lijkt eenvoudig om AI te vragen om toetsvragen voor je te maken, maar écht goede vragen ontstaan niet vanzelf. Daar is meer voor nodig dan een simpele prompt.

Allereerst is het belangrijk om AI duidelijk te maken vanuit welke rol de toetsvragen moeten worden ontwikkeld. Geef daarom aan voor welk vak of onderwerp je docent bent. Vervolgens is het essentieel dat de vragen aansluiten bij het niveau van de deelnemers aan jouw onderwijs. Laat AI dus ook weten voor welke doelgroep de toetsvragen bedoeld zijn.

Leerdoelen

Daarnaast is het belangrijk om in je prompt ook het leerdoel mee te nemen dat je wilt toetsen. Het leerdoel vormt immers de basis van je toetsvraag: je toetst of de kandidaat het gestelde leerdoel beheerst.

Bij een leerdoel (ook wel toetsterm genoemd) gaat het om een beschrijving van de inhoud van de leerstof, gekoppeld aan een bepaald taxonomieniveau. De kandidaat kan de werking van een elektrische installatie uitleggen of de kandidaat kan veranderingen in de toestand van een patiënt interpreteren.

Het taxonomieniveau fungeert als een soort kapstok waaraan je leerdoelen kunt ophangen. Veel taxonomieën kennen bovendien een opbouw in cognitieve complexiteit, van eenvoudig naar meer verdiepend denken. Wel je meer weten over de opbouw of cognitieve complexiteit? Lees dan onze vorige blog Hoe helpt de taxonomie van Bloom bij het maken van toetsvragen?

In Nederland wordt op middelbare scholen vaak gebruikgemaakt van taxonomieën zoals RTTI (Reproductie – Toepassing in een bekende situatie – Toepassing in een nieuwe situatie – Inzicht) en OBIT (Onthouden, Begrijpen, Integreren en Toepassen). Andere veel gebruikte taxonomieën in andere onderwijsinstellingen zijn; de taxonomie van SOLO (om te meten hoe diep iemand iets begrijpt), de taxonomie van Romiszowski (voor praktijkopdrachten) of de taxonomie van Kwakernaak (voor vreemdetalenonderwijs).

Mijn ervaring is echter dat je voor het opstellen van een goede prompt het beste kunt werken met de taxonomie van Bloom, omdat deze internationaal breed wordt toegepast. De taxonomie van Bloom biedt een helder en uitgebreid kader om leerdoelen te ordenen, waardoor je sneller en gerichter goede toetsvragen kunt formuleren. Het leerdoel (of de toetsterm) is daarmee een cruciale variabele die je altijd in je prompt moet opnemen.

Een eenvoudige prompt om toetsvragen te genereren kan dan de volgende structuur hebben:

1. Ik ben een docent [vakgebied of opleiding].
2. Ik geef les aan leerlingen op het niveau [opleiding, niveau, jaar].
3. Ik wil dat je open en/of gesloten toetsvragen voor me maakt die zijn gebaseerd op de volgende toetsterm [de leerling kan …. (inhoud stof) op ….. (taxonomieniveau van Bloom)].
4. (Eventueel) baseer de vragen op de volgende bron [bron toevoegen].
5. Ik wil dat je [XX-aantal] toetsvragen voor me maakt.

Constructievoorschriften

Wil je dat AI toetsvragen van nóg hogere kwaliteit genereert? Voeg dan specifieke kwaliteitseisen toe aan je prompt. Deze eisen kun je zien als constructievoorschriften en zijn gebaseerd op richtlijnen van Teelen voor het ontwikkelen van toetsvragen. 

Hieronder vind je de belangrijkste constructievoorschriften voor het opstellen van een toetsvraag:

Houd bij het formuleren van de vraag (de stam) rekening met:

• Gebruik eenvoudige taal: vermijd moeilijke en weinig voorkomende woorden en beeldspraak. 
• Gebruik korte zinnen: splits lange zinnen op en voorkom het gebruik van bijzinnen. 
• Zorg dat de vraag aansluit bij de inhoud en het niveau van de toetsterm (baseer de vraag op het handelingswerkwoord uit de taxonomie van Bloom). 
• Vermijd ontkenningen in de vraag. Als je ze toch gebruikt, benadruk de ontkenning dan duidelijk, bijvoorbeeld door deze vetgedrukt of onderstreept weer te geven (niet of niet). 
• Ontwikkel geen vragen die onderling afhankelijk zijn of sterk op elkaar lijken (voorkom dubbelingen). 

Wanneer je kiest voor een multiplechoicevraag (één-uit-meer of meer-uit-meer), is het belangrijk om rekening te houden met de volgende constructievoorschriften voor de antwoordalternatieven (de juiste en foute antwoorden). 

Zorg dat alle antwoordalternatieven (de sleutel en afleiders): 

• In alfabetische volgorde staan. 
• Onderling vergelijkbaar (homogeen) zijn wat betreft lengte, zinsbouw, stijl en complexiteit. 
• Geen herhaling van de stam bevatten: vermijd onnodig hergebruik van woorden of zinsdelen uit de vraag. 
• Geen signaalwoorden bevatten: vermijd absolute formuleringen zoals ‘nooit’, ‘altijd’, ‘alle’ of vage termen zoals ‘vaak’ en ‘soms’. 

Tot slot

Mijn ervaring is dat het genereren van toetsvragen met AI vooral vraagt om experimenteren. Door je prompt telkens verder aan te scherpen, krijg je steeds betere resultaten. 

Wanneer je een prompt hebt gevonden die goed werkt, is het verstandig om deze op te slaan. Zo kun je de prompt eenvoudig hergebruiken en bespaar je tijd bij het ontwikkelen van nieuwe toetsvragen met AI. Daarnaast is het ook mogelijk om AI een applicatie (app) te laten bouwen die automatisch toetsvragen voor je genereert. De basisstappen die we hierboven hebben gedeeld kun je hier uiteraard in verwerken.