Constructievoorschriften voor opdrachten

Kwaliteitseis: Relevant

Elke opdracht met bijbehorende beoordelingscriteria moet zijn terug te voeren op één of meer toetstermen en bijbehorende gedragsniveaus uit de toetsmatrijs. Meer informatie hierover vind je in hoofdstuk 4 van het boek. Ook het niveau moet goed worden bepaald en verantwoord. Bij een te moeilijke opdracht kunnen minder goede kandidaten niet laten zien over welke kennis en vaardigheden ze wellicht wel beschikken. Omgekeerd, bij een te makkelijke opdracht kunnen goede kandidaten niet demonstreren waartoe ze echt in staat zijn.

Kwaliteitseis: Relevant

Constructeurs hebben vaak de neiging om een opdracht extra ingewikkeld te maken of om een bijzondere situatie te selecteren. Je wilt echter toetsen of kandidaten kunnen functioneren in de dagelijkse praktijk. Neem daarom ook een representatieve praktijksituatie. Dit komt de authenticiteit van de opdracht ten goede.

Het gebruik van werkelijke situaties voorkomt dat je veel tijd kwijt bent met het bedenken van een fictieve situatiebeschrijving. In sommige gevallen kun je ervoor kiezen om juist wel een minder vaak voorkomende praktijksituatie te gebruiken, bijvoorbeeld omdat je wil zien hoe een kandidaat handelt in geval van een calamiteit.

Kwaliteitseis: Specifiek

De context moet zo algemeen mogelijk worden gekozen, zodat kandidaten bij het maken van de opdracht geen voordeel of nadeel ondervinden door hun leeftijd, sekse, cultuur, geloof en dergelijke. Jongens en meisjes hebben bijvoorbeeld verschillende interesses, waardoor hun voorkennis verschilt.

Je moet er bij een schrijfopdracht dan ook op letten dat u onderwerpen aanbiedt die iedereen aanspreken. Kandidaten van verschillende etnische afkomst kunnen verschillen in opvattingen over, of ervaringen met hiërarchische relaties. Daartegenover staat dat een opdracht niet te makkelijk mag worden voor specifieke kandidaten omdat het een onderwerp betreft waar ze (persoonlijke) affiniteit mee hebben.

Kwaliteitseis: Objectief

Vanzelfsprekend is het voor elke opdracht belangrijk dat er voldoende tijd beschikbaar is voor kandidaten om de gehele opdracht te kunnen maken. Voor opdrachten is het inschatten van de benodigde tijd lastiger dan voor toetsen met vragen. Probeer, indien mogelijk, de opdracht uit bij bijvoorbeeld een collega. Op deze manier kun je inschatten of de tijd, voorzien voor de opdracht, realistisch is.

Daarnaast kun je direct controleren of de opdracht en het beoordelingsmodel helder en volledig zijn, of het niveau van de opdracht niet te hoog of te laag is en of het beoordelingsmodel goed bruikbaar is. Houd er wel rekening mee dat de opdracht handelingen kan betreffen die de kandidaat nog niet heeft geautomatiseerd en de docent wel.

Kwaliteitseis: Objectief/Efficiënt/Transparant

Voor zowel de kandidaat als alle andere betrokkenen bij het afnameproces moet uit een instructie blijken wat de kaders zijn waarbinnen de opdracht moet worden uitgevoerd en beoordeeld. Betrokkenen zijn bijvoorbeeld: een afnameleider, acteur of beoordelaar. In de volgende paragrafen lees je meer over de eisen waaraan dergelijke instructies moeten voldoen.

Kwaliteitseis: Efficiënt

Deze instructie bestaat soms uit een grote hoeveelheid informatie. Ook komt het vaak voor dat de informatie is versnipperd, doordat deze verspreid is over verschillende informatiebronnen zoals bijvoorbeeld de (studie)handleiding, het moduleboek en/of de digitale leeromgeving.

Je kunt alle informatie die niet relevant is voor de opdracht beter weglaten. Te veel informatie en vooral irrelevante informatie is onwenselijk, om het lezen, analyseren en selecteren van de informatie meestal niet specifiek is opgenomen in de toetstermen.

Daarom moet je voorkomen dat deze taken een (groot) deel van de kostbare toetstijd in beslag nemen. Ook moet je voorkomen dat dyslectische kandidaten, trage lezers of kandidaten met Nederlands als tweede taal te veel worden benadeeld. Probeer de instructie daarom zo kort mogelijk te houden en maak er geen ‘zoekpuzzel’ van.

Kwaliteitseis:Objectief/Efficiënt/Transparant

In het kader van transparantie moet de kandidaat weten wat het doel is van de opdracht. Dit blijkt vanzelfsprekend uit de bijbehorende toetsterm. De beschrijving van het doel is dan ook vaak een meer concrete uitwerking van de toetsterm. Daarnaast is het van belang dat in de instructie duidelijk wordt vermeld naar welk resultaat, meestal in de vorm van een product, wordt toegewerkt.

Voorbeelden van producten zijn een communicatieplan, een adviesnota, een risicoanalyse, een softwareapplicatie of een huisstijlproductie.

Kwaliteitseis: Objectief/Efficiënt/Transparant

Naast de doelstelling en het verwachte resultaat moet de instructie een beschrijving geven van wat de kandidaat kan verwachten, bijvoorbeeld een beschrijving van een bepaalde situatie waarin hij moet handelen. Daarnaast moet de instructie beschrijven wat de kandidaat moet doen (uit te werken onderdelen, te ondernemen stappen) om te komen tot het gewenste resultaat.

Kwaliteitseis: Objectief/Efficiënt/Transparant

De instructie moet informatie bevatten over de manier waarop de opdracht moet worden uitgevoerd (bijvoorbeeld individueel/in groepen, digitaal/mondelinge presentatie/op papier) en welke hulpmiddelen de kandidaat mag gebruiken (bijvoorbeeld wetboeken, rekenmachine, softwarepakket, UV-lamp, soort schoenen, kleding, te hanteren meetinstrumenten).

Daarnaast moet worden beschreven in welke vorm de uitwerking moet worden aangeleverd (bijvoorbeeld een document in MS Word), op welke manier (via e-mail of een leeromgeving) en op welk moment (deadline) deze moet worden ingeleverd. De laatste drie onderdelen noemen we ook wel een inleverinstructie.

Kwaliteitseis: Objectief/Specifiek/Transparant

Niet alleen de beoordelaar, ook de kandidaat moet weten waarop hij wordt beoordeeld. Dit komt de transparantie van de opdracht ten goede. Je kunt er voor kiezen het beoordelingsmodel aan kandidaten beschikbaar te stellen. Dat is afhankelijk van de mate van uitwerking van dit model.

Je kunt er ook voor kiezen een samenvatting te geven (en bijvoorbeeld de categorieën/onderdelen met de bijbehorende weging te vermelden). Als er cruciale criteria zijn in de beoordeling moet dit heel duidelijk worden vermeld.

Kwaliteitseis: Objectief

Alle betrokkenen moeten een concrete beschrijving krijgen van de kaders van de opdracht: wat moeten zij doen en/of wat mogen zij juist niet doen. Voor de afnamecoördinator is het van belang dat hij snel overzicht heeft over wat er nodig/belangrijk is voor de afname van de opdracht (materialen, acteur(s), specifieke aandachtspunten voor de beoordeling). Ook moet de afnamecoördinator of de begeleider weten hoe lang de opdracht duurt en hoe streng de afnametijd moet worden gehandhaafd.

Kwaliteitseis: Relevant/Specifiek

Elke toetsterm moet worden beoordeeld volgens de toetsmatrijs, dat wil zeggen dat er minimaal één beoordelingscriterium voor elke toetsterm in het beoordelingsmodel moet worden opgenomen (tenzij er met marges of clusters wordt gewerkt). Vrijwel altijd wordt een toetsterm in meer dan één beoordelingscriterium uitgewerkt.

Kwaliteitseis: Objectief

Deze instructie is erop gericht zoveel mogelijk eenduidigheid in de beoordelingen te verkrijgen, als aanvulling op de beoordelingscriteria.

Instructies voor de beoordelaar, naast de beoordelingscriteria, zijn bijvoorbeeld:

• voorbeelduitwerkingen;
• een alternatieve formulering of een alternatief antwoord dat ook goed mag worden gerekend;
• antwoorden die echt fout zijn;
• informatie over uitzonderingen;
  • Moeten er punten worden afgetrokken voor spelling- of grammaticafouten? Zo ja: hoeveel?
  • Wat moet de beoordelaar doen als de kandidaat meer heeft gedaan dan in de opdracht werd gevraagd, maar daarbij wel een paar fouten heeft gemaakt?
  • Wat moet de beoordelaar doen als de opdracht is uitgevoerd in een context die complexer is dan eigenlijk de bedoeling was en daardoor fouten zijn gemaakt?
  • Moeten er punten worden afgetrokken als de kandidaat meer of minder woorden gebruikt dan in de instructie is aangegeven? Zo ja: hoeveel?

Als het beoordelingsmodel ruimte biedt voor het geven van feedback of het plaatsen van opmerkingen bij de beoordeling, geeft u in de instructie ook aan hoe de beoordelaar hiermee moet omgaan. Is de feedback bedoeld voor de kandidaat, of zijn het bijvoorbeeld alleen persoonlijke aantekeningen die de beoordelaar gebruikt als hij zijn beoordeling bespreekt met de medebeoordelaar of de kandidaat? Moet de beoordelaar feedback of een opmerking plaatsen bij elk criterium? Het is in ieder geval belangrijk dat de feedback en/of opmerkingen aansluiten bij het gegeven oordeel.

Kwaliteitseis: Objectief

Als criteria zó belangrijk (essentieel) zijn, dat ze niet mogen ontbreken of niet onvoldoende mogen zijn, spreken we van ‘cruciale criteria’. Dergelijke criteria worden ook wel voorwaardelijke criteria, knock-outcriteria of go/no-go-criteria genoemd. Vaak gaan deze criteria over de vormaspecten, maar ze kunnen ook over de inhoud van de uitwerking gaan of over cruciale handelingen (zoals medische of technische veiligheidsprocedures).

Als de uitwerking niet compleet is of aan één of meer van deze criteria niet voldoet, dan wordt de uitwerking niet verder beoordeeld en/of als onvoldoende beoordeeld. Dit moet heel duidelijk aan de kandidaat worden meegedeeld.

Cruciale criteria moeten geheel objectief kunnen worden beoordeeld. Als er sprake is van cruciale criteria, dan moet dit duidelijk worden vermeld aan het begin van het beoordelingsmodel. Een beoordelaar hoeft bij een onvoldoende score op een cruciaal criterium de opdracht niet verder na te kijken en bij een beoordeling tijdens de uitvoering kan de opdracht eventueel worden afgebroken.

Kwaliteitseis: Relevant

Alle beoordelingscriteria moeten een directe relatie hebben met een toetsterm uit de toetsmatrijs (zie ook constructievoorschrift Op-1).

Toetsterm: De kandidaat kan foto’s bewerken.

Bijbehorende beoordelingscriteria:

• De kandidaat voegt foto’s samen tot één beeld.
• De kandidaat past de kleur, verzadiging en tint van de foto aan.
• De kandidaat past de afmeting van de foto aan.

Als bijvoorbeeld vormaspecten meetellen in de beoordeling, dan moeten daarover dus ook één of meer toetstermen zijn opgenomen in de toetsmatrijs. Als dit niet het geval is, moeten dus óf de vormaspecten worden verwijderd als beoordelingscriteria óf moet hierover een toetsterm worden toegevoegd.

Kwaliteitseis: Objectief

Door eerst het beoordelingsmodel met beoordelingscriteria uit te werken en pas daarna de opdracht met instructies te ontwikkelen, is de kans groot dat alle beoordelingscriteria te beoordelen zijn aan de hand van de opdracht. Je kunt dan ook heel gericht toewerken naar het einddoel. In de praktijk zal (een gedeelte van) het ontwikkelen van het beoordelingsmodel en de opdrachtinstructie gelijk oplopen.

Het is daarom belangrijk om deze tijdens het ontwikkelen regelmatig naast elkaar te leggen. Als dan blijkt dat je een beoordelingscriterium hebt ontwikkeld dat nog niet in de opdracht staat, kun je twee kanten op: of je besluit het criterium niet meer te beoordelen, dus te verwijderen uit jouw beoordelingsmodel, of je besluit de instructie uit te breiden, zodat de opdrachtuitwerking wel op het criterium kan worden beoordeeld.

Kwaliteitseis: Objectief

Voor het formuleren van beoordelingscriteria gelden dezelfde regels als voor het formuleren van toetstermen (zie paragraaf 3.3 van het boek). Niet-concrete naamwoorden en werkwoorden zijn niet meetbaar en dus niet objectief. Omdat beoordelingscriteria een uitwerking zijn van toetstermen is het bij beoordelingscriteria zelfs nog belangrijker om objectief te formuleren.

Omdat bij opdrachten de situatie en de uitwerking per kandidaat zal verschillen, is het niet mogelijk om beoordelingscriteria volledig objectief te formuleren. Daarom is de rol van de beoordelaar bij opdrachten groter en is zijn expertise dus nog belangrijker dan bij het beoordelen van open vragen. Toch blijft het belangrijk de beoordelaar aan de hand van het beoordelingsmodel zo objectief mogelijk te laten beoordelen. Het toevoegen van goede, maar soms juist ook foute voorbeelden kan daarbij helpen (zie ook paragraaf 5.4.4 in het boek).

Kwaliteitseis: Objectief

Een beoordelingscriterium moet zoveel mogelijk enkelvoudig worden beschreven, dus maar één te beoordelen aspect bevatten. Anders is voor de beoordelaar onduidelijk welk deel van het criterium moet worden beoordeeld en voor de kandidaat onduidelijk welk deel van het criterium al dan niet is behaald.

Kwaliteitseis: Objectief

Het beste uitgangspunt voor het toekennen van punten is één punt per beoordelingscriterium. Vaak zien we dat in beoordelingsmodellen wordt opgeteld tot een afgerond aantal punten, het liefst honderd punten, omdat dat eenvoudig is om te zetten in een cijfer. Dit aantal punten past echter vaak niet goed bij het aantal beoordelingscriteria van de opdracht. Zo kunnen er bijvoorbeeld meer of juist minder punten worden behaald dan het aantal criteria. Vier punten toekennen aan een onderwerp dat vijf beoordelingscriteria bevat, is lastig uitvoerbaar.

Als de beoordelaar bij een beoordelingscriterium meer dan één aspect moet beoordelen, maak dan duidelijk wat de beoordelaar moet scoren als de kandidaat dit gedeeltelijk goed heeft. Bij het scoringsvoorschrift uit bovenstaand voorbeeld, zou bij strikte beoordeling aan een opdrachtuitwerking met een beschrijving van twee uitzonderingen 0 punten moeten worden toegekend. Minder strikte beoordelaars zullen waarschijnlijk ervoor kiezen 1 punt per uitzondering toe te kennen, in dit geval dus 2 van de 3 punten.

Om de beoordeling objectiever te maken, kun je bijvoorbeeld één van de volgende instructies toevoegen:

• Let op! Als een uitwerking minder dan drie uitzonderingen bevat, mag je geen punten toekennen.
• Voor elke juist beschreven uitzondering mag je 1 punt toekennen met een maximum van 3 punten.

Als je werkt met meer schaalpunten, maak dan voor de beoordelaar zo duidelijk mogelijk wanneer welk schaalpunt moet worden gekozen. In bovenstaand voorbeeld is het onduidelijk wanneer een criterium onvoldoende, voldoende of goed is. Bij bepaalde criteria (bijvoorbeeld het vermelden van namen en de instelling) is zelfs geen onderscheid tussen voldoende en goed mogelijk. Een tweepuntschaal (onvoldoende/voldoende of aanwezig/niet aanwezig) is daar meer geschikt. In paragraaf 5.5 van het boek lees je meer over het kiezen van een passende beoordelingsschaal.

Daarnaast moet je duidelijk vermelden hoeveel punten aan de criteria moeten worden toegekend. In het voorbeeld is per schaalpunt aangegeven wanneer de beoordelaar dit moet kiezen én hoeveel punten hij dan moet toekennen.

Kwaliteitseis: Objectief

De beoordelingscriteria moeten worden afgestemd op de toetsmatrijs (zie paragraaf 4.3 in het boek). De weging van de toetstermen in de toetsmatrijs bepaalt het aantal beoordelingscriteria en eventueel de weging ervan. We adviseren je om liever te kiezen voor meer beoordelingscriteria dan voor het zwaarder laten meewegen van beoordelingscriteria. Je geeft de kandidaat dan meer kansen om aan te tonen specifieke kennis of vaardigheden te bezitten.

Kwaliteitseis: Objectief

Er zijn verschillende soorten beoordelingsschalen: de holistische schaal versus de analytische schaal en de numerieke schaal versus de descriptieve schaal. Deze schalen zijn weer onder te verdelen in dichotome versus polytome schalen.

Een beoordelingsschaal is holistisch wanneer er naar het geheel wordt gekeken en niet naar de som van de verschillende onderdelen waaruit het geheel is opgebouwd. Een holistische beoordeling is met name bruikbaar als je snel een beeld wilt krijgen van de geleverde prestatie en je de kwaliteit van het product of het proces in één algemene dimensie kunt uitdrukken.

Een analytische beoordelingsschaal houdt in dat beoordelingsaspecten van een vaardigheid of beroepstaak afzonderlijk worden onderscheiden en beoordeeld.

Een analytische beoordelingsschaal past bij situaties waarin nauwkeurig moet worden vastgesteld of kandidaten kritische aspecten of deelvaardigheden beheersen of wanneer er sprake is van één juiste aanpak of oplossing. In dit geval zijn er duidelijk omschreven toetstermen en eenduidige beoordelingsmodellen. Een analytische beoordelingsschaal kun je ook gebruiken als je kandidaten van tevoren een duidelijk beeld wilt geven van de eisen waaraan hun prestatie moet voldoen.

De kandidaten kunnen daarmee zelf de kwaliteit van hun product en/of het proces beoordelen.Dit past bij een onderwijsaanpak waarin complexe vaardigheden stapsgewijs worden aangeleerd.

Een numerieke beoordelingsschaal bevat alleen getallen die een score vertegenwoordigen. Een descriptieve beoordelingsschaal bevat naast schaalpunten (getallen of niveau-omschrijvingen) een omschrijving van de kwaliteit van de uitwerking van de opdracht. Een beoordelingsschaal met dergelijke omschrijvingen wordt ook wel een rubric genoemd. Een rubric (AASL en AECT, 1998) is een beoordelingsschaal bestaande uit twee dimensies: de beoordelingscriteria (verticaal) en de beoordelingsniveaus (horizontaal).