Steeds meer opleidingen stappen over op holistisch beoordelen van studentproducten. Mooi, maar ook spannend. Want hoe zorg je er als team voor dat je oordelen goed op elkaar afgestemd zijn?
Bij een hogeschool waar wij recent trainden, hebben ze het roer omgegooid: afstuderen gebeurt er nu op basis van een integrale beoordeling van het eindwerk. En juist omdat holistisch beoordelen vraagt om goede afstemming, zijn we met de beoordelaars aan de slag gegaan met kalibreren.
Het doel? De kwaliteit van de beoordelingen vergroten en borgen door samen in gesprek te gaan over eindproducten van studenten. Niet om één oordeel af te dwingen, maar om gedeelde inzichten te ontwikkelen. We kozen hierbij voor de methode van comparatief kalibreren.
Hoe werkt comparatief kalibreren?
Deze methode werkt als volgt:
- Je kiest drie studentenproducten (kandidaat A, B en C) uit.
- Je laat de deelnemers vervolgens de drie producten rangschikken (van laag naar hoog) en hun beoordeling onderbouwen.
- Zorg dat er drie werkplekken zijn waar meerdere mensen aan kunnen zitten.
- Laat de deelnemers die kandidaat A als hoogst hadden aan de eerste tafel zitten, deelnemers die kandidaat B als hoogst hadden aan de tweede en die kandidaat C hadden aan de derde tafel zitten.
- Vraag 1 deelnemer van de lage groep zijn holistische score te onderbouwen, de rest van die groep mag uiteraard aanvullen. Vervolgens vraag je hetzelfde aan iemand van groep B en dan van groep C.
- Verder gewoon de standaardmethode van kalibreren toepassen. Iedereen mag dus aan het woord komen. Het gaat er nu niet om, om tot 1 oordeel te komen, maar om deze methode van beoordelen en kalibreren te leren.
- Vraag na afloop of de deelnemers hun score n.a.v. de kalibreersessie hebben aangepast.
Beoordelaars brengen in deze methode hun eigen expertise in. Ze vergelijken de studentproducten op een holistische manier: niet door af te vinken, maar door een totaalbeeld te vormen.
Door daar samen het gesprek over te voeren, ontstaat er iets waardevols: een gedeeld referentiekader. Wat verstaan we binnen dit team eigenlijk onder ‘onvoldoende’, ‘voldoende’, ‘goed’ of ‘uitstekend’?
Die gezamenlijke afstemming leidt tot meer kwaliteit én meer vertrouwen in de beoordeling. Natuurlijk kun je ook meer producten met elkaar vergelijken als dat mogelijk is. Daardoor krijg je een steeds scherper beeld.
Comparatief beoordelen wordt gezien als een valide en betrouwbare methode, vooral voor beoordelen met meerdere docenten (McMahon & Jones, 2015).
Lijkt je dit ook een geschikt manier van kalibreren jullie met je team? Of heb je er zelf ervaring mee?
