Is dit nou fraude, of gewoon slim?

Over AI, toetsen en het grijze gebied daartussen 

Tijdens een training ‘Verdieping Examencommissie’ kwam het ter sprake. We hadden het over toetskwaliteit, betrouwbaarheid en wat je als examencommissie precies moet borgen.

Totdat een van de deelnemers zijn hand opstak: “We hadden laatst een student die een examenverslag had ingeleverd waarvan we vermoedden dat het door AI was geschreven. Maar ja… is dat dan fraude? Of is het gewoon slim gebruik van technologie?” 

Die vraag bleef even hangen in de ruimte.  En deze vraag is ook niet zo simpel te beantwoorden.  We raken hiermee de kern van iets groters. 
Want AI is er! En studenten gebruiken het. Wij toch ook? Dus heeft het invloed op de manier waarop we toetsen.  Of we dat nu willen of niet. 

Studenten gebruiken AI. Punt. 
Ik hoor het in alle trainingen. Studenten zetten ChatGPT of andere AI-tools in voor het schrijven van verslagen, het formuleren van antwoorden en het herschrijven van feedback. Soms openlijk, soms stiekem.  

Niet zelden komen begeleiders of assessoren ‘te mooie’ teksten tegen. Perfect taalgebruik of juist taalgebruik dat niet bij de student hoort. Een toon die niet past bij wat je eerder van de student zag. 

En dan komt de vraag: wat is nog van de student zelf? En maakt het uit hoe het tot stand komt, zolang het eindproduct aan de eisen voldoet? 

Wanneer is AI-gebruik bij examens eigenlijk fraude? 
Als een student een examen maakt waarin wordt gevraagd om een persoonlijke reflectie of visie, en hij laat die volledig door AI genereren, dan raken we aan de kern van het begrip ‘authenticiteit’. In zo’n geval is het werk niet meer van de student zelf, en spreken we van onrechtmatig gebruik, dus: fraude. 

Maar de werkelijkheid ligt vaak genuanceerder. Wat als een student AI gebruikt als hulpbron? Om zijn spelling te checken? Om structuur aan te brengen in zijn tekst? Om een opzet te genereren, maar die vervolgens zelf aanvult, wijzigt, verdiept. Dan komt het aan op de vraag: is het eindproduct nog wel aantoonbaar van de student zelf? Net als bij hulp van spellingcheckers of feedback van een stagebegeleider.

Het wordt pas problematisch als het bewijsmateriaal voor de beoogde leeruitkomst niet meer authentiek van de student is.  Dat vereist dus dat we heel scherp moeten zijn tijdens de constructie van de toets. 
– Wat vragen we precies van de student? 
– Op welke manier moet het bewijs laten zien dat de leeruitkomst behaald is? 
–  En: hoe borgen we dat het werk daadwerkelijk van de student zelf is? 

AI als collega in toetsontwikkeling 
AI speelt niet alleen een rol bij studenten!  Ook toetsconstructeurs ontdekken de kracht van deze slimme assistent. Niet als vervanging van expertise, maar als ondersteuning.
AI kan je helpen bij het:
– opstellen van voorbeeldvragen 
– formuleren van beoordelingscriteria 
– herschrijven van instructieteksten 

Soms zelfs nog eerder in het proces: bijvoorbeeld bij het vertalen van een kwalificatiedossier naar een eerste opzet voor een toetsmatrijs. 

En dat roept dus nieuwe vragen op: niet alleen over fraude, maar ook over de manier waarop we toetsen ontwerpen. Het blijft altijd mensenwerk. Maar AI kan wel zorgen voor een vliegende start door informatie te ordenen en je denkproces te structureren. 

En waar blijven wij dan, als toetsprofessionals?  
Want we kunnen er niet omheen: het toetslandschap verandert! Het gebruik van AI door studenten dwingt ons tot een herbezinning op onze toetsvormen.  Als een schriftelijk verslag eenvoudig door een tool gegenereerd kan worden, dan volstaat zo’n toetsvorm misschien niet meer. 

We zien nu al het belang van mondelinge examens, meer praktijkgerichte opdrachten of het toepassen van criteriumgerichte interviews.  Toetsvormen waarbij de student in het moment laat zien wat hij weet, vindt of kan. Dat maakt het afnemen van examens vaak intensiever en tijdrovender, maar mogelijk ook eerlijker en effectiever in deze tijd. 

Tot slot –  een vraag aan jou 

Een deelnemer stelde dus een heel goede vraag: “Wanneer is het fraude, en wanneer gewoon slim gebruik?”  

Mijn antwoord? “Het hangt ervan af.” Misschien een onbevredigend antwoord, maar dat grijze gebied is precies waar we nu zitten. 

AI is niet meer weg te denken. Het vraagt van ons, als toetsprofessionals, dat we opnieuw nadenken over wat we toetsen, hoe we dat doen, en hoe we recht blijven doen aan zowel de student als het leerproces. 

👉 Hoe wordt binnen jouw instelling gesproken over AI en toetsing? En welke keuzes maken jullie al in de praktijk? 

En ja, AI is ook gebruikt als ondersteuning om deze blog te schrijven 😉 

Geslaagd!

Als je je, zoals ik, elke dag zakelijk bezighoudt met examinering en toetsing, dan ontwikkel je een professionele afstand tot het onderwerp. Je objectiveert en denkt vooral in termen van processen, structuren, handboeken, criteria, controles en verantwoording. Op zich prima, maar hierdoor zou je wel eens kunnen vergeten hoe verschrikkelijk belangrijk zo’n examen is voor de direct betrokkenen: de leerlingen. Rationeel weten we dat wel, maar emotioneel?

De afgelopen weken had ik het ‘genoegen’ om het examentraject weer eens van de andere kant mee te maken. Niet bij een cursus voor mezelf, maar als moeder van een Vwo-leerling. En dat is nog veel erger dan wanneer je het zelf ondergaat. Je kunt er namelijk helemaal niets aan doen en kunt alleen maar vaststellen dat de emoties alle kanten op stuiteren en dat het ‘E-woord’ het gezin gedurende minimaal anderhalve maand domineert. En, zoals het een goed thriller betaamt, spannend tot het eind.

Een week geleden zaten we dan ook in grote spanning; zou ze geslaagd zijn? Moet ze een herkansing?

En om 16.41 uur kwam dan eindelijk het verlossende woord en kon de vlag uit. Mijn jongste dochter bleek geslaagd! En, erg belangrijk voor haar, met geen enkele onvoldoende op haar cijferlijst. En toch al die stress dus …

Ik kon weer eens aan den lijve ervaren hoeveel er dus afhangt van zo’n examen. Het verschil tussen een jaar overdoen of – in haar geval – de vrijheid om nu een tussenjaar te doen, met veel ontdekken, ervaren en leren, in de vorm van werken en backpacken.

Met zoveel leerlingen voor wie er zoveel op het spel staat, kun je het belang van een goede examenorganisatie nauwelijks overschatten.  Al door het jaar heen moeten alle tentamens goed georganiseerd en gedocumenteerd zijn, procedures moeten helder zijn voor zowel leerlingen, ouders als docenten. Criteria moeten helder zijn, evenals timing. En ook eventuele bezwaarprocedures. Het lijkt gelukkig op veel scholen bijna ‘vanzelf’ te gaan, maar er wordt achter de schermen vaak heel professioneel aan gewerkt. Pas als het misgaat, zoals dit jaar bij het Calvijn College, blijkt dat het allemaal niet helemaal vanzelfsprekend is.

Ik weet weer even heel goed waar ik het allemaal voor doe.

Leerzaam dus. Maar blij dat we er vanaf zijn. Dit wil je niet al te vaak doen … 😉

 

Steekproef praktijkbeoordeling examinering mbo

Het is een drukke tijd in mbo-examenland, voor studenten, beoordelaars én examencommissies. Er staat nogal wat op het spel, voor heel veel studenten, dus alles moet vlekkeloos verlopen.

Steekproef
Examencommissies zijn gelukkig inmiddels goed doordrongen van de wettelijke eis dat zij de examenkwaliteit moeten borgen (zie WEB art. 7.4.5a/ WHW 7.12c) en daarmee dus goed zicht hebben op afname en beoordeling.

We krijgen nog wel vaak vragen over wat een examencommissie nou moet doen als het gaat om het afnemen van de steekproef van de praktijkbeoordeling. Allereerst: het is niet verplicht om een steekproef te doen. De wet zegt alleen dat de examencommissie de kwaliteit van examinering moet borgen. Ga dus eerst na waarom je een steekproef wil doen. Zijn er geen andere manieren waarop je grip krijgt op de kwaliteit? Denk bijvoorbeeld aan analyseren van zelfevaluaties beoordelaars of gebruik maken van studentevaluaties.

Toch zien we dat er veel steekproeven worden uitgevoerd, met name bij praktijkbeoordelingen (onder meer van proeves van bekwaamheden, assessments en vaardigheidsexamens). En hier is dat zeker een goed plan! Want juist omdat het in de praktijk wordt geëxamineerd, heb je er minder zicht op als examencommissie. Door een steekproef uit te voeren krijg je dus grip op de examenkwaliteit. So far, so good.

Maar wat ga je dan doen tijdens die steekproef? Denk daar goed over na en zorg dat de steekproef-uitvoerders (vaak leden van een examencommissie) genoeg handvatten hebben waarmee ze de steekproef kunnen uitvoeren. Moet je kijken of de praktijkbeoordelaar op de juiste wijze beoordeeld? Moet je de examensetting beoordelen? Moet je schaduw-beoordelen?

Zin en onzin van een steekproef
Toen we onlangs ergens werden ingehuurd om een steekproef af te nemen, bleek dit helaas mosterd na de maaltijd. Het formulier dat we meekregen was bedoeld om de beoordelaar te observeren tijdens het afnemen van een CGI en daarmee iets te kunnen onderzoeken over afname condities en de deskundigheid van de beoordelaar. Een heel goed formulier, fijn in gebruik! We kwamen echter terecht in een afsluitend gesprek tussen de student en de beoordelaar waarin deze vooral complimenten gaf aan de student en tips voor de toekomst. Dat was een fijne afsluiting voor de student, maar de steekproef op die locatie was niet meer uit te voeren. Je hebt niet de informatie gekregen die zinvol is voor de examencommissie als het gaat om het borgen van examenkwaliteit.

Dus als je er eenmaal zeker van bent dat de steekproef een goed instrument is, zorg dan voor een correcte planning én zorg ervoor dat de betrokkenen ook weten wat de steekproef-uitvoerder komt doen.

Druk, druk, druk
Drukke tijden voor examencommissies als het gaat om het borgen van de kwaliteit van afname en beoordelen. Handen tekort? Wij komen u graag ondersteunen! In het mbo én het hoger onderwijs.

 

 

Examens are coming! (tijd om te kalibreren)

De zomer nadert en dus is het de tijd waarin heel veel studenten weer geëxamineerd worden. Ook in het mbo en hbo vinden de komende maand veel examens plaats. Dat betekent niet alleen stress en hoge druk voor de studenten, maar ook topdrukte voor (praktijk)assessoren (of beoordelaars of examinatoren)  belast met het afnemen en beoordelen van de studenten.

Het is daarom nú de tijd om – voordat je aan de slag gaat als assessor – jezelf nog een keer goed voor te bereiden. Wat moet ik nou eigenlijk beoordelen? Hoe ziet het examen eruit? Ga ik alleen beoordelen of hanteren we het vier-ogenprincipe, en als we dat laatste doen: wat betekent dat dan voor mijn werkzaamheden?

Kalibreren
Vaak zien we dat er nog veel vragen zijn over het af te nemen examen en tegelijkertijd zien we ook een tendens om juist voorafgaand aan de examenperiode met elkaar de kwaliteit van de beoordeling nog net even een extra boost te geven. Kalibreren is het modewoord.

Maar echt wel méér dan een modewoord. Kalibreren is echt o zo belangrijk. Kalibreren betekent dat je gezamenlijk aan de slag gaat met het verhogen van de intrabeoordelaarsbetrouwbaarheid (dat zal dan nooit een modewoord worden, vrees ik ?). Het geeft je als beoordelaar de extra zekerheid dat je op de juiste wijze de criteria hanteert. Juist in absolute zin, maar ook ‘juist’ in relatie tot je collega’s, consistent. Waardevol dus om juist nu nog met elkaar te kalibreren!

Kalibreersessie voor beoordelaars
Bureau Lente ondersteunt scholen graag nog even bij de last-minute voorbereidingen. In een korte sessie van 3 uur worden met elkaar op een compacte en effectieve wijze één of meerdere exameninstrumenten met elkaar gekalibreerd,  dilemma’s besproken, en zowel de intrabeoordelaarsbetrouwbaarheid als interbeoordelaarsbetrouwbaarheid vergroot. Zinvol dus!

En als je trouwens wilt weten hoe je een goede beoordelaar herkent: