‘Examencommissies hbo meer bezig met ChatGPT dan mbo’

Examencommissies in mbo en hbo gaan geleidelijk meer op elkaar lijken, zo blijkt uit ‘De Staat van de Examencommissie 2023’. Onder die naam heeft Bureau Lente 33 examencommissies uit hbo en mbo gevraagd naar hun manier van werken, samenstelling, werkdruk, taken en uitdagingen. Dit onderzoek is een vervolg op eerder onderzoek uit 2021.

ChatGPT
Wellicht de meest opvallende uitkomst betreft de omgang met ChatGPT. Maar liefst 85% van de ondervraagde examencommissies in het mbo geeft aan geen officieel beleid te hebben. Bij het hbo heeft de meerderheid wel een beleid en 23% van de scholen staat het gebruik van ChatGPT toe of moedigt het zelfs aan. “De reden dat het hbo meer beleid heeft ten aanzien van ChatGPT dan het mbo, heeft wellicht te maken met het feit dat het hbo meer schriftelijke werkstukken kent. Maar dat 85% van de examencommissies aangeeft nog helemaal geen beleid zegt te hebben, verbaast ons wel”, zegt Monique Bulle van Bureau Lente.

Stand van zaken ‘Anders Verantwoorden’ in mbo
Een andere opvallende uitkomst betreft de omgang met ‘Anders Verantwoorden’ in het mbo. Met betrekking tot dit Anders Verantwoorden geeft 15% van de examencommissies in het mbo aan deze manier van beoordelen al te hebben ingevoerd. Nog eens 50% is op dit moment aan het inventariseren. 25% is er niet mee bezig en nog eens 10% ziet het als ongeschikt of irrelevant voor de eigen situatie. “De invoering van de mogelijkheid tot anders verantwoorden is relatief recent en we zien zelf ook dat veel scholen ernaar kijken of mee bezig zijn. Deze uitkomsten bevestigen dit”, zegt Jeanne Hup van Bureau Lente.

Samenstelling
In totaal hebben 33 examencommissies aan de inventarisatie deelgenomen,13 uit het hbo en 20 uit het mbo. De gemiddelde examencommissie in het hbo telt 5,4 leden terwijl dit in het mbo op 9,3 ligt. Voor beide sectoren geldt dat de verdeling man/vrouw hetzelfde is: 58% vrouw en 42% man, hetgeen een lichte toename van het percentage vrouwen betekent ten opzichte van twee jaar eerder. De gemiddelde leeftijd is eveneens identiek in mbo en hbo: 49 jaar. Iets hoger dan bij de vorige peiling.

Binnen het hbo is 78% van de examencommissie ook docent, in het mbo is dat 52%. Vrijwel elke examencommissie kent 1 of meer externe leden en in totaal is 20% van alle examencommissieleden extern lid.

Werklast
Ofschoon de gemiddelde maandelijkse vergadertijd van 7,76 uur in het mbo duidelijk hoger is dan de 5,46 uur van het hbo, is dit – omgerekend per student – juist omgekeerd, met voor elke 100 studenten 0,56 uur vergadertijd in het hbo en 0,28 uur in het mbo.

Wanneer het aantal leden van de examencommissie wordt afgezet tegen het aantal studenten, zien we in het hbo 0,55 commissieleden per 100 studenten, tegenover 0,34 voor het mbo. In termen van het aantal FTE’s per 1000 studenten zijn de beiden groepen nagenoeg gelijk, met 0,64 FTE per 1000 studenten.

Door het grote verschil in het gemiddelde aantal opleidingen per instelling – in het hbo 2 en in het mbo 29 – valt het aantal commissieleden per opleiding wel weer hoger uit voor het hbo, nl 1,5 lid per opleiding tegen slechts 0,32 in het mbo.  

Bij het hbo gaat het om gemiddeld 973 studenten, verdeeld over 2 opleidingen met jaarlijks 233 diplomabesluiten, terwijl deze cijfers in het mbo uitkomen op 2744 studenten, 29 opleidingen en jaarlijks 728 diplomabesluiten.

Tijd te kort
Opvallend is dat de overgrote meerderheid van alle examencommissies aangeeft taken te hebben die zij door tijdgebrek niet kunnen doen. In het hbo is er zelfs geen enkele commissie die voldoende tijd zegt te hebben. “In het algemeen is het helder dat examencommissies ervaren dat zij onvoldoende tijd te hebben om alles zo uit te voeren zoals ze dat eigenlijk zouden willen”, aldus Jeanne Hup.

De examencommissies is ook gevraagd de vier taken te selecteren waar ze het merendeel van hun tijd aan besteden. De top twee was in alle examencommissies: ‘kwaliteitsborging afname en beoordeling’ en het ‘behandelen van verzoeken, uitzonderingen en vrijstellingen’. Daarnaast werd in het hbo het behandelen van klachten en bezwaren door 40% van de commissies genoemd.

‘Ofschoon de steekproefgrootte te beperkt is om verstrekkende conclusies aan te verbinden, denken we dat deze momentopname opnieuw een behoorlijk beeld geeft van de verschillen en overeenkomsten tussen examencommissies in het mbo en hbo en de uitdagingen waar zij voor staan. Trends zijn natuurlijk nog niet goed zichtbaar, maar in de groeiende acceptatie van ChatGPT en het Anders Verantwoorden, zien we toch wel dat het werk van examencommissies voortdurend blijft veranderen’, zegt Monique Bulle. Voor meer informatie zie onze infographic.

Disclaimer: met een steekproefgrootte van 33 zijn de resultaten slechts indicatief en niet representatief voor alle examencommissies in hbo en mbo.

Een rugzak vol nieuwe trainingen voor ’t mbo!

Verbreden, verdiepen en opfrissen  

Het is september en iedereen staat weer in de startblokken voor een nieuw schooljaar! 

Geen beter moment, dachten wij bij Bureau Lente, om ook ons eigen aanbod aan trainingen, leergangen, workshops en adviesdiensten voor het mbo eens tegen het licht te houden. En niet voor niets. We hebben ons aanbod sterk vernieuwd én uitgebreid.
Zo kunnen we nog beter aansluiten op de de actuele ontwikkelingen in onderwijs, toetsing en examinering binnen het mbo.

Wat is er dan nieuw?
De afgelopen jaren is onze basistraining voor assessoren uitgegroeid tot een vaste waarde bij veel mbo-instellingen, om teams als geheel bij te scholen of om nieuwe docenten vertrouwd te maken met examineren. 

Daarnaast kennen de meeste scholen een cyclisch proces van het duurzaam verder professionaliseren van assessoren. Ook op dit terrein wordt Bureau Lente regelmatig gevraagd mee te denken met teamleiders, opleidingsmanagers, directeuren en hr-professionals. Vaak resulteert dit in maatwerk gericht op specifieke onderwerpen. Een deel van die modules maken we nu breder beschikbaar. 

Generiek en specifiek modulair 

Het was al mogelijk om van de basistraining voor assessoren niet de gehele PDCA te doen maar bijvoorbeeld te focussen op het aanleren van een specifieke beoordelingssystematiek (de Do-fase) of het waarom en de kaders van het beoordelen te behandelen (de Plan-fase). Die modulaire opbouw breiden we nu uit tot vervolgtrainingen die verbreden, opfrissen of verdiepen, en naadloos aansluiten op alle nieuwe mogelijke examenvormen en examenprocessen, zoals mogelijk gemaakt door het Onderzoekskader mbo 2021. 
Bijvoorbeeld:

Verbredende training: Formatief handelen in het examenproces 
Neem de situatie dat een team assessoren getraind is in het beoordelen van een praktijkassessment maar nu moet gaan werken met examens waarbij de student een portfolio opbouwt en gedurende de opleiding feedback krijgt op tussentijdse producten. Zo’n team assessoren weet wel hoe het eindproducten in het portfolio moet beoordelen, maar hoe ga je om met de tussentijdse producten? Waarschijnlijk wil je dan formatief beoordelen maar hoe doe je dat? Welke feedback geef je? Hoe kom je tot een goed effectief onderwijsproces met een correcte afsluiting? Kortom, hoe ga je om met formatief handelen en summatief beoordelen van het portfolio?  

Opfristraining: Check and Act assessor 
Of neem de situatie dat een team assessoren behoefte heeft aan het aanhalen van kennis rondom actuele ontwikkelingen in het mbo om hierover met elkaar in gesprek te blijven. Dan is een training gericht op de Check and Act fase van de PDCA gewenst. Hierbij kijken de assessoren terug en bepalen waar ze zichzelf nog kunnen verbeteren. Daarnaast worden de laatste actuele kaders van de Onderwijsinspectie en de eigen school en opleiding opgefrist.    

Verdiepende training: Vergroten interbeoordelaarsbetrouwbaarheid 
Soms ervaart een team dat niet alle assessoren allemaal op dezelfde manier beoordelen. Er is dan onduidelijkheid rondom proces, beoordelingscriteria en taken. Dan is kalibreren onder begeleiding en het eventueel aanhalen van de kaders nodig om met elkaar te werken aan eenduidige en betrouwbare beoordeling. Bijvoorbeeld via de training ‘Vergroten interbeoordelaarsbetrouwbaarheid’.  

Examencommissie 
De afgelopen jaren is onze Leergang Examencommissie uitgegroeid tot een van onze meest geliefde trainingen in het mbo. Steeds vaker zien we echter dat er naast de complete Leergang, ook hier behoefte is aan het verdiepen, verbreden of opfrissen van kennis op specifieke onderdelen.  

Excellente Examencommissie
Veel examencommissies hebben de ambitie om een excellente examencommissie te zijn. Ze willen consistent en transparant hun werk doen en het gehele proces van examinering fair en op hoog niveau vervullen. Voor hen hebben we belangrijke onderwerpen uit onze Leergang Examencommissie nu ook modulair beschikbaar. Deze trainingen kunnen op zichzelf staan en dan verdiepend of verbredend werken, om daarmee de toetsprofessionaliteit van examencommissies verder te verhogen en te verduurzamen.  

Voor die excellente examencommissie bieden we trainingen aan als:   

  • Anders verantwoorden en de examencommissie 
  • Grip krijgen op de taken en verantwoordelijkheden als gehele examencommissie
  • Ontwikkelen kwaliteitsborgingsplan 
  • Verhogen kwaliteit uitvoeren jaarplanning 
  • Formuleren kwaliteitsdoelen 
  • Schrijven jaarverslag 

Naast trainingen kan Bureau Lente ook voorzien in intervisie van de examencommissie, gebruikmakend van de eigen casuïstiek. Of kunnen we de examencommissie verder versterken middels teambuilding of door te functioneren als ‘critical friend’. Ook kan gedacht worden aan hulp bij het maken van een jaarverslag of het opzetten van een soepele samenwerking tussen examencommissie en de opleiding/MT.

Andere nieuwe diensten 
Naast de vernieuwde trainingsoplossingen introduceert Bureau Lente dit najaar nog een aantal andere nieuwe diensten. 

  1. Procesbegeleiding onderwijs & critical friend 
    Inmiddels heeft Bureau Lente veel ervaring met onderwijsontwikkeling en we worden dan ook regelmatig ingezet voor grotere en complexere vraagstukken. Denk bijvoorbeeld aan het vernieuwen of verbeteren van het curriculum, het ontwikkelen en implementeren van een toetsvisie, het ontwikkelen van een opzet voor nieuwe opleidingen. Bij deze vraagstukken kan Bureau Lente een rol spelen worden als procesbegeleider en/of critical friend. 
  1. Het opzetten en begeleiden van leernetwerken en -groepen rond specifieke thema’s 
    Uit onderzoek is gebleken dat leernetwerken uiterst effectief zijn als gedurende langere tijd mensen in groepsverband kennis en ervaringen kunnen uitwisselen. Niet alleen binnen de eigen instelling, maar vooral ook in de interactie met andere professionals. Met ingang van dit najaar faciliteert en begeleidt Bureau Lente zulke thematische leergroepen. De thema’s zowel als de groepen zullen afhankelijk van de vraag en de belangstelling worden samengesteld.
  2. Formatief handelen, een effectief feedbackproces 
    Onder meer door de groeiende belangstelling voor en inzet van ‘Anders Verantwoorden’ krijgen docenten en slb’ers een steeds grotere rol als coach. Maar hoe word je zo’n coach, hoe geef je effectieve feedback, feedback met impact. Naast meer generieke technieken oefenen we hierbij ook gericht op het exameninstrument en/of wordt er aandacht besteed aan de inrichting van het onderwijsproces. 
  3. Onderzoek naar effecten van specifieke onderwijsinnovaties 
    Onderwijsinnovatie is in sommige opzichten een proces van trial & error. Zelfs als bepaalde innovaties zich al generiek hebben bewezen kan het nog gebeuren dat de resultaten in de praktijk binnen een instelling minder goed zichtbaar zijn of te wensen overlaten. Maar hoe krijg je daar alsnog goed inzicht in? Hoe weet je waar, wanneer en hoe je kunt of moet bijsturen?  Bureau Lente kan dan een onderzoek uitvoeren gericht op het zo goed mogelijk in beeld brengen van de effecten van onderwijsinnovaties.

Kortom: het wordt een mooi nieuw schooljaar!  

Wij zijn er klaar voor en gaan graag met u in gesprek om te kijken op welke manier we ook uw instelling kunnen helpen het onderwijs, toetsen en examineren verder te professionaliseren!  

‘Staat van Examencommissie 2023’ feestelijk van start

Bureau Lente bestaat dit jaar vijf jaar!

Dit willen we in november onder meer vieren met een heus congres (daarover later meer), maar op 25 april hebben we ‘en petit comité’ al een voorproefje genomen…

Samen met een aantal leden van examencommissies uit mbo en hbo hebben we gekeken naar de meest interessante vragen om mee te nemen in de 2023-editie van de ‘Staat van de Examencommissie’. En daarna bezochten we de Keukenhof. Gewoon omdat we wat te vieren hebben.

Examencommissieleden aan het werk

Staat van de Examencommissie

In 2021 ondervroeg Bureau Lente al eens 26 examencommissies uit hbo en mbo, over hun manier van werken, samenstelling, werkdruk, taken en uitdagingen. Uit dit onderzoek bleek onder meer dat leden van examencommissies in het mbo toen te maken hadden met een hogere werklast dan die in het hbo, uitgedrukt in vergadertijd, aantal studenten per lid van de commissie en beschikbare fte’s per 1000 studenten.

In totaal hebben toen 26 examencommissies aan de inventarisatie deelgenomen, 9 uit het hbo en 17 uit het mbo. In 2023 willen we dit onderzoek herhalen en uitbreiden. Hoe zien de examencommissies in mbo en hbo er nu uit, hoe zijn ze samengesteld, wat zijn hun grootste uitdagingen, overeenkomsten en verschillen. En hoe verschilt dit beeld van twee jaar geleden? De vragenlijst zal zo snel mogelijk worden opgesteld en verspreid.

Keukenhof
Voor de aftrap van dit nieuwe onderzoek kwamen een aantal leden van examencommissies uit mbo en hbo samen met ons naar Lisse. Daar hebben we met elkaar gedachten gewisseld over het functioneren van examencommissies en over het nieuwe onderzoek.

En daarna de Keukenhof in!

En als je Bureau Lente heet, dan is er geen betere plaats om de feestelijkheden van vijf jaar Bureau Lente in gang te zetten dan de Keukenhof.

Lentezon, lentebuien, veel toeristen en heel, heel veel prachtige velden met bloemen.
Het is nu al een mooi jubileumjaar!

Steekproef praktijkbeoordeling examinering mbo

Het is een drukke tijd in mbo-examenland, voor studenten, beoordelaars én examencommissies. Er staat nogal wat op het spel, voor heel veel studenten, dus alles moet vlekkeloos verlopen.

Steekproef
Examencommissies zijn gelukkig inmiddels goed doordrongen van de wettelijke eis dat zij de examenkwaliteit moeten borgen (zie WEB art. 7.4.5a/ WHW 7.12c) en daarmee dus goed zicht hebben op afname en beoordeling.

We krijgen nog wel vaak vragen over wat een examencommissie nou moet doen als het gaat om het afnemen van de steekproef van de praktijkbeoordeling. Allereerst: het is niet verplicht om een steekproef te doen. De wet zegt alleen dat de examencommissie de kwaliteit van examinering moet borgen. Ga dus eerst na waarom je een steekproef wil doen. Zijn er geen andere manieren waarop je grip krijgt op de kwaliteit? Denk bijvoorbeeld aan analyseren van zelfevaluaties beoordelaars of gebruik maken van studentevaluaties.

Toch zien we dat er veel steekproeven worden uitgevoerd, met name bij praktijkbeoordelingen (onder meer van proeves van bekwaamheden, assessments en vaardigheidsexamens). En hier is dat zeker een goed plan! Want juist omdat het in de praktijk wordt geëxamineerd, heb je er minder zicht op als examencommissie. Door een steekproef uit te voeren krijg je dus grip op de examenkwaliteit. So far, so good.

Maar wat ga je dan doen tijdens die steekproef? Denk daar goed over na en zorg dat de steekproef-uitvoerders (vaak leden van een examencommissie) genoeg handvatten hebben waarmee ze de steekproef kunnen uitvoeren. Moet je kijken of de praktijkbeoordelaar op de juiste wijze beoordeeld? Moet je de examensetting beoordelen? Moet je schaduw-beoordelen?

Zin en onzin van een steekproef
Toen we onlangs ergens werden ingehuurd om een steekproef af te nemen, bleek dit helaas mosterd na de maaltijd. Het formulier dat we meekregen was bedoeld om de beoordelaar te observeren tijdens het afnemen van een CGI en daarmee iets te kunnen onderzoeken over afname condities en de deskundigheid van de beoordelaar. Een heel goed formulier, fijn in gebruik! We kwamen echter terecht in een afsluitend gesprek tussen de student en de beoordelaar waarin deze vooral complimenten gaf aan de student en tips voor de toekomst. Dat was een fijne afsluiting voor de student, maar de steekproef op die locatie was niet meer uit te voeren. Je hebt niet de informatie gekregen die zinvol is voor de examencommissie als het gaat om het borgen van examenkwaliteit.

Dus als je er eenmaal zeker van bent dat de steekproef een goed instrument is, zorg dan voor een correcte planning én zorg ervoor dat de betrokkenen ook weten wat de steekproef-uitvoerder komt doen.

Druk, druk, druk
Drukke tijden voor examencommissies als het gaat om het borgen van de kwaliteit van afname en beoordelen. Handen tekort? Wij komen u graag ondersteunen! In het mbo én het hoger onderwijs.

 

 

First Dates, the week after

Precies een maand na Valentijnsdag waren op donderdag 14 maart, tijdens het NVE-congres, opeens 16 mensen enthousiast aan het daten.

Bureau Lente organiseerde die middag voor het eerst de workshop First Dates. Een speeddate-programma om deelnemers uit alle geledingen, van mbo, hbo en universiteit tot en met particuliere opleidingen, examenleveranciers of uitzendbureaus te laten kennismaken met gelijkgestemden uit examencommissies in andere sectoren.

In de eerste ronde maakten ze kort kennis met elkaar zoals het een echte speeddate betaamt, en in de tweede ronde werd dieper ingegaan op een aspect van kwaliteitsborging. Bureau Lente had de casuïstiek bij het aspect ontwikkeld, waarover ze met elkaar in gesprek gingen.

Het werd een geslaagde workshop! Deelnemers benoemden als opbrengst het inzicht dat dat de fase waarin de verschillende examencommissies zitten als het gaat om kwaliteitsborging, nogal wisselden én dat ze dat niet hadden verwacht.

Het was voor veel deelnemers ook een eye-opener dat wat de examencommissie moet borgen ook verschilt; in het hoger onderwijs is de examencommissie betrokken bij alle toetsing over alle leerjaren (alles summatief) terwijl in het mbo alleen op eindniveau wordt geborgd en de formatieve toetsing bij de onderwijsteams ligt.

Daten is weten!
De reden waarom wij deze workshop wilden organiseren, was omdat we zowel in het mbo als in het hoger onderwijs met examencommissies spreken en deze ook trainen. Daar zagen we steeds dat er voor commissieleden veel te leren zou zijn van andere examencommissies in andere onderwijsvormen.

Deelnemers waren unaniem enthousiast en gaven aan dat het eigenlijk te kort was, ze hadden nog veel meer willen bespreken.
Maar ja, dat is dus het idee van een speeddate …
Het vervolg komt daarna; ga bij elkaar op bezoek of deel de kennis die je hebt.

Onze nieuwe werkvorm werkt, en daar zijn we best trots op. We zullen het speed daten zeker vaker gaan organiseren op studiedagen en congressen. Of gewoon bij u op school, met verschillende examencommissies.

 

First Dates en de kruisbestuiving tussen examencommissies MBO en HO

Op 14 maart, precies een maand na Valentijnsdag organiseren we op het NVE-congres onze First Dates speeddating-sessie. Waar E-Matching doet voorkomen alsof je de opleidingen helemaal niet moet mengen bij het daten, denken wij juist het tegenovergestelde. Wij zetten die dag mensen van MBO-opleidingen, HBO-opleidingen en Universitaire opleidingen die bij elkaar aan tafel, omdat we ervan overtuigd zijn dat daar heel mooie matches bij zullen zitten.

Wettelijk gezien speelt de examencommissie een belangrijke taak als het gaat om de waarde van het diploma. Elke examencommissie is bezig met de vraag hoe zij zicht kunnen houden op de kwaliteit van examinering en toetsing binnen hun opleiding(en). We zien dat er vaak veel tijd gaat naar de puur uitvoerende taken van de examencommissie en dat het (soms) nog een lastige opgave blijkt om op de borgende taken goed vorm te geven.

Eén ding is echter wel duidelijk: examencommissies zijn zich er terdege van bewust dat het een belangrijke taak is om zicht en grip te houden op de kwaliteit van examinering/toetsing. En dat geldt bij alle soorten opleidingen, op alle niveaus.

Tijdens onze speed date sessies ga je met elkaar in gesprek over de kwaliteitsborgende taken. Hoe doen anderen dat? Doen ze dat in het MBO hetzelfde als in het HO? Hoe kun je, over de grenzen van je eigen onderwijssoort, van elkaar leren? Omdat wij zowel in het MBO als het HO werken met examencommissies, verwachten we dat dat je met verfrissende ideeën en nieuwe matches onze speeddate sessie verlaat.

Kortom: ben je op zoek naar inspiratie of ben je gewoon nieuwsgierig hoe anderen dit aanpakken, of ben je op zoek naar uitbreiding van je netwerk, dan zien we je graag in onze First Date sessie. Wij zorgen voor match garantie!

We verheugen ons en brengen jullie graag samen!