Zo laat je je studenten lessen trekken uit krachtige D-PAC-feedback
(Tekst – Alexia Deneire – Onderzoek – D-PAC)
Noot vooraf: Deze blog verscheen eerder ook op het platform Leren van Toetsen.
‘Het lijkt er dus op dat het vergelijkend beoordelen potentie heeft’, oordeelt Martijn in zijn blog over deze alternatieve aanpak om competenties te beoordelen. Helemaal juist. Beoordelen zonder beoordelingscriteria kan prima. Meer nog: het verloopt vrij eenvoudig en leidt tot een betrouwbaar en valide oordeel. Maar hoe zit het precies met de leerwaarde van dergelijke beoordelingen, vraagt deze bloggende beleidsadviseur zich verder af. In hoeverre kan comparatief beoordelen een bijdrage leveren aan het leren van de student? Wel, daar kan ik jullie meer over vertellen. In één zin samengevat: comparatief beoordelen levert krachtige (peer) feedback op. Zo leert ons eigen onderzoek én getuigen diverse gebruikers uit het hoger onderwijs.
D-PAC maakt comparatieve beoordeling mogelijk
In 2014 ontwikkelden we met ons team het Digitaal Platform voor het Assessment van Competenties, afgekort als D-PAC. Dat platform werkt vanuit de principes van comparatief beoordelen (ook wel: paarsgewijze vergelijking). Dit betekent dat je als beoordelaar het werk van je studenten niet langer op zich beoordeelt, maar steeds in vergelijking met een willekeurig ander werk. Bij elk paar geef je aan welk product je beter vindt in het licht van de te beoordelen competentie. En je werkt in teamverband: elk werk wordt door meerdere beoordelaars, dus verschillende keren beoordeeld. Het eindresultaat van het beoordelingsproces is geen cijfer, maar een betrouwbare en valide rangorde van de beoordeelde werken. D-PAC nodigt je als beoordelaar trouwens ook uit om feedback neer te schrijven bij het werk van je studenten. De feedback-module van D-PAC biedt zo extra leerkansen voor jouw studenten.
Hoger onderwijs omarmt comparatieve beoordeling met D-PAC
Vooral het hoger onderwijs reageert enthousiast op de diverse mogelijkheden van D-PAC. Meer dan 50 opleidingen in Vlaanderen en Nederland maakten al kennis met de voordelen van comparatief beoordelen via D-PAC. De opdrachten en het format van die opdrachten zijn erg gevarieerd. Beoordelaars buigen zich over essays, rapporten en zelfreflecties van studenten, maar ook afbeeldingen, video en geluidsfragmenten passeren de revue. Uit onderzoek blijkt dat een gemiddelde van 12 vergelijkingen per werk al een betrouwbaarheid oplevert van .70. Of je dit veel vindt hangt er natuurlijk wat van af. Het vergelijken gaat immers snel en de vergelijkingen worden verspreid over meerdere beoordelaars. Gedeeld werk maakt licht werk, toch? Studenten in het hoger onderwijs ervaren deze manier van beoordelen trouwens als eerlijk en geloofwaardig.
Leren van toetsen? Eén formule: vergelijken + feedback = inzicht
Docenten in het hoger onderwijs gebruiken onze tool voornamelijk voor formatieve doeleinden (o.a. via peer assessment). Dat kan perfect dankzij de feedback-module van D-PAC. Destijds gewoon als extraatje binnen het platform uitgebouwd, maar duidelijk een schot in de ros.
Bij elke vergelijking die je als beoordelaar maakt, krijg je de gelegenheid om sterke punten en werkpunten te noteren bij beide werken (figuur 1). Je hoeft daarbij niet exhaustief alle beoordelingscriteria te overlopen; benoemen wat er voor jou het meest uitspringt volstaat.
Groot voordeel voor je studenten is dat de feedback die ze aan het einde van de rit krijgen erg rijk is. De feedback is namelijk afkomstig van meerdere beoordelaars, die met een steeds wisselende (en evoluerende) blik naar de werken kijken (figuur 2). De rijke D-PAC-feedback biedt ruim kansen voor leren en ontwikkeling.
Ook de positie die hun werk in de finale rangorde van de beoordeelde werken krijgt, is trouwens verrijkend voor de studenten (figuur 3). Elk van je studenten ziet in één oogopslag waar zijn of haar werk zich bevindt ten opzichte van dat van medestudenten. Achteraf kan je als docent in groep (anoniem) die werken bespreken die zich aan de top van of net onderaan de rangorde bevinden. Deze confrontatie met werk van anderen kan zo bij je studenten tot (nieuwe) inzichten leiden: wat wordt er van hen verwacht en waarom is een bepaald product van betere kwaliteit?
Figuur 1: Comparatief beoordelen: bij elke vergelijking feedback noteren
Figuur 2: Toegevoegde waarde van comparatief beoordelen: rijke feedback, van meerdere beoordelaars
Figuur 3: Bespreek met je studenten hun werk in functie van de positie in de rangorde
D-PAC en peer assessment gaan hand in hand
Ruim één op drie beoordelingen met D-PAC in het hoger onderwijs zijn peer assessments. Ook studenten kunnen elkaar een spiegel voor houden en D-PAC leent er zich als tool uitermate goed voor (Lees er gerust onze blog ‘Goed nieuws vanuit slechtnieuwscommunicatie’ op na.).
We weten uit eigen onderzoek en getuigenissen inmiddels al heel wat over comparatieve peer assessments. Even de belangrijkste inzichten op een rij:
- Zelfs al zijn studenten (nog) geen expert, ze kunnen vaak prima inschatten of een ander de opdracht goed of minder goed heeft uitgevoerd. Werken onderling vergelijken en de beste aanduiden is eenvoudig, er is dus geen uitvoerige instructie of training vooraf vereist.
- Tijdens het beoordelen krijgen ze tal van voorbeelden te zien die onderling variëren in kwaliteit. Vele voorbeelden verschaffen volop inspiratie. Het zien van het werk van anderen stimuleert reflectie over het eigen werk.
- Studenten ervaren het platform als een ‘veilige’ omgeving: het beoordelen verloopt er geheel anoniem. Niemand weet welk werk van wie is.
- Het geven van feedback aan medestudenten helpt bij het expliciteren van kwaliteitscriteria4.
- Studenten in vergelijking met standaard peer assessment eerder focussen op criteria van hogere orde.
- De feedback die studenten van hun peers ontvangen vinden ze rijk en waardevol. Studenten aanvaarden de resultaten, doordat ze vertrouwen hebben in elkaars bekwaamheid. En ze zijn bereid om er ook effectief iets mee te doen, net doordat ze ook zelf feedback gaven (en verwachten dat dit peers aanzet tot reflectie en actie).
Geboeid?
Met ons team verrichten we onderzoek naar de kwaliteit van comparatief beoordelen via D-PAC. Voor meer wetenschappelijke achtergrond, raadpleeg onze publicaties via de website: www.d-pac.be.
Wil je de tool graag zelf eens uittesten, neem dan contact op via d-pac@uantwerpen.be.
Of kom gewoon af naar ons D-PAC event op 15 en 16 november in Antwerpen (inschrijven via de website).
No Comments