Jan Vanhoof Posts

Educheck: zelfevaluatie-instrumenten om tastbaar te maken wat telt op school en in de klas

(Tekst: Jan Vanhoof, Isabel Laenen, Monia Van Damme & Evelyn Goffin, in  samenwerking met Smartschool)

Educheck is een tool waarmee onderwijsprofessionals zichzelf een spiegel kunnen voorhouden met behulp van korte zelfevaluatie-instrumenten. Deze werd inhoudelijk ontwikkeld door Edubron, in opdracht van Smartschool.

Educheck vertrekt van de vraag wat kenmerkend is voor scholen die succesvol zijn in de projecten die ze opzetten en waar leerlingen veel leerwinst boeken. We verdiepten ons in schooleffectiviteitsonderzoek, gingen daarover in overleg met Smartschool, toetsten onze ideeën af bij toekomstige gebruikers en maakten op basis van deze input een selectie van thema’s die kunnen bijdragen aan het succes van scholen. Deze thema’s hebben betrekking op wat er in de klas gebeurt, zowel pedagogisch als didactisch, maar ook op het gebied van schoolbeleid en schoolleiding. Werken aan deze thema’s is een bewezen aanpak voor onderwijsontwikkeling. Zo brengt Educheck wetenschappelijk onderzoek naar de school, op een manier die écht tot impact leidt.

 

Inhoud Educheck

In het onderstaande rapport vind je de thema’s en bijbehorende indicatoren die in Educheck opgenomen zijn. Voor elke indicator wordt in één of twee zinnen eerst een korte omschrijving gegeven, om snel op de inhouden zicht te krijgen. Nadien wordt voor elke indicator bondig toegelicht wat er precies mee bedoeld wordt en waarom deze in dit instrument opgenomen is.

Als academische partner vertaalden we de indicatoren in vragen die het mogelijk maken om gesprekken te voeden over de aanpak én in de klas én op school. We ontwikkelden vragenlijsten die de huidige situatie helpen beschrijven en beoordelen. Aan de hand van acht concrete vragen wordt het telkens mogelijk een uitspraak te doen over een indicator. Meetschalen zijn zo ontwikkeld dat ze door verschillende doelgroepen ingevuld kunnen worden. Dat verklaart waarom slechts een handvol vragenlijsten integraal uit bestaande bronnen kon worden overgenomen. Veelal zijn de vragenlijsten geïnspireerd op (combinaties van) eerder gevalideerde meetinstrumenten of werden ze zelf ontworpen. Deze vragenlijsten zijn integraal opgenomen in de beschrijving van elke indicator.

Zelfevaluaties aan de hand van de hier opgenomen instrumenten zijn een tussenpunt, geen doel op zich. Ze zijn bedoeld om inzicht te geven in wat goed gaat en welke bestaande praktijken verbeterd kunnen worden. Waar het zinvol is om nieuwe wegen in te slaan, bieden we aanknopingspunten om verder te werken met de resultaten van de bevraging. Die vind je terug bij ‘Aan de slag’. We geven geen handleiding, wel inspiratie, in de vorm van gerichte vragen die helpen om de resultaten te verklaren en te ontdekken waar groei mogelijk is.

 

Indicatoren bevragen

Het is aan de gebruiker van de zelfevaluatie-instrumenten om te beslissen op wie de vragenlijsten het best betrekking hebben om informatief te zijn voor de in de eigen context opgezette zelfevaluatie. Om gebruikers op weg te helpen, doen we in de korte toelichting wel telkens een suggestie bij de vraag ‘Over wie of wat gaat deze vragenlijst?’. Dit doen we om houvast te geven aan gebruikers, zonder te sturend te willen zijn. Weet evenwel dat de vragenlijsten ontwikkeld werden om net de door ons aangeduide focus te hebben.

De vragenlijsten kunnen verder ook aan verschillende doelgroepen worden voorgelegd: schoolleiders, leraren, andere medewerkers in de school, maar ook leerlingen en ouders. Dit zelfevaluatie-instrument gaat dus verder dan zelfevaluatie alleen: het maakt het mogelijk om verschillende perspectieven te vergelijken en je eigen inzichten te toetsen aan die van anderen. Bij de vraag ‘Aan wie kan je deze vragenlijst voorleggen?’ geven we daarom een houvast mee. Wanneer je een bevraging wilt organiseren, denk dan goed na over wat er haalbaar én zinvol is in je eigen context.

 

Resultaten interpreteren

De indicatoren worden telkens bevraagd aan de hand van acht stellingen. De instructie die respondenten krijgen bij deze stellingen luidt: ‘Geef aan in welke mate je het eens bent met de volgende stellingen’. Iedere stelling is dan ontwikkeld om 6 (=5 +1) antwoordmogelijkheden te hebben. Deze zijn: helemaal oneens, eerder oneens, noch eens of oneens, eerder eens, helemaal eens en niet van toepassing. De antwoorden krijgen een waarde mee van 1 (helemaal oneens) tot 5 (helemaal eens). ‘Niet van toepassing’ levert geen waarde op en wordt dus ook niet meegenomen bij de berekening van de resultaten.

Meer specifieke en praktische informatie over het gebruik van dit zelfevaluatie-instrument is te vinden in de online omgeving Educheck, die ingebed is in Smartschool. Daar is ook informatie opgenomen over hoe de resultaten in een dashboard beschikbaar gemaakt worden om de verdere ontwikkeling van school- en klaspraktijk te informeren.

Wij wensen jou veel succes met het tastbaar maken van wat telt op school en in de klas.

Downloadlink: klik hier.

Educheck_2024

(Wat) Kan de onderzoekende professional leren van de professionele onderzoeker?

(Tekst: Jan Vanhoof, Randi Buvens en Glen Molenberghs)

Iedereen onderzoeker!?

Elke tijdsperiode heeft eigen modewoorden. Dat is in het onderwijs en allicht ook in jouw school niet anders. Vandaag de dag lees je over evidence-informed, datageletterdheid en ook over hoe je als schoolleider en leraar ‘moet’ werken ‘als onderzoeker’. In deze bijdrage bieden we een mogelijk antwoord op de vraag in welke mate je er goed aan doet in de praktijk daadwerkelijk als onderzoeker aan de slag te gaan. Vanuit onze ervaring als professionele onderzoekers presenteren we suggesties om onderzoekend denken op een zinvolle manier in de (basis)school binnen te loodsen. Op een haalbare en werkzame manier. Kern van de zaak: leraren en schoolleiders functioneren sterker als ze zich als onderzoekende professionals gedragen. Daarvoor hoeven ze echter geen professionele onderzoekers te zijn.

Het idee om als onderzoeker te werken is niet nieuw. Twee decennia geleden werden basiscompetenties vastgesteld voor leraren (Aelterman, Meysman, Troch, Vanlaer, & Verkens, 2008). Volgens deze competenties moet de leraar vernieuwende inzichten in zijn onderwijspraktijk toepassen en op de hoogte zijn van resultaten van (vakdidactisch/vakinhoudelijk) onderwijsonderzoek. Verder klinkt het dat de leraar het eigen functioneren in vraag stelt en de klaspraktijk bijstuurt door reflectie op basis van de eigen ervaringen. Dit valt onder de competentie: ‘de leraar als onderzoeker’. In essentie betekent dit: de leraar als onderzoekende, reflectieve en zelfkritische professional. Herkenbaar en wervend, toch? De oorspronkelijke invulling mag echter niet evolueren tot de verwachting dat leraren en schoolleiders zelf onderzoek uitvoeren en handelen als professionele onderzoekers. Dit roept de vraag op hoe intensief leraren en schoolleiders in de praktijk als echte onderzoekers moeten werken. De term ‘onderzoeker’ lijkt op veel plaatsen passend, maar kan ook als ongepast worden ingevuld. We moeten vermijden de indruk te wekken dat het aannemen van de rol van professionele onderzoeker automatisch het eigen functioneren zal versterken. Hoe meer onderzoeker hoe beter, klinkt het dan. Door op deze manier naar onderzoek in scholen te kijken, dreigen we het paard achter de kar te spannen en te ver gaan, betogen wij. Het is net belangrijk om kenmerken van de professionele onderzoeker met de juiste intensiteit na te streven in de klaspraktijk en in het schoolbeleid. Daarom beschrijven we in deze bijdrage wat de onderzoekende professional kan leren van de professionele onderzoeker, en wat niet.

De professionele onderzoeker en de onderzoekende professional

Op het eerste gezicht zou je kunnen denken dat de professionele onderzoeker en de onderzoekende professional weinig gemeen hebben. Toch zijn er best wat gelijkenissen. Beiden zijn kenniswerkers. De aard van die kennis, en de manier waarop die kennis tot stand komt en hoe deze gebruikt wordt, verschillen evenwel. Zo zal de professionele onderzoeker vooral tot nieuwe, zo mogelijk algemeen geldende, kennis willen komen. De uitdaging voor de onderzoekende professional bestaat erin om die meer algemene kennis vast te nemen en vervolgens te onderzoeken welke verfijningen daar in de eigen specifieke context aan aangebracht moeten worden. Hoewel de professionele onderzoeker wel kan proberen te beschrijven wat werkt (denk dan maar aan evidence-informed werken), zal deze vraag in realiteit niet volstaan. Naast de vraag wat ‘werkt’, dient aandacht gegeven te worden aan in welke context en voor wie het werkt. De professionele onderzoeker kan als het ware een aantal bakens uitzetten die vervolgens verfijnd dienen te worden door de onderzoekende professional. Hun uitgangspunten zijn daarbij verschillend. De professionele onderzoeker start vanuit een kennislacune, deels los van de praktijk en vanuit een theoretisch fundamentele overweging. De onderzoekende professional stelt op basis van reflectie de praktijk in vraag en deze reflectie vormt een basis voor concrete actie. Het antwoord op de vraag welke kennis je nodig hebt en hoe je die kennis kan doen ontstaan, verschilt dus voor beiden. Onze vaststelling is dat professionele onderzoekers zichzelf nogal eens teveel als referentie nemen wanneer ze goedbedoeld advies geven aan onderzoekende professionals in de onderwijspraktijk. In die zin dat het lijkt dat die onderzoekende professional de methodologie, de systematiek en de aanpak die de professionele onderzoeker hanteert zich ook in de eigen school- en klaspraktijk eigen dient te maken. Zo worden onnodige en onrealiseerbare verwachtingen gecreëerd.

Dat neemt echter niet weg dat er voor de onderzoekende professional waardevolle lessen te trekken zijn uit hoe professionele onderzoekers denken en handelen. Deze lessen staan in deze bijdrage centraal. We beschrijven typerende praktijken van professionele onderzoekers en vertalen deze naar mogelijke inspirerende tegenhangers voor de onderwijspraktijk in de (basis)school. We stellen wat volgt graag voor als een mengpaneel. We presenteren een aantal dimensies waar je als onderzoekende professional aan kan werken. Het is aan de lezer om te bepalen in welke combinatie en met welke intensiteit hierop ingezet kan worden in de eigen context. We getuigen over de praktijk van professionele onderzoekers zonder belerend te willen zijn. Ook professionele onderzoekers timmeren immers aan de weg. Bovendien hebben zij vaak ook makkelijk spreken, gegeven dat onderzoek voeren hun kernactiviteit is. Dit staat tegenover de onderzoekende professional die deze verwachtingen bovenop verschillende andere kerntaken dient vorm te geven.

We structureren het geheel rond zeven thema’s. We geven eerst aandacht aan wat we een onderzoekende basishouding zullen noemen. Deze legt als het ware het fundament voor de andere zes leidende principes. Als professionele onderzoekers zullen we duiden wat de principes juist betekenen in de onderzoekspraktijk. Vervolgens maken we telkens de vertaalslag naar de onderzoekende professional in de school.

 

Werk (verder) aan een onderzoekende basishouding

Een onderzoekende basishouding tref je aan bij leraren en schoolleiders die getuigen van een wil om hun praktijken diepgaand te begrijpen, die terughoudend zijn om snel een oordeel te vellen, die weten dat de werkelijkheid niet éénduidig is, en er complexiteit en tegenstelling is. Leraren en schoolleiders met een onderzoekende basishouding willen en kunnen omgaan met verschillende perspectieven (Earl & Katz, 2006). Een onderzoekende basishouding uit zich in kritisch en bedachtzaam zijn, in combinatie met streven naar een empathisch aanpak en opmerkzaamheid (Van den Herik & Schuitema, 2016).

Je kan deze basishouding als toetssteen gebruiken om individuele medewerkers een spiegel voor te houden en om een onderzoekende houding bij hen te ontwikkelen. Sterker wordt het wanneer er eveneens organisatiewaarden aan ontleend worden die de school in haar cultuur gaat nastreven. Het gaat op zich niet om nieuwe ideeën, velen zullen het belang ervan erkennen. Je hoeft het wat basishouding betreft dus ook niet nodeloos ver te gaan zoeken. Deze basishouding vormt in zekere zin een fundamentele laag die je zal nodig hebben om de volgende stappen te kunnen zetten.

Vertrek vanuit helder afgebakende vragen

Voor de professionele onderzoeker is het typerend vanuit afgebakende heldere vragen te vertrekken. Er wordt de tijd genomen om onderzoeksvragen scherp te krijgen. In de school- en klaspraktijk is de realiteit groot en complex. Een onderzoeker zal deze realiteit proberen te vernauwen en aanvaardt dat je een focus moet vinden. Deze afbakening komt er in functie van haalbaarheid, maar evenzeer om er op een coherente manier vervolg aan te kunnen geven. Professionele onderzoekers nemen in hun vragen heel duidelijk mee dat ze willen afbakenen. Ze benoemen expliciet waarover ze willen spreken en wie hun doelgroep zal zijn. Verder willen ze duidelijk aangeven hoe thema’s afgebakend werden en welke begrippen er gehanteerd worden. Dit doen ze door hun vragen theoretisch in te bedden in de bestaande kennisbasis.

Een valkuil voor de onderzoekende professional is te ambitieus willen zijn en te veel willen bereiken. Dit vertaalt zich dan meestal in brede en vooral vage doelstellingen. Je wil je als leraar bijvoorbeeld een nieuwe rekenmethode eigen maken of binnen het team nieuwe methodieken uitproberen. Vaak zijn er dan de zogenaamde ‘er-doelen’, hiervan zijn er heel wat voorbeelden in een onderwijscontext: ik wil mijn les interactiever maken, ik wil leerlingen sterker motiveren…. Zulke doelen zijn mooi op zich, maar zijn eerder moeilijk werk- en haalbaar als ze zo vaag en breed omschreven blijven.  Probeer als onderzoekende professional de vraag echt heel helder te krijgen. Stel scherp op wie, wat, waar, wanneer, waarom en hoe. Zodanig dat er echt mee aan de slag gegaan kan worden. Zo vormt een helder afgebakende vraag een echt fundament om op verder te bouwen. Een goede vraag is immers de halve weg naar het antwoord.

Sta op de schouders van anderen

Een tweede typische aanpak van de professionele onderzoeker is dat deze doelbewust op de schouders van anderen gaat staan. Elk onderzoek start met een literatuurverkenning, met de vraag ‘wat weten we hier al over?’. Onderzoekers gaan daar ver in. Ze nemen (en hebben) daar de tijd voor. Op die manier kan vermeden worden dat het warm water steeds opnieuw moet worden uitgevonden. Zelfs als onderzoekers claimen dat ze innovatief onderzoek doen of wanneer ze nieuwe initiatieven ontwikkelen, is aansluiten bij de bestaande kennis een cruciaal uitgangspunt. Wat de onderzoeker doet, is eerst stil staan, tijd nemen en nagaan op welke manier hij zich door reeds bestaand werk kan laten inspireren. Dit doet de onderzoeker om te kijken welke fundamenten er zijn om op verder te bouwen.

Ook onderzoekende professionals kunnen op de schouders van anderen gaan staan. Een schoolleider kan bijvoorbeeld een bestandsmap “de onderzoekende leraar” aanmaken. In dat mapje is onderwijsliteratuur ondergebracht: artikels, opiniestukken, maar ook boeken over klasmanagement, didactiek en schoolbeleid. Zo zijn die bronnen toegankelijk gemaakt voor de leraren waardoor de drempel echt verlaagd wordt. Of ook even opwerpen dat iets als Google Scholar of het zogenaamde Leerpunt bestaan: toegankelijke manieren voor onderzoekende professionals om bronnen te raadplegen. Toegegeven, we weten dat dit vaak leidt tot een reactie als ‘waarom moet ik dit lezen en wanneer moet ik dat nog doen?’. Net door op de schouders van anderen te staan, kunnen we efficiënter met de tijd omgaan. Van heel wat onderwijsinitiatieven is immers al onderzocht wat de belemmerende factoren zijn of wat de succesfactoren zijn. Wat wel en wat soms niet werkt. En waarom.

Expliciteer en deel veronderstellingen

Typisch voor de professionele onderzoeker is dat deze heel intensief aan de slag gaat met de eigen veronderstellingen. Het kader (of de theorie) van waaruit je kijkt, bepaalt immers hoe je de dingen ziet, wat je ziet en welke lessen je daaruit trekt. Het eigen kader bepaalt ook mee wat je belangrijk en waardevol vindt. En dat betekent dat onderzoekers hier bijzonder transparant over moeten zijn. In de eerste plaats omdat ze zich bewust dienen te zijn van hun eigen bril. Ze willen er echter ook over communiceren zodanig dat anderen mee in het verhaal kunnen stappen. Uitgangspunten en concepten worden uitgeklaard om een taal te creëren die gezamenlijk gebruikt kan worden om over het voorliggende thema te gaan spreken. Het is ook net door veronderstellingen te expliciteren en ze vervolgens bespreekbaar te maken dat je verplicht wordt om een goede logica op te bouwen, om met argumenten te komen die steekhouden.

Stel je even voor dat we straks in het leraarslokaal van jouw school vol onderzoekende professionals binnenwandelen en we werpen daar de stelling op dat ‘er niets zo praktisch is als een goede theorie’. Welke reacties verwacht je dan van jouw collega’s? Allicht stellen best wat van jouw collega’s: “Tja, met zulke theorieën, daar kan ik weinig tot niets mee”. Toegegeven, niet elke theorie is bruikbaar voor de praktijk. Ondertussen zijn ook leraren en schoolleiders, die de idee van theorieën afwijzen, zich er best van bewust dat elk van hen een mentaal beeld heeft omtrent wat er in de eigen praktijk toe doet. Ze hebben allen een mentaal beeld over ‘goed lesgeven’ of ‘goed leiderschap’, over welke elementen daar van tel zijn en hoe die verschillende elementen zich tot elkaar verhouden. Zelfs de meest rabiate afwijzer van een theorie, heeft een mentaal model. Zulk een mentaal model is als het ware weinig anders dan een niet-geëxpliciteerde, persoonlijke theorie. Ons pleidooi is om zowel jezelf als individuele onderzoekende professional, als samen als team je daar bewust van te zijn wanneer je praktijk en beleid vormgeeft. In de leraarskamer, tijdens informele gesprekken en tijdens een teamoverleg worden immers heel wat veronderstellingen geopperd. Vaak bijzonder interessant, wat maakt dat het jammer is dat we (te) zelden de kans grijpen er verder op door te denken. Waarom eens niet overwegen om de placemat-methode te gebruiken een volgende keer wanneer dat het geval is. Dat is een laagdrempelige techniek waarbij deelnemers hun ideeën individueel opschrijven en deze vervolgens delen door ze op een gedeelde placemat te plaatsen. De bedoeling is precies om de eigen veronderstellingen helder te krijgen en deze te koppelen aan veronderstellingen van anderen. Je wordt dan ook meteen geprikkeld om vanuit het perspectief van collega’s te kijken en elkaars veronderstellingen te verbinden.

Wees (voldoende) systematisch

Ook systematisch werken is typerend voor een professionele onderzoeker. We hebben daarstraks gesteld te vertrekken vanuit heldere vragen. Het is net systematiek in de vorm van coherentie van vraag tot antwoord die cruciaal is voor goed opgezet onderzoek. De vragen laten zich vertalen in theoretische concepten. Dat theoretisch kader vertaalt zich vervolgens naar passende technieken om informatie te verzamelen. Denk aan surveys uitzetten, gesprekken voeren, observeren. De conclusies die de professionele onderzoeker trekt, dienen met grote zekerheid gerechtvaardigd te zijn op basis van de beschikbare informatie. Systematiek zit dus niet alleen in het globale onderzoeksproces, maar ook heel specifiek in het verzamelen en gebruiken van data. Als professionele onderzoeker kom je er niet mee weg te zeggen dat er praktische beperkingen zijn. De kwaliteit van de data en de validiteit van de conclusies zijn voor professionele onderzoekers van cruciaal belang.

Voor onderzoekende professionals ligt dat anders en kunnen vereisten ten aanzien van systematiek gerust lager liggen. Vandaar dat hier sprake is van wees ‘voldoende’ systematisch. In de professionele realiteit kan en hoef je als leraar of schoolleider niet diezelfde rigorositeit aan de dag te leggen als de professionele onderzoeker. Dat is bijvoorbeeld het geval als je als leraar een snelle evaluatie van de leermotivatie wil houden bij je leerlingen, wanneer je als school aan zelfevaluatie van het eigen leerklimaat doet of wanneer je de vraag stelt of een leesaanpak wel voldoende effectief blijkt. Gegevensverzameling is voor onderzoekende professionals een middel om tot betere aanpakken en professioneel leren te komen. Zij moeten met vertrouwen kunnen roeien met de riemen die ze hebben, zowel inzake tijd als inzake expertise. Praktische beperkingen worden hier dus wel in zekere mate verschoond. Zorg als onderzoekende professional dus voor doelgeschikte data, wees zo valide en betrouwbaar mogelijk gegeven de context, en ga hier niet te ver in.

Heel wat leraren gebruiken de OVUR-methodiek om hun leerlingen systematisch te leren werken (Oriënteren: Wat moet ik doen? Voorbereiden: Hoe ga ik het doen? Uitvoeren: Ik over het werk uit. Reflecteren: Ik kijk mijn werk na.). Wat we van onze leerlingen verwachten, moet ook voor de leraar en schoolleider weggelegd zijn, lijkt ons. Ook een onderzoekende professional streeft zulk een systematische werkwijze na. Dan denken we al snel aan de PDCA-cirkel (plan, do, check en act). Of vragen zoals: Doe ik de goede dingen en doe ik de dingen goed? Hoe weet ik dat en vinden anderen dat ook? En wat doe ik dan met die informatie? Vragen die we onszelf wel vijftig keer per dag kunnen stellen. Soms betekent deze vragen willen beantwoorden ook dat bijkomende informatie over onze klassen of over het schoolbeleid verzameld dient te worden. Ook een onderzoekende professional steunt hierbij op betrouwbare informatie en maakt gebruik van valide instrumenten. Goed om weten is dat er best veel instrumenten ter beschikking zijn. Alvorens zelf instrumenten te gaan ontwikkelen, loont het om na te gaan wat er beschikbaar is om over bijvoorbeeld welbevinden van leerlingen, de klaspraktijk van leraren of de leiderschapsstijl van directeurs uitspraken te doen. Wees voldoende systematisch, en laat je niet verlammen door de feitelijke vaststelling dat systematiek in het proces en in de dataverzameling altijd beter kan. Voldoende systematisch, is goed genoeg.

Zoek de kritische blik van collega’s op​

Opnieuw maken we eerst weer even de sprong naar de professionele onderzoeker. Eveneens typisch voor die professionele onderzoeker is het doelbewust op zoek gaan naar de kritische blik van collega’s. Professionele onderzoekers stellen alles in het werk om collega-onderzoekers mee te laten denken over de eigen veronderstellingen, eigen aanpak en eigen conclusies. Wat ze proberen te doen, is vreemde ogen doen meekijken. Vreemde ogen zoeken ze in eerste instantie dichtbij, wat betekent dat goed onderzoek teamwerk is. Dat lukt maar – zoals we hoger al beargumenteerden – wanneer je veronderstellingen geëxpliciteerd hebt en transparant over voorliggende vragen en aanpak communiceert. Andere leden van de onderzoeksgemeenschap denken mee over thema’s, denken mee over theoretische onderbouwing, over de manier waarop gegevens het best verzameld en geïnterpreteerd worden. Daarbij krijgen ze ook de opdracht na te gaan of alles volgens geldende maatstaven plaatsvindt. Onderzoekers geven hun materiaal daartoe ook ‘in review’. Op een dubbel blinde manier. De reviewers weten dan niet wiens werk zij beoordelen en de verantwoordelijken voor het beoordeelde werk weten (ook achteraf) niet wie die feedback gegeven heeft. Zulke reviews door ‘vreemde ogen’ maken onderzoekers bewust van en verruimen de eigen blik.

In de wijze waarop professionele onderzoekers de kritische blik van collega’s opzoeken schuilt ook advies voor onderzoekende professionals. Leraren zijn traditioneel in hun klas zeer autonoom aan het werk. Tijdens de coronapandemie kwam de vraag om klaslokalen grondig te verluchten en werden klasdeuren letterlijk opengegooid. Een onderzoekende professional houdt daar ook spreekwoordelijk aan vast. Een open klas nodigt uit tot observeren en geobserveerd worden. Dat creëert mogelijkheden om aanpakken van onderwijs en leren te bespreken, te beoordelen en te verbeteren. Ook de onderzoekende professional zoekt dus het best de kritische blik collega’s op. Voor beginnende leraren loont het om meer individueel ‘peters’ en ‘meters’ aan te stellen die naast een informerende ook een ondersteunende functie opnemen. Zulke behoefte aan andere ogen die meekijken, lijkt voor startende leraren vanzelfsprekend. Ondertussen zijn ook systemen waarbij meer ervaren leraren en schoolleiders een kritische vriend hebben waardevol. Zo kan de gastheer-leraar leerkansen aanbieden voor de collega-leraar of kan de gastheer-schoolleider met een andere blik meekijken naar een bestaand probleem. Net zoals professionele onderzoekers samen onderzoeksvragen vastleggen, kunnen onderzoekende professionals samen leer- en evaluatievragen vastleggen. En deze samen aanpakken. Collectiever bekeken, kunnen er intervisiegroepen in het leven geroepen worden waarbij de leden elkaars les gaan observeren en op basis daarvan achterliggende veronderstellingen bediscussiëren en suggesties voor werkpunten formuleren. Leer- en evaluatievragen kunnen in bestaande werkgroepen binnengebracht worden. Verder kunnen we gebruikmaken van interne of externe begeleiders. Het gezamenlijk bespreken van kenmerken van goed onderwijs of goed leiderschap draagt ook bij aan het uitwerken en vastzetten van kwaliteitsverwachtingen, die vervolgens in een systeem van ontwikkelingsgerichte review in de school collectief gehandhaafd kunnen worden.

Treed naar buiten

Schrijven helpt denken, net zoals lesgeven over een thema. In beide gevallen word je verplicht om veronderstellingen scherp te krijgen door erover te communiceren. Professionele onderzoekers, zo stelden we eerder al, treden naar buiten in het reviewproces. Maar ook na hun onderzoek proberen ze – in bescheidenheid waar dat nodig is en onbescheiden waar het kan – met het resultaat van hun werk de openbaarheid op te zoeken. Zij proberen hun resultaten en ideeën in de bestaande kennisbasis te integreren. Precies het uitgangspunt dat onderzoek steeds op eerder werk verder bouwt maakt dat anderen weet moeten hebben van zowel bevindingen als van al dan niet succesvolle methodologische aanpakken. Het eigen werk delen is dus een wezenlijk onderdeel van de wetenschappelijke aanpak. Naar buiten treden ontspruit bij professionele onderzoekers niet aan een vorm van ijdelheid, maar aan het inzicht dat wetenschap niet kan cumuleren, bevestigen of tegenspreken wanneer de resultaten niet gedeeld worden.

Als onderzoekende professional de eigen activiteiten vormgeven, betekent volgens ons eveneens naar buiten treden met eigen successen, twijfels en mislukkelingen. Stel ontwikkelde documenten, toetsen, werkblaadjes ter beschikking en maak voorbeelden van goede praktijk bekend. Dat kan één op één. Of in team. Denk aan het organiseren van (middag)sessies ‘van en voor leraren’ waarbij leraren bijvoorbeeld éénmaal per maand de mogelijkheid hebben ervaringen met nieuwe werkvormen te bespreken of te demonstreren hoe en onder welke voorwaarden een ICT-tool de lessen kan ondersteunen. Er lijkt in Vlaamse (basis)scholen een terughoudendheid om de vruchten van de eigen inspanningen te delen. Lopen we niet graag te koop met successen? Vinden we het onvoldoende veilig de praktijk daadwerkelijk samen onder de loep te nemen? Hebben we niet graag dat anderen met de pluimen gaan lopen of profiteren van onze inspanningen? Als dat zo is: onderwijs verzorgen is een gezamenlijk opdracht, niet? Waarom onszelf niet beschouwen als medeverantwoordelijk voor het succes van collega’s? Dat kan enkel als er de durf is om naar buiten te treden. Net zoals bij professionele onderzoekers is het voor onderzoekend professionals een manier om inzichten te doen cumuleren, te bevestigen én waar nodig tegen te spreken.

Afrondend: De onderzoekende professional in actie

Als je ons vraagt wat de onderzoekende professional kan leren van de professionele onderzoeker, dan schuiven wij de zeven besproken thema’s naar voren. Misschien is jouw reactie deels ‘is het dat maar’. Onze boodschap is ook net het niet te ver te gaan zoeken. De ideeën zijn op zich voor velen ook niet nieuw. We weten al langer dat dit ingrediënten zijn om in de school tot sterke praktijken en sterk beleid te komen. Onderzoekende professionals tekenen ook paden uit om ideeën waar te maken en spreken elkaar erop aan op het moment dat ze (nog) onvoldoende gerealiseerd zijn. Erover schrijven en lezen is niet de echte uitdaging. Die uitdaging schuilt erin de principes in de praktijk waar te maken. Aan jou om te beslissen of, en zo ja in welke combinatie en met welke intensiteit, de principes passend zijn in de eigen schoolcontext. Dat kan de focus zijn van een heldere vraag, die jullie uitnodigt ook over de eigen veronderstellingen omtrent de onderzoekende professional in de eigen school te spreken. Ga vervolgens systematisch te werk, zoek de blik op van collega’s en treed naar buiten. Waar mogelijk, steunend op de schouders van deze tekst en van elkaar.

 

Bronnen

Aelterman, A., Meysman, H., Troch, F., Vanlaer, O., & Verkens, A. (2008). Een nieuw profiel voor de leraar secundair onderwijs. Hoe worden leraren daartoe gevormd? Inormatiebrochure bij de invoering van het nieuwe beroepsprofiel en de basiscompetenties voor leraren. Brussel: Ministerie van de Vlaamse Gemeenschap, Departement Onderwijs en Vorming.

Earl, L., & Katz, S. (2006). Leading Schools in a Data-Rich World. Thousand Oaks, CA: Corwin Press.

Van den Herik, M. & Schuitema, A (2016). Een onderzoekende houding. Bussum: Uitgeverij Coutinho BV

 

Wat is jouw punt? Een inspiratiegids rond betekenisgeving in onderwijs

Wat is jouw punt? Een inspiratiegids rond betekenisgeving in onderwijs

(Tekst – Evelyn Goffin, Randi Buvens, Roos Van Gasse en Jan Vanhoof)

 

Jij, als onderwijsprofessional, bent een kenniswerker. Je zet je eigen vakkennis, pedagogische vaardigheden en beleidscompetenties in om kwaliteitsvol onderwijs te bieden. Je verwerkt voortdurend allerhande informatie, je geeft daar betekenis aan, en je creëert nieuwe kennis om tot goed onderwijs te komen en leerlingen tot leren te brengen.  

De laatste decennia is er in ons onderwijs, net zoals in andere maatschappelijke domeinen waarin de nadruk ligt op kenniswerk, steeds meer aandacht voor evidence-informed practice en datageïnformeerd werken: beslissingen onderbouwen met kennis die anderen vergaard hebben of met betrouwbare gegevens die je zelf op een correcte manier verzameld hebt. Of ook: beslissingen niet zomaar of alleen maar nemen op basis van intuïtie, maar aanvullen met meer objectief vastgestelde feiten en bronnen. Het gebruik van informatie en (data)geïnformeerd beslissen is dan ook een belangrijke pijler geworden van ons onderwijs in het algemeen en van de interne kwaliteitszorg op scholen in het bijzonder. 

Dat is niet onlogisch. Uit onderzoek én uit de praktijk blijkt immers dat informatiegebruik een positieve invloed heeft op de kwaliteit van onderwijsbeslissingen. Het geeft een basis om op te bouwen en een aanvulling of tegengewicht voor te snelle, intuïtieve oordelen die op een later moment mogelijk tegengesproken of herzien moeten worden. Tegelijkertijd kan informatiegebruik best wel een uitdaging zijn, of voelt het soms misschien aan als iets dat erbij komt en losstaat van je kernopdracht.  

 

Inspiratiegids

Met deze inspiratiegids reiken we jou ideeën aan waarmee je je eigen opvattingen over informatiegebruik helder kan krijgen. We willen je inspireren om kritisch te (blijven) kijken naar de informatie die je verzamelt of voorgeschoteld krijgt, en we willen je handvatten geven om informatie in ieders voordeel te gebruiken, op een manier die steek houdt. De handvatten die we in deze inspiratiegids meegeven, nemen de vorm aan van prikkels om te reflecteren over informatiegebruik en over de processen die daarin een rol spelen. Zo kan jij als onderwijsprofessional aan de slag om je eigen dos and don’ts vorm te geven.  

We leggen in deze gids in het bijzonder het accent op één specifieke soort van informatie: prestatiegegevens van leerlingen. Denk daarbij niet enkel aan de toetsresultaten die je zelf in de klas verzamelde, maar bijvoorbeeld ook aan resultaten op gestandaardiseerde toetsen, centrale toetsen en andere externe proeven. Prestatiegegevens zijn lang niet de enige informatiebron om onderwijsbeslissingen op te baseren – dat is dus ook niet het ‘punt’ dat we hier willen maken. Integendeel zelfs. Maar: nog al te vaak wordt deze soort informatie met enig wantrouwen bekeken, terwijl formele prestatiegegevens nochtans een frisse blik bieden. Die informatie combineren met allerlei andere informatie die voorhanden is (Wat zeggen onze andere evaluaties? Welke koers varen we?) verruimt je perspectief, en daarin zit de meerwaarde. De meerwaarde – maar ook de kunst. 

Om je op weg te helpen, laten we je kennismaken met het idee dat aan de slag gaan met informatie een proces is van individuele en collectieve betekenisgeving. ‘Betekenis geven’ is iets dat ieder van ons, elke dag opnieuw, dag in dag uit doet. Ook wanneer we prestatiegegevens van leerlingen analyseren en interpreteren, doorlopen we een betekenisgevingsproces. We verwerken nieuwe informatie, gaan na of dat nieuwe in lijn is met wat we van tevoren al wisten of dachten te weten, en stellen onszelf vervolgens de vraag of we ons beeld moeten bijstellen. Kortom, door betekenis te geven aan gegevens en gebeurtenissen proberen we wijs te geraken uit de wereld.  

Lees wijs 

Om het proces van betekenisgeving op een gestructureerde manier toe te lichten, werd deze inspiratiegids opgedeeld in vier delen.  

  • Deel 1 zoomt breed uit: wat is dat nu concreet, betekenisgeving? Hier komen kaders over ‘hoe mensen denken’ aan bod. We laten je kennismaken met je eigen persoonlijk referentiekader en dagen je uit om na te denken over je denken.  
  • In Deel 2 slaan we de brug naar informatiegebruik in het onderwijs. Zijn data en informatie hetzelfde? Wat doe je bewust en onbewust wanneer je als leerkracht of schoolleider vanuit je eigen referentiekader betekenis geeft aan informatie zoals prestatiegegevens?  
  • In Deel 3 gaan we dieper in op collectieve betekenisgeving. Wat is de meerwaarde van het in team bespreken van prestatiegegevens en andere informatie? Waarom zit daar soms wrijving op – en is dat erg? 
  • In Deel 4 bespreken we instrumenten, routines, vaardigheden en concrete inzichten die van pas kunnen komen in je eigen betekenisgevingsproces en dat van je team. 

Elk deel start met een wat meer uitgebreide toelichting van de kernboodschappen en inzichten uit onderzoek. Vervolgens gaan we telkens in op prikkelende en verhelderende ideeën. In die blik-openers – aparte, korte hoofdstukken die je los van elkaar kan lezen – ligt de nadruk op doordenkers en praktijkvoorbeelden. Ze zijn bedoeld als stof tot nadenken, en voer voor discussie. 

 

Verder lezen?

Link naar de gratis open access pdf. Voor een hard copy.

Verder kijken?

Wil je het online seminarie (her)bekijken dat we voorjaar 2024 organiseerden over de inspiratiegids? Klik dan hier of op onderstaande figuur.

Een dashboard voor centrale toetsen: Van wetenschap naar design

(Tekst – Roos Van Gasse, Evelyn Goffin en Jan Vanhoof)

 

Vanaf 2024 worden centrale toetsen uitgerold in Vlaanderen. Deze toetsen moeten scholen informeren over het bereiken van eindtermen in de leergebieden Nederlands en wiskunde. Onderzoekers van AP Hogeschool en Universiteit Antwerpen sloegen de handen in elkaar om wetenschappelijke inzichten te vertalen naar een gebruiksvriendelijk dashboard voor schoolleiders en leraren. De scholen die deelnamen aan het kalibratie-onderzoek zien daarvan als eerste het resultaat. Spannend!

Aan de slag met schoolfeedback uit centrale toetsen. Op weg doorheen terminologie en aanpak

(Tekst – Roos Van Gasse en Jan Vanhoof)

Vanaf schooljaar 2023-2024 beoogt de Vlaamse Regering om alle scholen in Vlaanderen over resultaatsaspecten van hun onderwijskwaliteit te informeren door middel van centrale toetsen. De sleutel tot kwaliteitsverhoging ligt daarbij niet zozeer bij de centrale toetsen an sich, maar wel in wat en hoe scholen zullen kunnen leren uit de schoolfeedback. De afgelopen decennia is veel onderzoek verricht naar hoe het gebruik van zulke prestatie-informatie een stimulans kan zijn voor schoolontwikkeling. Op basis daarvan schetsen we welke processen in schoolfeedbackgebruik cruciaal zijn om tot schoolontwikkeling te komen. En welke plaats schoolfeedbackgebruik kan hebben in het ruimere kader van kwaliteitszorg in scholen.

Kwaliteitsmonitoring in het Vlaamse onderwijs. Onderzoek naar het samenspel van het OK-kader, de doorlichting en gestandaardiseerde toetsen

(Tekst: Jan Vanhoof)

Aanleiding voor dit onderzoek was de vernieuwde doorlichtingsaanpak ‘Inspectie 2.0’ en de introductie van het Referentiekader voor Onderwijskwaliteit (OK-kader). Over de ervaringen van het werkveld met de nieuwe manier van doorlichten en de effecten die Inspectie 2.0 met zich meebrengt was tot voor kort weinig geweten. Daarnaast was ook de mate waarin het onderwijsveld vertrouwd is met het OK-kader en welke impact de invoering van dit kader gehad heeft op het beleid van scholen tot dusver niet de focus geweest van systematisch onderzoek.

Naast doorlichtingen volgens de principes van Inspectie 2.0, doet de Vlaamse overheid ook beroep op verschillende andere bronnen van externe kwaliteitszorg om de kwaliteit van het Vlaamse onderwijs te monitoren, namelijk peilingsonderzoek en internationaal vergelijkend onderzoek. Elk van deze bronnen van externe kwaliteitszorg biedt specifieke informatie over de Vlaamse onderwijskwaliteit, toch blijken de resultaten en bijhorende conclusies van de verschillende bronnen niet altijd in eenzelfde lijn te liggen. Daarom gingen wij op zoek naar antwoorden op de vragen of en hoe (1) de doorlichting en het OK-kader en (2) de verschillende bronnen van kwaliteitszorg (kunnen) functioneren als hefbomen voor onderwijskwaliteit.

Wie interesse heeft in de aanpak en bevindingen van het onderzoek verwijzen we graag naar de beleidssamenvatting van het onderzoek. De achterliggende (deel)rapporten kan u hier vinden.

Hieronder presenteren wij de beleidsaanbevelingen bij het onderzoek.

Goede leerlingevaluatie vergt drie perspectieven. En (zeer) soms kan vergelijken met het klasgemiddelde er daar ééntje van zijn.

Goede leerlingevaluatie vergt drie perspectieven. En (zeer) soms kan vergelijken met het klasgemiddelde er daar ééntje van zijn.

(Tekst – Jan Vanhoof)

  • Mag je als leraar of ouder tevreden zijn wanneer een leerling de standaard behaalt, geen vooruitgang boekt maar beter scoort dan andere leerlingen?
  • Mag je als leraar of ouder tevreden zijn wanneer een leerling de standaard niet behaalt, vooruitgang boekt en toch beter scoort dan andere leerlingen?
  • Mag je als leraar of ouder tevreden zijn wanneer een leerling de standaard behaalt, vooruitgang boekt maar ondertussen minder goed scoort dan andere gelijkaardige leerlingen?

Deze vragen brengen ons naar de kern van evaluatie. Ze stellen scherp op de basis waarop we oordelen en op hoe er over leerlingprestaties gecommuniceerd zal worden.

Drie verschillende strategieën kunnen in het beoordelen van leerlingprestaties onderscheiden worden: relatieve scoring, criteriumgerichte scoring en leerlinggerichte scoring. Deze zijn elk op zich waardevol en nodig. Geen enkele benadering kan echter op zich staan. Een volwaardige (communicatie over) beoordeling van leerlingprestaties probeert de drie perspectieven binnen te brengen. Met accenten die afgestemd zijn op het leertraject van de leerling die geëvalueerd wordt.

Het AI-gebruik van Vlaamse onderwijsonderzoekers: Resultaten van een flash inquiry

Het AI-gebruik van Vlaamse onderwijsonderzoekers: Resultaten van een flash inquiry

(Tekst: Joris Van Elsen)

De snelle opmars van Artificiële Intelligentie (AI) laat het onderwijskundig onderzoek niet onberoerd. Deze paper brengt verslag van een ‘flash inquiry’ die werd uitgevoerd tijdens de PhD Masterclass 2023 over methodologische uitdagingen binnen onderwijskundig onderzoek in Antwerpen. Aan de 31 aanwezigens werd gevraagd een digitale survey in te vullen over hun gebruik van AI-toepassingen voor wetenschappelijke doeleinden. Uit de resultaten blijkt dat meer dan de helft van de onderzoekers ten minste occasioneel AI gebruikt voor hun onderzoek. Naast het meest bekende ChatGPT worden tal van andere toepassingen gebruikt voor het schrijven, verbeteren en vertalen van teksten, het zoeken van bronnen, het genereren en aftoetsen van ideeën en het creëren van afbeeldingen voor wetenschappelijke posters.

Aandacht voor betekenisgeving: omdat data niet vanzelf-sprekend zijn

(Tekst: Evelyn Goffin en Jan Vanhoof)

Outputgegevens zoals schoolfeedbackrapporten en resultaten op gestandaardiseerde toetsen brengen een externe blik binnen in de school en geven aanwijzingen over dingen die goed of minder goed gaan. Op papier zijn ze dus een krachtig hulpmiddel om schoolbeleid en klaspraktijk te informeren. Hoewel ze robuuste cijfers bevatten, vaak ook met een vergelijkend perspectief en informatie op systeemniveau, bieden ze echter zelden een hapklare conclusie of een lijstje met sterktes en werkpunten.

In een schoolontwikkelingslogica gaan we er nogal snel vanuit dat de beschikbaarheid van “goede data” haast vanzelf tot schoolverbetering leidt. Je ontvangt een rapport met goed onderbouwde informatie, je analyseert de cijfers, beslist wat moet veranderen of verankerd worden, en klaar. Zo eenvoudig klinkt het vaak. Dat het in de realiteit zo rechtlijnig niet is, ervaren we echter vanuit verschillende hoeken. Omdat we als leraar, schoolleider, of pedagogisch begeleider zélf ondervinden dat informatiegebruik geen evidente oefening is. Omdat we als toetsaanbieder of beleidsmaker vaststellen dat data niet aangewend worden zoals we zouden verwachten of vooropstellen. Of omdat we als onderwijsonderzoeker constateren dat informatiegebruik een levend, dynamisch gegeven is dat niet altijd strakke theoretisch modellen volgt.

 

Om data doorgronden en op basis daarvan tot passende beslissingen te komen, moet je je als onderwijsprofessional heel wat dingen afvragen: Wat betekenen de cijfers die ik voor me heb voor mijn leerlingen, mijn eigen klas, mijn school? (Hoe) gaan wij hier verder mee aan de slag? Moeten wij hier verder mee aan de slag? Dat is een interessante en belangrijke oefening, maar ook een complex proces: data zijn zelden vanzelf-sprekend.

Academisch optimisme: de gecombineerde kracht van doelmatigheidsbeleving, vertrouwen en gerichtheid op leren

(Tekst: Ruud Lelieur, Noel Clycq en Jan Vanhoof)

 

Werken aan leerprestaties voor álle leerlingen 

De vraag wat een school kan doen om leerlingprestaties te bevorderen is in Vlaanderen prominent aanwezig, zeker gezien de dalende resultaten in zowel Vlaamse als internationale onderzoeken die peilen naar leerprestaties van leerlingen. Die internationaal vergelijkende studies tonen ook aan dat onderwijsongelijkheid in Vlaanderen groot is. Achtergrondkenmerken van leerlingen – zoals sociaaleconomische status, opleidingsniveau van de moeder en thuistaal – voorspellen de prestaties van deze leerlingen beter dan de meeste schoolvariabelen. Die verschillen tussen kansarme en kansrijke kinderen bestaan wereldwijd, maar zijn in weinig landen zo uitgesproken als hier. En daarom is de vraag hoe we tegelijkertijd die prestaties én gelijke kansen kunnen verbeteren erg belangrijk.  

In een poging een antwoord te formuleren op de vraag naar schoolkenmerken die een verschil kunnen maken, introduceerden Hoy en collega’s het concept van academisch optimisme (Hoy, Tarter, & Woolfolk Hoy, 2006a). Kortweg gaat academisch optimisme over de positieve houding van scholen en hun leerkrachten ten aanzien van leerlingen, ouders en zichzelf. Ondanks de nadruk op ‘academisch’ heeft dit concept betrekking op alle leerlingen in alle onderwijsvormen. Academisch optimisme is het samenspel van drie schoolkenmerken die sterk samenhangen en elkaar beïnvloeden: (1) overtuigingen van doelmatigheid (het geloof dat je als leerkracht een positieve impact op je leerlingen kan hebben), (2) vertrouwen van leerkrachten in leerlingen en hun ouders en (3) academische gerichtheid (het stellen van hoge eisen en hebben van hoge verwachtingen).