(Tekst – Roos Van Gasse, Evelyn Goffin en Jan Vanhoof)

Vanaf 2024 worden centrale toetsen uitgerold in Vlaanderen. Deze toetsen moeten scholen informeren over het bereiken van eindtermen in de leergebieden Nederlands en wiskunde. Onderzoekers van AP Hogeschool en Universiteit Antwerpen sloegen de handen in elkaar om wetenschappelijke inzichten te vertalen naar een gebruiksvriendelijk dashboard voor schoolleiders en leraren. De scholen die deelnamen aan het kalibratie-onderzoek zien daarvan als eerste het resultaat. Spannend!

Wetenschappelijke principes combineren met gebruikerswensen

Vlaanderen is niet het eerste onderwijssysteem met centrale toetsen. Over feedback aan scholen is in de literatuur dus al wel wat onderzoek verschenen. Daaruit leerden we dat goede feedback:

• Relevant is voor de beoogde doelgroep(en)
• Gebruiksvriendelijk en vlot toegankelijk moet zijn
• Betrouwbare en valide informatie bevat
• Gepaard gaat met ondersteuning voor de interpretatie ervan

Klinkt logisch, niet? Toch blijft in de literatuur een vaak voorkomende aanbeveling van zulke feedback zoveel mogelijk met gebruikers vorm te geven. Dus vertrokken we vanuit gesprekken met experten én potentiële eindgebruikers om de bovenstaande principes te vertalen naar een aantal designrichtlijnen om het dashboard op te ontwikkelen. Deze zijn:

• Relevantie
  • Feedback opbouwen rond een selectie van relevante indicatoren, die elkaar aanvullen
• Gebruiksvriendelijk en vlot toegankelijk
  • Beperken van de statistische moeilijkheidsgraad van informatie
  • Intuïtieve manier van navigeren (getrapt systeem tussen school, lesgroep en leerling)
  • Duidelijk en consistent kleurgebruik
• Betrouwbaar en valide
  • Informatie weergeven op een statistisch correcte en neutrale (waardenvrije) manier
• Ondersteuning
  • Aansluiten bij de doelen van gebruikers om informatie te raadplegen
  • Ondersteuning in het dashboard voorzien (bijvoorbeeld, leeswijzer)
  • Aanvullende ondersteuning buiten het dashboard voorzien
  • Niet enkel cijfermatige informatie, maar ook inhoudelijke duiding
  • Consistentie in schalen en cesuren

Op basis van deze designrichtlijnen ontwikkelden we prototype-dashboards die we voorlegden aan potentiële eindgebruikers. Tijdens de verschillende bevragingsrondes maakten we een onderscheid tussen de navigatie doorheen het dashboard en de interpreteerbaarheid van figuren en tabellen.

Navigeren doorheen het (kalibratie)dashboard

Het dashboard zelf kan geopend worden via Tableau Reader. Bij de toegang tot het dashboard kom je op een persoonlijke pagina. Daar kan je aangeven voor welke vestigingen binnen je instelling je de feedback wil raadplegen.

De navigatiestructuur werd vervolgens zo opgebouwd dat ze de doelgerichtheid van schoolleiders en leraren om informatie te raadplegen zou ondersteunen. De informatie in het dashboard staat daarom geclusterd in een aantal vragen.

Toch zijn de vragen niet de enige manier om door het dashboard te navigeren. Dat kan net zo goed via de menustructuur aan de linkerkant van de pagina. Die is volgens een getrapt systeem opgebouwd, zodat tussen het niveau van de instelling, het niveau van de lesgroep of het niveau van leerlingen kan navigeren.

Een doordachte selectie van relevante inhouden, laagdrempelig gepresenteerd

Hoe een school presteert, kan je niet in één allesomvattende indicator presenteren. Verschillende ijkpunten in de feedback vullen elkaar aan om tot een fijnmazig begrip van de schoolprestatie te komen. In het dashboard worden daarom verschillende ijkpunten gecombineerd om de prestatie van de school in te schatten:

• Het bereiken van de eindtermen. Hierin krijgt de school informatie over of leerlingen al dan niet de eindtermen bereiken.
• Een vergelijking met Vlaanderen. Hierin krijgt de school informatie over hoe andere scholen in Vlaanderen presteren.
• Een vergelijking met vergelijkbare scholen. Hierin krijgt de school informatie over hoe scholen met een gelijkaardige leerlingenpopulatie presteren.

Daarnaast stelden we in gebruikersonderzoek vast dat naast ijkpunten ook meer detail in feedback aan scholen wenselijk is. Dit omdat gebruikers bij een ijkpunt zoals het bereiken van een eindterm ook op zoek zijn naar ‘wat dat dan precies betekent qua vaardigheid’ om daarmee aan de slag te kunnen gaan op school. Om aan deze behoefte te voldoen, worden in het dashboard vaardigheidsniveaus omschreven met het oog op een diepgaandere interpretatie.

Flexibiliteit en ondersteuning

De meerwaarde van een interactief dashboard ten opzichte van een statisch feedbackrapport is de flexibiliteit waarmee gebruikers met informatie kunnen omgaan. Op deze manier kan een dashboard flexibeler aansluiten bij de individuele behoeften van informatiegebruikers. Uit de gesprekken met potentiële eindgebruikers bleek een verscheidenheid in voorkeuren om informatie gepresenteerd te zien. Om daaraan tegemoet te komen hebben schoolleiders en leraren in het dashboard de opties om informatie via figuren of tabellen te raadplegen, en via absolute aantallen of percentages. Op deze manier wordt de flexibiliteit die een dashboard kan bieden aangewend in functie van specifieke gebruikersbehoeften.

Naast flexibiliteit wil het dashboard ook ondersteuning bieden aan gebruikers. Op elke pagina staat daarom een paginahulp. Die helpt de gebruiker met informatie over wat de gebruiker precies op de pagina te zien krijgt. Daarnaast worden belangrijke begrippen die op de pagina staan (bijvoorbeeld: een betrouwbaarheidsinterval) verduidelijkt via leeswijzers.

Maar het dashboard komt niet alleen. Ondersteuningsinitiatieven worden ook breder ontworpen. E-courses moeten gebruikers verder ondersteunen in hoe ze door het dashboard kunnen navigeren, hoe ze de informatie uit het dashboard kunnen interpreteren en in hoe scholen de stap van feedback naar onderwijsontwikkeling kunnen zetten. En ook deze materialen worden samen met gebruikers ontworpen en ontwikkeld. Zodat ze goed aansluiten op het dashboard én op de ondersteuningsnoden in het onderwijsveld.

Meer lezen?

Herrewijn, L., Hoefkens, A., Vanthournout, G., Van Gasse, R., & Vanhoof, J. (2022). Relevante, gebruiksvriendelijke en kwaliteitsvolle feedbackdashboards ontwerpen via Educational Design Research.

Molenberghs, G., Van Gasse, R., De Maeyer, S., & Vanhoof, J. (2022). Feedbackgebruik uit centrale toetsen: Diepte-interviews bij schoolleiders en leraren.