(Tekst – Alexia Deneire / Onderzoek – Jerich Faddar, Jan Vanhoof & Sven De Maeyer)

Beste collega- onderzoeker, mag ik even je aandacht? Als je van plan was om vandaag of morgen van start te gaan met het ontwikkelen van een survey, bespaar jezelf de moeite. Haal liever een goeie kop koffie en neem eerst de tijd om deze blog te lezen. De kern van mijn boodschap? Het heeft weinig zin om er volle bak in te vliegen: respondenten antwoorden tóch niet op de inhoud van je vragen, hun antwoord hangt gewoon af van het format van de vraag.

Zin en onzin van vragenlijstonderzoek

Of vragenlijstonderzoek dan gewoon geen zin heeft? Tja, soms heb je weinig keuze. Het is nu eenmaal een efficiënte manier om in een beperkte tijd veel data te verzamelen. Dus als je dat pad toch wil bewandelen: bezint eer ge begint. Respondenten die vragen beantwoorden maken niet noodzakelijk dezelfde denkstappen als jij.

Goed bedoeld, maar mis begrepen

We veronderstellen als onderzoeker nogal gauw dat respondenten items cognitief verwerken zoals jij ze bedoelt. Maar niks is minder waar. Mijn collega’s bogen zich over deze kwestie binnen de context van school-zelfevaluatie-instrumenten.

Wat als …  je de schedel van je respondent zou kunnen oplichten?

Niet met chirurgische instrumenten, wel door luidop te laten denken en heel gerichte vragen te stellen over wat ze denken. Zo stelden zij vast dat het wel eens  fout loopt wanneer respondenten vragen interpreteren en informatie ophalen uit het geheugen. Figuur 1 maakt duidelijk wat er zich afspeelt in het brein van respondenten wanneer ze een vraag lezen en een antwoordoptie selecteren.

Figuur 1: Respondenten doorlopen drie kritische denkstappen (gebaseerd op Karabenick et al, 2007)

Bij elk van deze stappen kan het in meer of mindere mate fout lopen: de cognitieve processen die jouw respondenten doorlopen matchen dan niet noodzakelijk met die van jou. Laat ik wat cijfermateriaal van mijn collega’s lenen om dit te verduidelijken:

• bij het ‘interpreteren’ van de vraag hecht slechts 44% van de respondenten op een correcte wijze betekenis aan de vraag (‘correct’ betekent volledig in lijn met de bedoeling van de ontwikkelaar);
• wanneer respondenten dieper ingaan op de interpretatie die ze maken door informatie op te halen uit hun geheugen (het ‘uitwerken’ van de vraag), gaan er nog meer de mist in: amper 32% interpreteert de vraag volledig correct;
• minder problematisch, is de stap van het ‘antwoorden’: 93% van de respondenten kiest een antwoordoptie die in lijn ligt met de bedoeling en/of hun eigen voorgaande denkstappen.

Ligt het nu aan de respondent zelf of aan jou als onderzoeker?

Wat er absoluut toe doet, is de manier waarop je je vragen formuleert. Stel dat je twijfelt tussen volgende twee mogelijkheden:

• Optie 1: “In deze school heeft men een duidelijk zicht op de functiebeschrijvingen van anderen in de school.”
• Optie 2: “Ik heb een duidelijk zicht op de functiebeschrijvingen van anderen in de school.”

Vraag je respondenten dan liever niet om te oordelen over een ruimer geheel (optie 1), maar wel om over zichzelf te oordelen binnen dat ruimere geheel (optie 2). Bij optie 1 is de kans dat respondenten exact datgene begrijpen wat jij vooropstelde met je vraag (zie figuur 2)  slechts één op drie (tegenover 57% bij optie 2). Dat komt doordat dit type vraagstelling –als een addertje onder het gras- iets extra vergt van je respondenten, namelijk nadenken over iedereen binnen de organisatie waar ze deel van uitmaken, in plaats van enkel over henzelf als individu binnen die organisatie.

Figuur 2: De kans dat jouw respondent de vraag volledig correct begrijpt is groter wanneer je vraagt om enkel voor zichzelf te spreken 

Zo meet je wat je bedoelt te meten

Dus, vóór je aan de slag gaat … Besef goed dat de vraag zoals jij die helder voor ogen hebt en zo precies mogelijk formuleerde, voor jouw respondenten niet noodzakelijk dezelfde betekenis heeft. Dat komt omdat er variaties kunnen optreden tijdens het proces van interpreteren, uitwerken en antwoorden: respondenten wijken af van de inhoud die jij voor ogen hebt. Misschien dat dit inzicht je aanzet om ook alternatieve methoden om onderzoeksgegevens te verzamelen in overweging te nemen.
Blijf je bij je beslissing om je onderzoeksvraag via survey-onderzoek te tackelen, houd dan rekening met de verwerkingscapaciteit van je respondenten. Vermijd in elk geval om je respondenten te laten oordelen over het grotere geheel waar ze deel van uitmaken. Aandacht voor het design van je vragenlijst en een precieze vraagformulering doen er toe: als respondenten enkel over zichzelf moeten oordelen, verhoogt de kans dat respondenten jouw vraag effectief opvatten zoals jij die bedoeld hebt.

Lees zeker ook het volledige artikel:

Jerich Faddar, Jan Vanhoof & Sven De Maeyer (2017): School self-evaluation instruments and cognitive validity. Do items capture what they intend to?, School Effectiveness and School Improvement.