Representativiteit in kwantitatief en kwalitatief onderzoek

Representativiteit is een begrip dat in onderzoek vaak te makkelijk wordt gebruikt. Zeker bij kwalitatief onderzoek gaat het snel mis. Dan wordt er gevraagd: ‘Is dit wel representatief?’ Vaak bedoelt men eigenlijk: ‘Mag ik deze uitkomsten breder toepassen?’

Bij kwantitatief en kwalitatief onderzoek werkt representativiteit anders. Bij kwantitatief onderzoek gaat het vooral om de vraag of je steekproef voldoende lijkt op de grotere groep waarover je uitspraken wilt doen. Bij kwalitatief onderzoek gaat het veel meer om de vraag of je genoeg relevante perspectieven hebt meegenomen om het verschijnsel goed te begrijpen.

Dat verschil is belangrijk. Anders beoordeel je kwalitatief onderzoek met de spelregels van kwantitatief onderzoek. Dan lijkt kwalitatief onderzoek al snel ‘niet representatief’, terwijl het misschien precies doet wat het moet doen: verdiepen, verklaren en betekenis geven.

Vanuit Evidence-Based Management is dit onderscheid extra relevant. EBM vraagt dat professionals beslissingen baseren op kritisch beoordeeld bewijs uit meerdere bronnen, zoals wetenschappelijke kennis, organisatiegegevens, professionele expertise en de waarden en ervaringen van betrokkenen (Barends & Rousseau, 2018; Barends et al., 2014). Representativiteit bepaalt mede hoe zwaar je een onderzoeksuitkomst mag laten meewegen in een besluit.


Representativiteit bij kwantitatief onderzoek

Bij kwantitatief onderzoek werk je meestal met cijfers. Denk aan enquêtes, scores, percentages, verbanden en statistische analyses. Je onderzoekt bijvoorbeeld hoeveel professionals werkdruk ervaren, hoeveel klanten tevreden zijn of welke factoren samenhangen met uitstroom.

Representativiteit betekent hier dat je steekproef voldoende lijkt op de populatie waarover je een uitspraak wilt doen. Wil je iets zeggen over alle medewerkers van een organisatie, dan moet je steekproef een goede afspiegeling zijn van die organisatie. Dus niet alleen mensen van één afdeling, niet alleen mensen die toevallig enthousiast zijn en niet alleen mensen die snel reageren op een vragenlijst.

Een eerste punt is steekproefkwaliteit. Een sterke steekproef begint met een duidelijke populatie. Over wie wil je precies iets zeggen? Alle medewerkers? Alleen teamleiders? Alleen professionals met klantcontact? Zolang die doelgroep vaag blijft, kun je ook niet goed beoordelen of je steekproef representatief is. Bij voorkeur wordt een steekproef aselect getrokken, zodat iedereen uit de populatie een bekende kans heeft om mee te doen. In praktijkonderzoek lukt dat niet altijd. Dan moet de onderzoeker uitleggen hoe de deelnemers zijn geworven en welke vertekening daardoor kan ontstaan.

Een tweede punt is respons. Een hoge respons maakt een onderzoek niet automatisch goed, maar een lage respons vraagt wel om voorzichtigheid. Vooral bij vragenlijsten bestaat het risico dat bepaalde groepen sterker reageren dan andere groepen. Ontevreden professionals kunnen bijvoorbeeld eerder reageren omdat zij hun punt willen maken. Zeer betrokken professionals kunnen juist eerder reageren omdat zij zich verantwoordelijk voelen. In beide gevallen kan de uitkomst scheef worden. Onderzoek naar respons in management- en organisatiestudies laat zien dat responspercentages sterk kunnen verschillen en dat onderzoekers goed moeten rapporteren hoe respons is verlopen (Keusch, 2015; Rogelberg & Stanton, 2007).

Een derde punt is spreiding. Een steekproef moet niet alleen groot genoeg zijn, maar ook voldoende variatie bevatten. Als je organisatie verschillende locaties, functies of functieniveaus heeft, wil je weten of die ook terugkomen in de steekproef. Spreiding betekent niet dat elke subgroep altijd even groot vertegenwoordigd moet zijn. Het betekent wel dat belangrijke groepen niet zomaar mogen ontbreken. Zeker bij praktijkgericht onderzoek is dit vaak belangrijker dan een precies statistisch ideaal.

Een vierde punt is generaliseerbaarheid. Bij kwantitatief onderzoek wil je vaak meer zeggen dan alleen iets over de respondenten zelf. Je wilt een uitspraak doen over een grotere groep. Dat kan alleen als de steekproef, de respons en de spreiding voldoende steun geven aan die bredere uitspraak. Rudolph et al. (2023) benadrukken dat onderzoekers expliciet moeten maken naar welke doelgroep zij willen generaliseren en op basis van welke aannames dat verantwoord is.

Een kwantitatieve conclusie kan dus bijvoorbeeld zijn: ‘Op basis van deze steekproef lijkt een aanzienlijk deel van de medewerkers hoge werkdruk te ervaren.’

Maar zo’n conclusie is alleen sterk als duidelijk is wie heeft meegedaan, wie niet heeft meegedaan, welke groepen goed of minder goed vertegenwoordigd zijn en hoe voorzichtig je moet zijn met de vertaling naar de hele populatie.

Binnen EBM betekent dit: cijfers kunnen een krachtig signaal geven, maar alleen als je weet hoe stevig dat signaal is. Een percentage zonder zicht op steekproefkwaliteit, respons, spreiding en generaliseerbaarheid is minder bruikbaar dan het op het eerste gezicht lijkt.

Representativiteit bij kwalitatief onderzoek

Bij kwalitatief onderzoek werkt representativiteit anders. Daar onderzoek je meestal geen percentages, maar betekenissen, ervaringen, patronen, verklaringen en mechanismen. Je wilt begrijpen hoe iets werkt, waarom mensen iets doen, hoe zij een situatie ervaren of welke logica er achter bepaald gedrag zit.

Daarom is kwalitatief onderzoek meestal niet representatief in statistische zin. Je kunt op basis van 10 of 15 interviews meestal niet zeggen: ‘Dit geldt voor 63 procent van alle professionals.’ Dan gebruik je kwalitatieve data alsof het kwantitatieve data zijn.

Dat betekent niet dat representativiteit geen rol speelt, het betekent dat je anders moet kijken.

Bij kwalitatief onderzoek gaat het om inhoudelijke dekking. Je wilt de juiste mensen, situaties of cases onderzoeken om je vraag goed te kunnen beantwoorden. Het gaat dus niet om aantallen op zichzelf, maar om relevante variatie.

Stel dat je onderzoekt hoe professionals een verandering in hun werk ervaren. Dan is het zwak als je alleen drie managers spreekt die de verandering zelf hebben ontworpen. Hun perspectief kan waardevol zijn, maar het is te smal. Je mist dan waarschijnlijk hoe de verandering wordt ervaren door mensen die ermee moeten werken.

Het onderzoek wordt sterker als je bewust verschillende perspectieven meeneemt. Bijvoorbeeld professionals die veel geraakt zijn door de verandering, professionals die minder geraakt zijn, leidinggevenden, uitvoerende professionals, mensen die positief zijn, mensen die kritisch zijn en mensen uit verschillende onderdelen van de organisatie.

Dan is je onderzoek nog steeds niet statistisch representatief. Maar het kan wel inhoudelijk sterk zijn. Je laat dan zien dat je het verschijnsel vanuit meerdere relevante kanten hebt onderzocht.

De vraag bij kwalitatief onderzoek is dus niet: ‘Is mijn steekproef representatief voor de hele populatie?’

De betere vraag is: ‘Heb ik de belangrijkste perspectieven meegenomen die nodig zijn om mijn onderzoeksvraag goed te beantwoorden?’

Die vraag past beter bij de aard van kwalitatief onderzoek.

Relevante variatie is belangrijker dan aantallen alleen

In kwalitatief onderzoek wordt vaak gewerkt met doelgerichte selectie. De onderzoeker kiest deelnemers niet willekeurig, maar bewust. De keuze hangt af van de onderzoeksvraag.

Dat vraagt om een helder antwoord op vragen als:

  • Welke rollen zijn relevant?
  • Welke ervaringen moeten in beeld komen?
  • Welke verschillen kunnen invloed hebben op de uitkomsten?
  • Welke kritische of afwijkende perspectieven mogen niet ontbreken?
  • Welke groep wordt vaak over het hoofd gezien?

Dit sluit goed aan bij EBM. Een professional die een besluit wil nemen, heeft weinig aan een eenzijdig verhaal. Als alleen de meest tevreden of meest zichtbare mensen zijn gesproken, is het bewijs zwak. Als verschillende relevante perspectieven zijn meegenomen, wordt het bewijs sterker, omdat je beter begrijpt hoe het vraagstuk in de praktijk werkt.

Een kwalitatieve conclusie klinkt daarom anders dan een kwantitatieve conclusie. Niet: ‘Deze bevinding geldt voor alle medewerkers.’

Maar bijvoorbeeld: ‘Binnen de onderzochte context kwam naar voren dat professionals vooral moeite ervaren wanneer zij weinig invloed hebben op de manier waarop de verandering wordt ingevoerd. Dit patroon kwam terug in meerdere rollen en afdelingen.’

Dat is een meer juiste conclusie. Je blaast de uitkomst niet op, maar maakt haar ook niet kleiner dan nodig.

Hoeveel interviews zijn genoeg?

De vraag hoeveel interviews genoeg zijn, komt bijna altijd terug. Een vast aantal bestaat niet. Wie zegt dat goed kwalitatief onderzoek altijd 10, 15 of 20 interviews nodig heeft, maakt het te simpel.

Een beter uitgangspunt is: je hebt genoeg interviews als de data voldoende rijk zijn om je onderzoeksvraag te beantwoorden, als relevante variatie is meegenomen en als nieuwe interviews nauwelijks nog nieuwe inzichten opleveren.

Dat laatste wordt vaak verzadiging genoemd. Het idee is dat interviews in het begin veel nieuwe thema’s opleveren. Daarna gaan thema’s terugkomen. Op een bepaald moment leveren extra gesprekken vooral bevestiging op en weinig nieuwe inzichten. Dan kun je onderbouwen dat het aantal interviews voldoende is.

Maar verzadiging wordt ook vaak te makkelijk gebruikt. ‘Er kwam niets nieuws meer uit’ is pas overtuigend als de onderzoeker laat zien hoe dat is vastgesteld. Zonder goede analyse is verzadiging vooral een mooie term voor stoppen.

Malterud et al. (2016) gebruiken daarom het begrip informatiekracht. Hoe meer relevante informatie een steekproef bevat voor de onderzoeksvraag, hoe minder deelnemers nodig zijn. De benodigde omvang hangt onder meer af van de scherpte van de onderzoeksvraag, de kwaliteit van de interviews, de variatie binnen de doelgroep, het gebruik van theorie en de diepte van de analyse.

Hennink en Kaiser (2022) laten in een systematische review zien dat verzadiging in sommige kwalitatieve studies al bij een relatief beperkt aantal interviews kan optreden, vooral bij een homogene groep en een scherpe onderzoeksvraag. Tegelijk blijft voorzichtigheid nodig. Bij meer variatie, complexere thema’s of meerdere doelgroepen zijn meer interviews nodig.

Voor praktijkgericht onderzoek kun je daarom beter werken met een beredeneerde richtlijn dan met een absoluut getal.

Bij één duidelijke doelgroep en een scherpe onderzoeksvraag zijn vaak 8 tot 12 interviews verdedigbaar. Denk aan professionals binnen één organisatie die met hetzelfde proces of dezelfde verandering te maken hebben.

Bij één doelgroep met duidelijke interne verschillen kom je eerder uit op 10 tot 15 interviews. Denk aan professionals uit verschillende afdelingen, functies, ervaringsniveaus of locaties.

Bij meerdere doelgroepen moet je niet alleen naar het totaal kijken, maar naar het aantal per groep. Twee interviews met een doelgroep is meestal te dun als je over die doelgroep afzonderlijke conclusies wilt trekken. Dan kun je hooguit een eerste indruk geven. Wil je per groep patronen herkennen, dan heb je per relevante groep meestal meerdere gesprekken nodig.

Bij complexer onderzoek, meerdere organisaties of veel variatie in perspectieven kan 20 of meer interviews nodig zijn. Zeker wanneer het doel is om verschillen tussen groepen of contexten goed te begrijpen.

Toch blijft dit een richtlijn. Twaalf slecht gekozen interviews zijn zwakker dan acht goed gekozen interviews. De kernvraag is niet hoeveel mensen je hebt gesproken, maar of de gekozen gesprekken genoeg bewijs leveren voor de conclusie die je trekt.

Een sterke methodische verantwoording klinkt bijvoorbeeld zo: ‘De deelnemers zijn doelgericht geselecteerd op basis van rol, afdeling en betrokkenheid bij het veranderproces. Daarmee zijn de belangrijkste perspectieven binnen de onderzochte context meegenomen. Na tien interviews kwamen de centrale thema’s herhaald terug en leverden aanvullende gesprekken nauwelijks nieuwe inzichten op. Het aantal interviews was daarom voldoende voor het doel van dit praktijkgerichte onderzoek.’

Academische zuiverheid en praktijkgericht onderzoek

Er is een verschil tussen academische zuiverheid en praktijkgericht onderzoek, maar het mag geen vrijbrief zijn voor slordigheid.

Academisch onderzoek vraagt meestal een uitgebreidere methodische onderbouwing. De onderzoeker beschrijft precies welke samplingstrategie is gebruikt, waarom die past bij de onderzoeksvraag, hoe verzadiging of informatiekracht is beoordeeld, welke perspectieven ontbreken en wat dat betekent voor de conclusies. Ook de analyse wordt vaak diepgaander verantwoord.

Praktijkgericht onderzoek heeft vaak een andere functie. Het moet een concreet vraagstuk helpen begrijpen en bijdragen aan een beter besluit, advies of ontwerp. De beschikbare tijd is beperkter en de context is vaak smaller. Dat betekent dat een kleiner aantal interviews verdedigbaar kan zijn, mits de onderzoeker scherp afbakent en goed uitlegt wat de data wel en niet kunnen dragen.

Daar zit de lat: niet in een zo hoog mogelijk aantal interviews, maar in een eerlijke en logische verantwoording.

In praktijkgericht onderzoek gaat het vaak mis op drie punten.

Ten eerste is de onderzoeksvraag te breed. Wie vraagt ‘Hoe ervaren professionals leiderschap?’ maakt het onderzoek onnodig groot. Wie vraagt ‘Hoe ervaren startende teamleiders de ondersteuning bij hun eerste beoordelingsgesprekken?’ kan scherper selecteren en dieper analyseren.

Ten tweede worden deelnemers gekozen op gemak. De onderzoeker spreekt wie beschikbaar is of wie door de opdrachtgever wordt aangedragen. Dat kan soms niet anders, maar dan moet de beperking eerlijk worden benoemd. Beter is om vooraf te bepalen welke perspectieven minimaal nodig zijn.

Ten derde worden conclusies te groot gemaakt. Uit tien interviews binnen één organisatie kun je geen algemene uitspraak doen over alle professionals in een sector. Je kunt wel iets zeggen over patronen binnen de onderzochte context en voorzichtig aangeven waarom die patronen ook herkenbaar kunnen zijn in vergelijkbare situaties.

Ook dit past bij EBM. Evidence-Based Management vraagt niet om perfect bewijs. Dat bestaat in organisaties zelden. Het vraagt wel om kritisch gebruik van het best beschikbare bewijs. Een goed kwalitatief onderzoek kan daarin veel waarde hebben, zolang duidelijk is waar het bewijs sterk is en waar de grenzen liggen.

Wat betekent dit voor beslissingen in organisaties?

Representativiteit is uiteindelijk geen doel op zichzelf. Het is een kwaliteitsvraag. Hoe goed past het bewijs bij de beslissing die je wilt nemen?

Bij een besluit over de omvang van een probleem kan kwantitatief onderzoek sterk zijn. Denk aan werkdruk, verloop, klanttevredenheid of ziekteverzuim. Dan wil je weten hoeveel, hoe vaak en bij wie. Representativiteit in statistische zin is dan belangrijk.

Bij een besluit over oorzaken, ervaringen of werkzame mechanismen kan kwalitatief onderzoek sterk zijn. Denk aan de vraag waarom professionals afhaken, waarom een nieuwe werkwijze niet landt of waarom leidinggevenden moeite hebben met een bepaalde rol. Dan draait het om diepgang, variatie en geloofwaardige interpretatie.

Binnen EBM weeg je dus steeds welk type bewijs past bij de vraag. Soms is kwantitatief bewijs nodig. Soms kwalitatief bewijs. Vaak helpt een combinatie, maar dat is geen automatisme. De keuze hangt af van het probleem, het besluit en de kwaliteit van het beschikbare bewijs.

De centrale vraag is: ‘Welke conclusie mag ik trekken op basis van dit bewijs?’

Die vraag dwingt tot bescheidenheid. Een vragenlijst met lage respons geeft misschien een nuttig signaal, maar vraagt om voorzichtigheid. Tien goede interviews geven misschien diep inzicht in mechanismen, maar geen percentage voor de hele populatie. Beide kunnen waardevol zijn, zolang je ze niet groter maakt dan ze zijn.

Conclusie

Representativiteit betekent niet in elk onderzoek hetzelfde. Bij kwantitatief onderzoek gaat het vooral om de vraag of de steekproef een goede afspiegeling is van de populatie. Dan zijn steekproefkwaliteit, respons, spreiding en generaliseerbaarheid belangrijk.

Bij kwalitatief onderzoek gaat het niet om statistische afspiegeling, maar om inhoudelijke dekking. Heeft de onderzoeker de juiste mensen gesproken? Zijn relevante verschillen meegenomen? Zijn ook kritische of afwijkende perspectieven onderzocht? Zijn de conclusies stevig genoeg onderbouwd met de data?

Het aantal interviews is daarbij nooit een los getal. Acht interviews kunnen genoeg zijn bij een scherpe vraag, een duidelijke doelgroep en rijke gesprekken. Vijftien interviews kunnen te weinig zijn bij een brede vraag of meerdere doelgroepen. De kwaliteit zit in de onderbouwing.

Voor praktijkgericht onderzoek is de kern: formuleer een scherpe vraag, kies deelnemers bewust, werk systematisch, wees eerlijk over beperkingen en maak conclusies niet groter dan de data toelaten.

Lees het hele artikel en download de pdf.

Literatuur

Barends, E., & Rousseau, D. M. (2018). Evidence-based management: How to use evidence to make better organizational decisions. Kogan Page.

Barends, E., Rousseau, D. M., & Briner, R. B. (2014). Evidence-based management: The basic principles. Center for Evidence-Based Management.

Guest, G., Bunce, A., & Johnson, L. (2006). How many interviews are enough? An experiment with data saturation and variability. Field Methods, 18(1), 59–82. https://doi.org/10.1177/1525822X05279903

Hennink, M., & Kaiser, B. N. (2022). Sample sizes for saturation in qualitative research: A systematic review of empirical tests. Social Science & Medicine, 292, 114523. https://doi.org/10.1016/j.socscimed.2021.114523

Keusch, F. (2015). Why do people participate in Web surveys? Applying survey participation theory to Internet survey data collection. Management Review Quarterly, 65, 183–216. https://doi.org/10.1007/s11301-014-0111-y

Malterud, K., Siersma, V. D., & Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753–1760. https://doi.org/10.1177/1049732315617444

Rogelberg, S. G., & Stanton, J. M. (2007). Introduction: Understanding and dealing with organizational survey nonresponse. Organizational Research Methods, 10(2), 195–209. https://doi.org/10.1177/1094428106294693

Rudolph, J. E., Zhong, Y., Duggal, P., Mehta, S. H., & Lau, B. (2023). Defining representativeness of study samples in medical and population health research. BMJ Medicine, 2(1), e000399. https://doi.org/10.1136/bmjmed-2022-000399

Vasileiou, K., Barnett, J., Thorpe, S., & Young, T. (2018). Characterising and justifying sample size sufficiency in interview-based studies: Systematic analysis of qualitative health research over a 15-year period. BMC Medical Research Methodology, 18, 148. https://doi.org/10.1186/s12874-018-0594-7