Data Inclusief werven, enquêteren en analyseren

384991 Data representatie met hand en pen

Slim werven, toegankelijke vragenlijsten opstellen en data gecontroleerd bijsturen, er zijn verschillende manieren om inclusiever kwantitatief onderzoek te doen. Bouwine Carlier en Maya Sappelli laten zien wat nodig is om laaggeletterden, mensen met gezondheidsproblemen en digibeten te betrekken.

Je kent het vast wel: heb je met veel zorg een enquête opgesteld, is het sprokkelen naar voldoende input. Pas na meerdere reminders heb je de benodigde respons. Vaak van de usual suspects: theoretisch opgeleide mensen. De vraag is: hoe betrouwbaar is je onderzoek als sommige groepen over- of juist ondervertegenwoordigd zijn? En wat als je daar geen rekening mee houdt bij het ontwikkelen van een interventie? Draag je dan niet onverhoopt bij aan sociaaleconomische gezondheidsverschillen? Bouwine en Maya gingen het eind februari na in een workshop georganiseerd door de leergemeenschap Inclusief Onderzoek van Fair Health.

Evenwichtige respons

“Laat ik het belang van een evenwichtige respons – en dus goede werving – illustreren aan de hand van een voorbeeld”, trapt onderzoeker Bouwine Carlier de workshop af. “Bij een onderzoek naar het voorkomen van roken bleken praktisch opgeleide mensen ondervertegenwoordigd. Pas na herhaalde oproepen en met ondersteuning bij het invullen van de enquêtes, kwam hun input los en werd zichtbaar dat zij gemiddeld méér roken dan theoretisch opgeleide mensen. Relevant om te weten. Want mis je die groep, dan bestaat het risico dat je een interventie ontwikkelt waarmee je de plank misslaat.”

Kén je doelgroep

De vraag is: hoe bereik je mensen die laaggeletterd, praktisch opgeleid of minder digitaal vaardig zijn? Bouwine: “Sowieso is het belangrijk belanghebbenden al bij de opzet en werving van je onderzoek te betrekken. Verder: doe geen oproep via de post of e-mail, maar zorg dat je daar bent waar je doelgroep is. Denk aan buurthuizen, het werkplein, zorgcentra en voedselbanken. Onderzoek of je vragenlijsten misschien mondeling kunt afnemen en werk eventueel met beloningen.”

Aanscherpen en proefdraaien

Dan de vragenlijsten zelf. Ook die vragen aandacht. “We weten wat de valkuilen zijn”, vertelt Bouwine. “De interpretatie van vragen over gezondheid is zoiets. Wat betekent ‘gezond zijn’ of ‘je fit voelen’? In een andere cultuur kunnen andere normen gelden over wat gezond en fit is. Zorg dus dat er zo min mogelijk ruis op de lijn zit. Kijk ook uit met termen als ‘gemiddeld’, ‘intensief’ of ‘de laatste tijd’. Het zijn vage aanduidingen die om een abstracte manier van denken vragen. Let sowieso op je taalgebruik: houd B1-niveau aan en gebruik geen beeldspraak. Verder kan het slim zijn om vragen te herhalen of net op een andere manier te stellen. Zo controleer je of de respondent de eerdere vraag goed heeft begrepen en consistent antwoord geeft. Of ga vooraf proefdraaien met belanghebbenden. Zijn de vragen duidelijk? Is de indeling helder?”

Data induiken

Stel dat een bepaalde groep ondervertegenwoordigd is, dan is oversampelen een optie. “Dat houdt in dat je kunstmatig extra voorbeelden toevoegt”, legt Maya uit. “De eenvoudigste manier is data kopiëren. Heb je bijvoorbeeld weinig respons van praktisch opgeleide mannen tussen de 50 en 60 jaar, dan kun je de enkele data die je van die doelgroep hebt kopiëren. Zo zorg je dat deze groep niet ondergesneeuwd raakt.” Een variant hierop is SMOTE (Synthetic Minority Oversampling Technique). “Met die techniek genereer je nieuwe data die lijkt op de data van de groep die ondergepresenteerd is.” Tot slot is er nog imputatie, een manier om ontbrekende antwoorden in te vullen op basis van gemiddelden. Wel geeft Maya aan dat je voorzichtig moet zijn met oversampelen. “Het blijft natuurlijk ‘nepdata’; het kan de uitkomsten vertekenen.”

Check, check, dubbelcheck

Ook bij de volgende stap – de analyse van de antwoorden – kun je inclusief te werk gaan. Maya: “Werk bij het categoriseren en interpreteren van de antwoorden samen met de doelgroep en pas de inter annotate agreement (Cohen’s Kappa) toe. Dat is een veelgebruikte manier om de betrouwbaarheid van de beoordelaars vast te stellen. Of check de validiteit van je interpretatie met behulp van de Jaccard index: klopt jouw interpretatie van een antwoord wel met de ‘bedoeling’ van de respondent?”

Handvatten

“Je ziet dat er veel bij komt kijken”, zegt Maya tot besluit. “Belangrijk is dat je je ervan bewust bent dat je per ongeluk aan sommige groepen voorbijgaat in je onderzoek. En weet wat je grofweg kunt doen om dat te voorkomen.” Het zet workshopdeelnemer Maria Elkhas Zade (student Pedagogiek) in ieder geval op het goede spoor voor haar afstudeeronderzoek. “Mijn duomaatje en ik hebben nu enkele handvatten om jongens met een migratieachtergrond en hun ouder(s)/verzorger(s) op een passende manier te benaderen en mee te nemen in ons onderzoek.”

Leergemeenschappen Fair HealthWorkshops

De leergemeenschappen van Fair Health organiseren de komende tijd meerdere workshops. Ook aansluiten bij de leergemeenschap Inclusief Onderzoek? Stuur een mailtje naar fairhealth@han.nl

bijeenkomst wijkatelier lindenholt- groep aan tafel docente in het midden

Meer overFair Health

Mensen met een laag opleidingsniveau of inkomen leven korter en voelen zich minder gezond. Daar willen we met focus Fair Health verandering in brengen. Hoe? Door in onderwijs en onderzoek aandacht te vragen voor die verschillen. We verbinden alle kennis die de HAN in huis heeft en betrekken partners uit de praktijk. Samen kunnen we verschil maken.

Health vrouw man diversiteit focus zwaartepunt HAN