LOGO
In deze video legt dr. Femke Truijens het belang uit van het begrijpen van de betekenis achter de cijfers.
Deze video werd getoond op het jaarlijkse congres van de Society for Psychotherapy Research, aan de Trinity University in Dublin, Ierland.
Meer weten over de activiteiten en bevindingen van het Meaningful Measurement (MEANS) Lab?
Lees hier het onderzoeksprogramma, of neem contact op met Femke Truijens (PI MEANS Lab)
In GGZ en klinisch onderzoek wordt veel gemeten: diagnoses, effecten van interventies, routine outcome measurement (ROM), groepsvergelijking, enzovoorts. Doorgaans vragen we mensen zelf te scoren op gevalideerde zelfrapportage vragenlijsten. Validering wordt vaak gezien als garantie dat de cijfers ook op een valide manier geïnterpreteerd en vergeleken kunnen worden. Persoonlijke variatie wordt daarin “uitgemiddeld”, en uitschieters worden als “ruis” of error weggepoetst.
Maar is dat wel terecht? Wat bedoelen mensen eigenlijk als ze hun eigen ervaringen becijferen in een voor-gestructureerd kader als een vragenlijst? Vangen hun scores de betekenissen die we er als onderzoekers of clinici ook aan geven? En zijn die cijfers inderdaad zinvol en valide vergelijkbaar?
Het uitgangspunt in deze onderzoekslijn is dat simpelweg uitgaan van validiteit van cijfers omdat ze verzameld zijn met gevalideerde vragenlijst berust op face validity. Het vraagt gedegen onderzoek naar scoringsprocessen en personal meaning-making van participanten om te onderzoeken of “de cijfers” inderdaad valide representaties zijn die tevens als valide “data” kunnen dienen voor onderzoek en klinische monitoring.
Vragenlijstscores als woorden in een klinisch verhaal
In deze onderzoekslijn staat de betekenisvolheid van cijfers binnen een persoonlijk verhaal en -betekeniskader centraal. Persoonlijke betekenis wordt daarin niet als ruis weggezet maar juist onderzocht als mogelijk vitaal onderdeel van een persoonlijk narratief. Ik onderzoek processen van betekenisvorming en -vertaling (meaning-making) die mensen doorlopen als zij vragenlijsten scoren, en andersom het effect dat dat proces van betekenisgeving en -formatie heeft op de daadwerkelijk gerapporteerde variabelen en (klinische) processen. Zo’n scoringsproces kan transformatief zijn: door het scoren kunnen interpretaties veranderen, wat enerzijds de validiteit van data beïnvloedt, maar anderzijds een bijzonder informatief en betekenisvol proces kan zijn voor klinisch onderzoek en toepassingen in de praktijk.
Numbers are words too – dat is het uitgangspunt in de onderzoekslijn “meaningful measurement”. In deze onderzoekslijn neem ik hermeneutisch perspectief in op het vormen en interpreteren van cijfers in (onderzoek naar) de klinische praktijk. Ik werk op drie onderzoekslijnen:
- Meaning-making processes: mixed method onderzoek naar scoring en scores als onderdeel van een klinisch narratief. Ik kijk naar scoring tendencies, -obstacles, and interpretations: experimenteel onderzoek naar interpretatie van items en vragenlijsten als geheel, met aandacht voor de boodschap die mensen willen/denken over te brengen via een vragenlijst, en de “toehoorder” die ze daarin veronderstellen. In deze lijn maak ik gebruik van “Thinking Aloud” en interviews.
- Response Shifts: als mensen door toedoen van een interventie (bijvoorbeeld therapie) de items op vragenlijsten anders gaan interpreteren – via hercalibratie, herconceptualisering of reprioritering – is sprake van een response shift. Ik onderzoek het optreden van dit fenomeen via kwalitatieve methoden, en of response shifts mogelijkheid bieden voor een nieuwe, positieve uitkomst-assessment.
- Validiteitstheorie: In de psychologie vatten we validiteit standaard op als ‘meten wat een instrument beoogt te meten’. Deze definitie is verbonden aan hoe valide de data geinterpreteerd kan worden. Hoewel die validiteit vaak wordt gezien als een ‘eigenschap’ van een instrument zelf, wordt in de validiteitsliteratuur ook beargumenteerd dat validiteit van interpretaties niet gegeven is door het instrument, maar afhangt van de context, doelstellingen, afname-omstandigheden en gebruikers (zowel respondenten als testafnemers). Waar ‘validiteit’ vaak als een beetje enge term wordt gezien, doen gebruikers van vragenlijsten in het hele proces aan validering, bijvoorbeeld om de testomstandigheden te checken en na te vragen of de respondent de items goed heeft begrepen. Deze manier van validering-in-actie staat lijnrecht tegenover het standaardbeeld van validiteit, terwijl het juist sterk aansluit bij de praktijk. In ‘the great validity debate‘ wordt deze benadering de user-oriented of de argument-based benadering genoemd. In deze onderzoekslijn exploreren we hoe gebruikers van zelfrapportagematen normaal gesproken valideren, en hoe we de validiteits-toolbox kunnen doorontwikkelen om gebruikers in dit proces te ondersteunen.
Kwalitatief onderzoek naar kwantificering in zelfrapportagematen
In het MEANS Lab exploreren we hoe we kwalitatieve onderzoeksmethoden kunnen inzetten om het verhaal achter de cijfers naar voren te halen.
In de ‘I feel 4 out of 5 Depressed’-studie vergelijken we de volgende kwalitatieve methoden:
- Thinking Aloud Methods vragen de respondent letterlijk hardop te denken tijdens het scoren van de vragenlijst. Door het (audio)opnemen van deze verbalisering verkrijgen we inzicht in de actieve meaning-making, bijvoorbeeld interpretaties van items en evaluatie van response-opties. Maar ook het scoringsproces zelf wordt op deze manier inzichtelijk, bijvoorbeeld als een respondent twijfelt, vaak moeite heb met het begrijpen van items, emotioneel wordt (measurement reactivity), woordkeuzes gaat overnemen (performativiteit van meetinstrumenten).
- Cognitieve Interview Methoden vragen de respondent na afloop van het scoren hoe ze terugkijken op dat proces. In de ‘I feel 4 out of 5 depressed’-studie vragen we eerst semi-gesctructureerd de eigen kijk op en ervaring met depressie uit, en gaan vervolgens item voor item door de gescoorde vragenlijst heen en vragen we de meaning-making tijdens het scoren uit. In de studie vergelijken we hoe inzichtelijk de data uit de twee methoden is en hoe ze helpen met validering van scores; maar ook hoe de methoden ervaren worden en hoe die toepasbaar zouden kunnen zijn in de praktijk. Denk bijvoorbeeld aan een clinicus die ROM-vragenlijsten laat invullen en wil weten of zij er beter naast kan gaan zitten, of de vragenlijst in de wachtkamer laat invullen en bij aanvang van de sessie vraagt hoe het ging.
Daarnaast werken het MEANS Lab samen met de Data Ethics Chair van McGill University aan een laagdrempelige methode om kwalitatieve meta-data te verzamelen. Deze meta-data zouden zo verzameld moeten worden dat ze geen extra druk of belasting op de gebruikers leggen, maar wel de gebruiker toestaan om aan te geven wat of dat er iets mis of moeilijk loopt tijdens de data-verzameling (denk aan response opties die de ervaring niet goed beschrijven, grote discrepantie in scores in verschillende contexten, of tegenovergestelde interpretatie van bevraagde concepten). Enerzijds staat deze meta-data de testafnemer toe om te signaleren dat er validiteitsproblemen optreden in de gestandaardiseerde data-verzameling. Anderzijds kan deze meta-data gebruikt worden om bottom-up nieuwe hypothesen te ontwikkelen over waar, wanneer, bij wie, en onder welke omstandigheden gestandaardiseerde vragenlijstscoring niet-standaard verloopt.
Vragenlijstscoring als Hermeneutische Cirkel
In het Meaningful Measurement (MEANS) Lab vertrekken we vanuit een hermeneutische benadering. Deze filosofie, die onder andere door H.G. Gadamer werd uitgewerkt, gaat er vanuit dat betekenis niet ingebakken zit in objecten of constructen, maar altijd geïnterpreteerd wordt door de gebruiker of beschouwer. Elke gebruiker doet dat vanuit een eigen voorverstaan, op basis van eigen kennis en ervaring en gedeelde collectieve betekeniskaders. Vanuit die gedeelde betekeniskaders leren we allerlei zaken die we als gegeven, of waarheid, beschouwen. Maar we geven er als mens ook eigen kleur aan, door eigen ervaringen en associaties aan die gedeelde betekenissen te koppelen. Daardoor kunnen we elkaar weliswaar in grote lijnen begrijpen, maar kunnen er dus ook interpretatieverschillen optreden. Daardoor zijn mensen doorlopend bezig met het aftasten en afstemmen van betekenissen van zichzelf en anderen. Deze doorlopende uitwisseling wordt de hermeneutische cirkel genoemd tussen betekenisgevers en hun interpretaties.
In het MEANS Lab gaan we er vanuit dat vragenlijsten door gebruikers ook geïnterpreteerd worden, vanuit gedeelde betekeniskaders maar ook door hun eigen (voor)verstaan. Zo werd de vragenlijst ontwikkeld vanuit een (gedeeld) betekeniskader, maar moet elke respondent (patiënt/cliënt/zorgvrager) daar vanuit een eigen betekeniskader interpreteren om te kunnen scoren, waarop vervolgens de scores weer geïnterpreteerd worden door de testafnemer (bijvoorbeeld de diagnosticus of behandelaar).
Dat maakt vragenlijstscoring een betekenisvolle, dynamische, interactieve en veranderlijke act van betekenisgeving en interpretatie.
MEANINGFUL MEASUREMENT vraagt daarom om:
- Iteratief proces tussen stakeholders’ betekenisgeving, interpretatie en validering
- Expliciteren van aannames, doelen, interpretaties en gevolgen à reflexiviteit en validering-in-actie
(cf., argument-based validity) - Bijhouden van kwalitatieve/procesmatige meta-data (bottom-up meaningful measurement)
- Test-gebruiker die nieuwsgierig en sensitief blijft naar wie of wat niet past bij de norm/gemiddelden
- Evidentie verzamelen voor wat (nog) niet evident is
KOG Leden met expertise in Meaningful Measurement:
Klik op een tegel voor verdieping in een volgend thema:
© Copyright – Kwalitatief Onderzoekscollectief GGZ