Posts Taged kwalitatief-onderzoek

De kunst van het vragen stellen in kwalitatief onderzoek
Over de kunst van het vragen stellen in kwalitatief onderzoek

Did you have a sexual relation…?

Het begin van een beroemde vraag. Nee, Clinton had geen relatie gehad met Monica Lewinsky. “I did not have a sexual relation with that woman”, was zijn stellige en ferm uitgesproken antwoord. Wat hij dan wel had uitgevreten, werd al snel duidelijk. Geconfronteerd met zijn leugen verborg hij zich achter de uitleg van sexual relation. Daarvoor waren immers twee mensen nodig, beiden in een actieve rol en gericht op specifieke delen van het menselijke lichaam. Liefde is een aangenaam tijdverdrijf, men gebruikt ervoor het onderlijf.

Duidelijke vraag?

Gewoon even platgeslagen kwam het erop neer dat Monica’s orale verwennerijtjes geen seksuele relatie impliceerden voor Clinton. De wijze les: een vraag kan heel concreet en direct lijken, maar dat hoeft zeker niet zo te zijn. Doel en context zijn uiteindelijk allesbepalend voor de interpretatie van de vraag die je stelt. En dus ook voor het antwoord.

Vragen stellen is een taaldaad, een communicatie-actie. Voor alle communicatie geldt dat er boodschappen in zitten op vier niveaus:

  1. Referentieel: er wordt naar iets verwezen
  2. Relationeel: het gaat over de relatie tussen mensen
  3. Expressief: de communicator geeft een beeld van zichzelf
  4. Intentioneel: de communicator wil dat de ander iets doet

In een vraag zitten deze niveaus ook altijd. Even een korte uitleg:

Doe jij het raam dicht?
Zou je alsjeblieft het raam dicht willen doen?

In beide gevallen is er sprake van een raam dat openstaat. Op referentieel niveau is er geen verschil. Ook intentioneel niet. De vragensteller wil dat de ander het raam sluit. Op referentieel en expressief niveau is meer aan de hand. Dat kan afhankelijk van de context zijn dat de ander in de positie is een bevel te geven of die positie claimt. Of in de vraag ligt juist besloten dat je ondanks verschil in hiërarchie graag wil laten zien dat je beleefd en aardig bent. Of, en dat kan ook, de gemeenschappelijke omgangsnormen dicteren dat je altijd de beleefde vorm gebruikt en je brengt in je taalgebruik vooral tot uitdrukking dat je tot dezelfde maatschappelijke klasse behoort. Achter vragen gaat een hele wereld schuil.

Vragen: een dynamiek die te weinig aandacht krijgt

Vanuit dit perspectief krijgt het stellen van een simpele vraag een andere dynamiek waaraan veel te weinig aandacht wordt besteed, vind ik. Klassiek wordt een indeling gemaakt in soorten vragen: informatieve vragen, open vragen, gesloten vragen, enz. Een schaamteloze versimpeling. Ik las zelfs als tip voor een kwalitatief  onderzoek: ‘stel zo veel mogelijk open vragen’. Wat een onzin.

Bij elke vraag  – en dus ook in een kwalitatief onderzoek – moet je altijd realiseren wat de doelstelling is van het gesprek en wat het doel is van je vraag op alle vier de niveaus. Dat bepaalt de opmaat naar de vraag en de vorm van de vraag zelf. Kijk eens naar het volgende voorbeeld.

Ik heb van je collega’s behoorlijk wat knelpunten gehoord in de interne communicatie. Wat denk jij dat de top 3 is?

Een lekker sturende, schijnbaar open vraag met wat veronderstellingen:

  1. Er zijn collega’s.
  2. Die collega’s hebben knelpunten ervaren in de interne communicatie
  3. Er is zoveel overeenstemming in die knelpunten dat daar gemakkelijk een top drie van te boetseren is.

Deze manier van vragen heeft allerlei voordelen. Je stelt in feite een indirecte vraag. Dat is veilig, want het gaat over wat anderen hebben gezegd. Dat hoeft in werkelijkheid helemaal niet eens echt gebeurd te zijn. Relationeel ontstaat daardoor ook een andere setting. We doen samen een soort kwisje over wat je collega’s aan narigheid hebben genoemd. Door te limiteren tot een top 3 vraag je iemand bovendien meteen hiërarchie aan te brengen.

Hoezo open vraag?

De open vraag ‘Welke knelpunten in de interne communicatie ervaar jij? ‘ lokt een compleet andere respons uit in het kwalitatieve onderzoek. Je moet zelf met jouw antwoord komen en de onderzoeker registreert wat jij vindt. Met deze benadering zijn mensen veel meer op hun qui vive en het vergt veel meer tijd om de essentie te pakken te krijgen. Bovendien houd je afstand, wat de rest van het gesprek ook niet ten goede komt.

Wat zie jij als de grootste kansen om de interne communicatie snel te verbeteren? Deze vraag in een kwalitatief onderzoek heeft bijvoorbeeld ook weer veronderstellingen in zich. De interne communicatie kan snel worden verbeterd. De hersenen werken nu eenmaal zo dat ze onmiddellijk gaan proberen de vraag te beantwoorden. De veronderstelling wordt niet ter discussie gesteld. Met dat gegeven kun je als vragensteller voortdurend spelen.

Vragen stellen in kwalitatief onderzoek: wat is je doelstelling, wat is de setting?

Bij elke vraag is het dus belangrijk te realiseren wat je wilt en wat de setting is. De context die je creëert voor de vraag en de vorm van de vraag heeft heel veel invloed op hoe het gesprek gaat verlopen. En context is er altijd.

Als onderzoeker wil je maar één ding: goed onderzoek doen. Is het dan geoorloofd in je vraagstelling zo veel sturing te geven? Goede, gesloten vraag trouwens, maar niet met ja of nee te beantwoorden. Nee, zeker niet als je daarmee de kwaliteit van het kwalitatieve onderzoek aantast. Ja, zeker wel als je daarmee de kwaliteit van het kwalitatieve onderzoek bevordert.

Niet onrustig worden. Je stelt als onderzoeker regelmatig manipulatieve vragen. Dat klopt. Maar elke taaldaad is manipulatief tenzij je voor de spiegel tegen jezelf staat te kakelen. De grenzen van het ethische bepaal je natuurlijk zelf.

Nu terug naar de vraag aan Clinton en de context. Waren de ondervragers van Clinton destijds dan zo dom dat Clinton er gemakkelijk mee weg kon komen? Nee hoor, de volledig vraag luidde namelijk: Did you have had a sexual relation with Monica Lewinsky as that term is defined in Deposition Exhibit 1. Daarin staat precies beschreven wat er onder een sexuele relatie wordt verstaan, maar dat had de jury even op de letter moeten nalezen om de escapes te kennen, want inderdaad, het louter ontvangen van orale diensten staat er niet bij. Later gaf Clinton ten slotte wel toe dat hij een “improper physical relationship” met Lewinsky had, en hij kwam ermee weg.

Read More
De ultieme vraag rond de Net Promotor Score die je óók zou moeten stellen
De ultieme vraag rond de Net Promotor Score die je óók zou moeten stellen

Ik hou van vragen. Ik hou van onderzoek. Het sijpelt door in mijn hele leven: ik analyseer tot ik een ons weeg. Zo ben ik er achter gekomen dat ik wél slechter slaap met een bak koffie achter mijn kiezen (in tegenstelling tot wat ik dacht), en heb ik menig Excel- en SPSS-sheetje op mijn naam staan. Ik koester een diepe liefde voor het ontdekken van wat er in ons omgaat. Immers, pas als je daarop zicht hebt, kun je er iets mee. Iets verbeteren bijvoorbeeld, zoals mijn slaap.

Menig directeur deelt deze mening. “We kunnen pas goed sturen als we weten hoe de klant ons ziet”, zeggen ze dan. En dat klopt. Ontelbaar veel bedrijven doen daarom al jaarlijks onderzoek, bijvoorbeeld naar de NPS: de Net Promotor Score. Daarmee weet heel het hip & happening bedrijfsleven door één simpele vraag het percentage promotors, passieven en tegenstanders in hun klantenkring. Wie namelijk zijn klantenkring een rapportcijfer laat geven op de volgende vraag, kan dat helder destilleren:

Hoe waarschijnlijk is het dat u, op een schaal van 0 tot 10, [bedrijf X] zal aanbevelen aan familie, vrienden of collega’s?

De Net Promotor Score is een simpele, doch zeer doeltreffende vorm van onderzoek waarmee je de vinger aan de pols houdt én zicht krijgt op toekomstig succes. Want de NPS vertelt niet alleen of alles op dit moment goed gaat, maar blijkt ook een goede voorspeller te zijn van toekomstig succes. Bij het stempel ‘kerngezond’ geeft men elkaar een schouderklopje en komt de uitslag met vlag en wimpel op de voorpagina van het relatiemagazine. Want de score van de NPS is goed. Bij een lichte verhoging – lees: lagere score van de Net Promotor Score – zie je ietwat paniek; meestal wordt er onderling wat naar elkaar gewezen, en het afgelopen jaar bestempeld als onrustig. “Logisch dat de klant dat heeft gemerkt.” De hobbels die zijn overwonnen worden nog even geprezen en daarna zal niemand er ooit nog over praten. Zodra de Net Promotor Score thermometer echter wijst op een ongezond bedrijf, gaat men letterlijk koortsachtig op zoek naar de oplossing: een kat in het nauw maakt rare sprongen. De directie schrikt zich een hoedje, managers worden ontslagen, bedrijfsprocessen moeten omgegooid. En dan blijkt een jaar later toch dat de score van de NPS niet is gestegen. Dat ligt dan aan het ‘onrustige’ jaar, zeker?

Een griepje vraagt om uitrusten, een agressieve bacterie om antibiotica.

Het is eigenlijk gek dat één zo’n simpele vraag zoals de Net Promotor Score zoveel impact heeft. Ik sta helemaal achter de NPS hoor: zoals ik zei, het is een goede ‘thermometer’. Maar net zoals bij een thermometer meet je alleen de ernst van de situatie. Niét de oorzaak. Heb je soms een griepje opgelopen? Dan moet je vooral uitrusten. Heb je een agressieve bacterie binnengehaald? Dan werkt een antibioticakuur het beste. Pas na een heldere diagnose, kun je correct handelen.

‘Hoe de klant ons ziet’ zou wat mij betreft dus verder moeten gaan dan alleen het meten van de ernst van de situatie. Je moet diepgaand inzicht in de klant krijgen: je moet een diagnose stellen. En hier komt kwalitatief onderzoek om de hoek kijken. De verdieping waar je naar op zoek bent, ligt namelijk vaak in het antwoord op de ultieme vraag. De vraag der vragen. De vraag die je niet met een cijfermatig antwoord kunt beantwoorden, maar die wél veel te maken heeft met de NPS. Die vraag is het best te beantwoorden in het een-op-een gesprek, een diepte interview waarin de onderste steen boven gaat. De ultieme vraag is dan ook niet, hoe beoordeel je ons? De ultieme vraag is:

Wat moet [bedrijf X] volgens jou veranderen of verbeteren om de volgende keer van jou een 10 te krijgen?

Je zult zien dat deze vraag zorgt voor een heldere diagnose, en dus een leidraad is voor de toekomstige koers van jouw bedrijf. En de allerbelangrijkste les daarbij is: vráág het gewoon. Face to face, middels kwalitatief onderzoek. Je zult versteld staan van hoe graag jouw klanten je willen helpen.

Read More
Onderzoek dat niet aansluit op de doelgroep, kun je net zo goed niet doen
Onderzoek dat niet aansluit op de doelgroep, kun je net zo goed niet doen

De CEO van het accountantskantoor zat zwaar gefrustreerd voor me. Zijn organisatie doet braaf elke twee jaar een groot klanttevredenheidsonderzoek en neemt structureel actie op wat ze daaruit leren. En toch bleven de resultaten maar dalen, getuige de prachtige scorecard die hij me liet zien. En dat terwijl de concurrentie ook in de accountancy moordend is. Konden wij misschien iets doen?

Met de vragenlijst die het kantoor gebruikte, leek in eerste instantie weinig mis. Goed gestructureerd, prima geformuleerde vragen en een layout die stimuleerde om in te vullen. Misschien een beetje lang en vooral een beetje standaard, maar dat zijn veel van zulke onderzoeken. En natuurlijk hadden we een lange lijst met suggesties om het onderzoek inhoudelijk wat aan te scherpen.

“Wat doet de vragenlijst van het klanttevredenheidsonderzoek op een dieper niveau met jullie klanten?”

“Mogen we eens praten met enkele van uw klanten over jullie klanttevredenheidsonderzoek”, vroegen we nadat we onze eerste conclusies terugkoppelden. “Om te begrijpen wat de vragenlijst van het klanttevredenheidsonderzoek op een dieper niveau doet bij jullie klanten.”

Bij vier klanten gingen we vervolgens op bezoek. In een individueel interview bespraken we de vragenlijst, maar ook al van andere aspecten die te maken hadden met de samenwerking met het accountantskantoor. Twee interessante dingen kwamen daarbij naar voren.

Het Kelly-grid dat we gebruikten in het interview, maakte duidelijk dat de klanten hele andere onderwerpen belangrijk vonden bij het beoordelen van het accountantskantoor dan in het kwantitatieve onderzoek mogelijk was. Er was een vaste lijst onderwerpen en die moest worden beoordeeld. Basta. Het Kelly-grid – een onderzoeksmethode waarbij gebruik wordt gemaakt van vergelijkingen – maakte duidelijk dat de klanten een set variabelen erg belangrijk vonden die helemaal niet in het onderzoek aan de orde kwam. Klanten zeiden ook expliciet dat ze het klantenonderzoek daardoor eigenlijk ook niet meer serieus namen en uit irritatie vaak laag scoorden.

“Het lijkt wel of ze niet echt geïnteresseerd zijn in onze mening”

Een tweede conclusie was dat de gesloten vorm van het (online) klantenonderzoek tot nog grotere irritatie bij klanten leidde. Deze klanten hadden duidelijk behoefte aan een vrijere mogelijkheid om hun mening te uiten. “Het lijkt wel of ze niet echt geïnteresseerd zijn in onze mening”, vatte een van hen het kernachtig samen.

Ons advies: pas de vragenlijst aan met de dimensies waarvan klanten aangeven dat ze die belangrijk vinden. En: voeg ‘open dimensies’ toe. De kwalitatieve vragenlijsten die wij doorgaans inzetten, bevatten elementen als blogs, idee-generatie-tools, een heatmap-tool (waarbij respondenten commentaar kunnen geven op visuals) en de mogelijkheid om korte video’s te laten uploaden door respondenten. Kortom: tal van mogelijkheden om als klant of medewerker ècht je mening te geven én ideeën te delen.

Resultaat: kort na ons advies werd het onderzoek herhaald met een aangepaste vragenlijst die niet alleen meer aansluit op wat klanten belangrijk vinden, maar ook diverse mogelijkheden biedt om feedback in een open vorm te delen. Niet alleen was de respons veel hoger dan normaal, maar ook de scores over de dienstverlening. En los daarvan: tal van klanten kwamen met ideeën over verbetering van producten, diensten en service. Zo simpel kan het dus zijn.

Read More