Visueel design voor online mixed-device surveys

De rise of the mobile device leidt tot aanpassing van de lay-out van online vragenlijsten. Het gebruik van touchscreen op mobile devices is niet zo’n probleem, maar wél de schermgrootte. Iedereen is (hopelijk) overgestapt op responsive design, zodat vragenlijsten optimaal worden aangepast aan het device.

Hoewel bijna iedereen een mobiele telefoon heeft, blijft het gebruik voor het invullen van surveys achter (gemiddeld eenderde van de online vragenlijsten gebeurt mobiel). Waarom is er zo’n groot verschil tussen hebben van een mobiele telefoon en gebruik voor surveys?

Tekst Vera Toepoel, Universiteit Utrecht en Brenda Vermeeren, Erasmus Universiteit Rotterdam en ICTU-internetspiegel

Heb je zelf wel eens een vragenlijst ingevuld op een mobiele telefoon? Meestal resulteert dat in een hoop frustratie en kramp in de vingers door de vele bewegingen. Hoewel de meeste software inmiddels een responsive-design gebruikt, zijn de meeste online vragenlijsten nog allerminst mobile-friendly. Al te vaak worden vragenlijsten ontwikkeld met een PC in het achterhoofd, terwijl juist de mobiele telefoon het uitgangspunt zou moeten zijn. Immers: als het werkt op een mobiele telefoon, dan werkt het op alle devices. In 2014 produceerde de American Association for Public Opinion Research (AAPOR) een mooi rapport (beschikbaar online, zie www.aapor.org) over mobile technologies. De belangrijkste suggesties daaruit:

  1. Erken dat online surveys tegenwoordig mixed-device surveys zijn, en gebruik paradata zoals user agent strings om te controleren voor potentiële meetfouten;
  2. Houd de vragenlijst kort en simpel;
  3. Pre-testen is essentieel, want user interface, functionaliteiten, operating systems en modellen verschillen veel. Met het ontwerpen voor mobiel in het achterhoofd zijn er dan ook twee zaken belangrijk: de lengte van de vragenlijst en het (visueel) design.

Te lang

Kelly (2013) geeft mooi aan waar het verschil zit tussen PC en mobiel: waar 81% van de PC-gebruikers bereid is om een vragenlijst van 15 minuten of meer in te vullen, zegt slechts 35% van de mobiele telefoongebruikers bereid te zijn zo lang aan een vragenlijst te spenderen.

De optimale lengte voor een vragenlijst op een mobiel ligt op 5 tot 10 minuten.  En helaas worden er nog steeds veel te lange vragenlijsten uitgezet. Oplossingen zijn te vinden bij data chunking, waarbij een vragenlijst in korte blokken wordt geknipt en de verschillende modules los van elkaar worden uitgezet. Toepoel en Lugtig (2018) laten zien dat dit kan resulteren in 10% hogere response rates. En zelfs wanneer je meeneemt dat niet iedere respondent alle verschillende modules invult (wave non response), dan nog is het percentage missende informatie lager in de gechunkte vragenlijst dan in de hele vragenlijst. Een andere oplossing is natuurlijk gewoon minder vragen stellen.

Design

Voor wat betreft het design van online vragenlijsten: Antoun (2017) heeft een mooie paper gepubliceerd waarin hij het wetenschappelijk onderzoek naar visueel design voor online vragenlijsten in een tijd van mobile web samenvat. Hij zegt:

  1. Gebruik een groter font;
  2. Zorg ervoor dat de inhoud past binnen de breedte van het scherm (in portrait, geen horizontaal scrollen);
  3. Gebruik grote knoppen (tiles) en waar nodig pictogrammen (e.g. logo’s, symbolen, emoji’s);
  4. Gebruik losse vragen in plaats van een grid/matrix;
  5. Gebruik autoforward, zodat een respondent niet telkens op een verder-knop hoeft te drukken;
  6. Verwijder alle overbodige informatie (zoals plaatjes, voortgangsindicators etc.) om pagina-laadtijd te reduceren.

clou 94 visueelfig1

Matrix

Voor sommigen klinkt dit misschien als een open deur, maar er is nog steeds veel software in omloop die zich niet aan deze suggesties houdt. Misschien nog wel het meest frappant is hoe er door veel software wordt omgegaan met zogenaamde matrixvragen. Veel software voor PC gebruikt nog gewoon matrix-vragen (horizontaal), maar zet deze voor mobile devices om in losse vragen die in verticale positie worden gepresenteerd. Dit is een jammerlijk voorbeeld van het gebrek aan communicatie tussen soft-ware-ontwikkelaars en survey-methodologen. Die laatsten hebben immers allang duidelijk gemaakt dat het presenteren van items (zoals Likert-schalen) in een matrix zorgt voor (ongewenste) hogere correlaties tussen items, en dat het gebruik van verticale schalen zorgt voor meer primacy-effecten (het selecteren van eerste antwoorden) in vergelijking met horizontale schalen. Het gebruik van een andere lay-out voor PC en mobiel is dan ook een no-go. Regel 1 bij het ontwerpen van een vragenlijst is immers: zorg ervoor dat het er zo veel mogelijk hetzelfde uitziet op alle devices om meetfouten te voorkomen.

Flitspanel

Om de lay-out opties van Likert-items te testen hebben we een uitgebreid experiment gedaan met de software en designs van Effectory (Toepoel, Vermeeren, Metin, 2019). In het Flitspanel, een online access panel opgezet door het Ministerie van Binnenlandse Zaken en Koninkrijkrelaties, zijn in juni 2017 verschillende antwoord-vormen voorgelegd:

  1. Smileys (zie figuur 1)
  2. Sterren (zie figuur 2)
  3. Harten
  4. Buttons
  5. Gekleurde buttons (rood-oranje-groen)
  6. Tile grid
  7. Tile grid met kleuren (rood-oranje-groen)
  8. Radio-button-grid (zie figuur 4)

De vragen werden voorgelegd in een mooi autoforward-design. Alle vragen stonden onder elkaar in een scrollable format, maar bij het geven van een antwoord ging de respondent automatisch door naar de volgende vraag. Dit is efficiënt, en zorgt voor minder handelingen door de respondent, en een verkorte invultijd (zie ook een experiment met autoforward door I&O Research, Lugtig et al. 2018). Door het scrollable design heeft de respondent nog wel steeds de mogelijkheid om terug in de vragenlijst te gaan, en de autoforward is zo toegepast dat het voor een respondent duidelijk is dat er een nieuwe vraag komt (in dit geval van onder, wat prettiger is dan horizontaal invliegen omdat horizontaal scrollen niet gewenst is).

clou 94 Visueelfig2

Uit evaluatie-vragen blijkt dat respondenten de matrix-vragenlijsten duidelijk slechter evalueren dan de losse vragen. De smileys werden het best geëvalueerd, met daarna de gekleurde radio-buttons. Wel moet worden opgemerkt dat het gebruik van kleuren antwoorden kan vertekenen, waarbij minder mensen geneigd zijn een rode antwoordoptie te kiezen. Het toevoegen van kleur is dus misschien wel prettig voor respondenten, maar niet wenselijk vanuit methodologisch oogpunt (meetfouten).

Eén hartje

Het design dat gebruik maakt van harten en sterren werden anders gebruikt dan de smileys en buttons, waarschijnlijk omdat harten en sterren unipolair zijn en smileys en buttons bipolair. Zo is iemand die bijvoorbeeld één hartje geeft ook al positief, terwijl iemand die een boze smiley aanvinkt dat niet zal zijn.  Ook resulteerden de matrix-vragen in significant andere antwoorden, mogelijk getriggerd door een andere positie van ‘ik weet het niet’, dat bij matrix-vragen typisch gezien aan het eind van de rij wordt gepresenteerd, en bij losse vragen onder de substantiële antwoordopties staat. De gemiddelde duur van de vragenlijst verschilde overigens niet tussen de verschillende designs.

Al met al een mooi experiment waarin duidelijk wordt dat een juist gebruik van smileys en autoforward de gebruiksvriendelijkheid van online vragenlijsten kan verhogen. Let wel op: emoji’s zoals smileys kunnen niet te pas en te onpas gebruikt worden, zoals figuur 3 duidelijk laat zien.

Heb jij een mooi design voor online vragenlijsten of ben je bezig met innovatieve vormen van dataverzameling  (b.v. GPS, wearables, beacons)? Laat het weten.

 

 

 

Referenties:
• AAPOR. Mobile Technologies for Conducting, Augmenting and Potentially Replacing Surveys: Report of the AAPOR Task Force on Emerging Technologies in Public Opinion Research https://www.aapor.org/Education-Resources/Reports/Mobile-Technologies-for-Conducting,-Augmenting-and.aspx
• Antoun, C., Katz, J., Argueta, J., & Wang, L. (2017). Design Heuristics for Effective Smartphone Questionnaires. Social Science Computer Review, 0894439317727072.
• Kelly, F., Johnson, A., and Stevens, S. (2013). Modular Survey Design: Bite sized chunks 2. Paper presented at the CASRO Online Research Conference, San Francisco, March 7-8.
https://c.ymcdn.com/sites/www.casro.org/resource/collection/0A81BA94-3332-4135-97F6-6BE6F6CEF475/Paper_-_Frank_Kelly_-_Lightspeed_Research_and_Sherri_Stevens_-_Millward_Brown.pdf
• Lugtig, P., V. Toepoel, M. Haan, R. Zandvliet & L. Klein Kranenburg (2019). Recruiting young and urban groups into a probability-based online panel by promoting smartphone use. Methods Data Analysis.
• Toepoel, V., B. Vermeeren & B. Metin (2019) Smileys, stars, hearts, buttons, tiles or grids: influence of response format on substantive response, questionnaire experience and response time. Bulletin Methodology Sociologique
• Toepoel, V. & P. Lugtig (2018). Modularization in an Era of Mobile Web Investigating the Effects of Cutting a Survey Into Smaller Pieces on Data Quality. Social Science Computer Review, p1-15, https://doi.org/10.1177/0894439318784882"

Dit artikel is overgenomen uit Clou magazine© nr 94, oktober 2019.

Meer MOA


Kennispartners van Clou

MOA is een

CRKBO Instelling CMYK

Contact

MOA, Expertise Center voor Marketing-insights, Onderzoek & Analytics

Kingsfordweg 151, 1043 GR, Amsterdam
+31 20 5810710
Dit e-mailadres wordt beveiligd tegen spambots. JavaScript dient ingeschakeld te zijn om het te bekijken.