Mar 24, 2017 Last Updated 9:59 AM, Mar 20, 2017

MOA Kwaliteitsnorm Digital analytics

Digital analytics is een snel in belang toegenomen vorm van onderzoek waarbij registratie en analyse plaatsvindt van digitaal gedrag en digitale uitspraken van personen en bedrijven. Voorbeelden zijn het meten van het gedrag van websitebezoekers, het meten van gedrag door middel van cookies, het registreren en meten van uitlatingen en sentimenten bij bezoekers van social media, etc.. De MOA heeft, in nauwe samenwerking met marktpartijen, de MOA Kwaliteitsnorm voor digital analytics opgesteld.

PDF button MOA Kwaliteitsnorm DA 30 oktober 2013.pdf — PDF document, 213Kb

MOA Kwaliteitsnorm voor digital analytics

1 november 2013

Introductie

Digital analytics is een snel in belang toegenomen vorm van onderzoek waarbij registratie en analyse plaatsvindt van digitaal gedrag en digitale uitspraken van personen en bedrijven. Voorbeelden zijn het meten van het gedrag van websitebezoekers, het meten van gedrag door middel van cookies, het registreren en meten van uitlatingen en sentimenten bij bezoekers van social media, etc.. Bij de bij deze activiteiten betrokken partijen bestaat behoefte aan het beschrijven en hanteren van een kwaliteitsnorm. Deze norm moet een algemeen geldend fundament vormen voor iedereen die zich met digital analytics bezighoudt. Tegelijkertijd dient zo’n kwaliteitsnorm rekening te houden met het unieke karakter van dit type onderzoek en de bijbehorende, bijna continue technologische ontwikkelingen.

De MOA, de brancheorganisatie voor information-based decisionmaking & marketing research, heeft, in nauwe samenwerking met de op het gebied van digital analytics en social media research actieve marktpartijen, de MOA Kwaliteitsnorm voor digital analytics opgesteld. Hierbij is, waar mogelijk en waar relevant, aansluiting gezocht bij bestaande de Gedragscode voor Onderzoek en Statistiek, de ISO 20252:2012 kwaliteitsnorm voor markt-, opinie- en maatschappelijk onderzoek, de Esomar Guideline on Social Media Research van 2011 en de Web Analytics Definitions van de Web Analytics Association (USA).
Digital analytics is een vorm van analyse en digitaal onderzoek dat plaatsvindt binnen het zogenaamde ‘passieve domein’, waarbij over het algemeen geen actieve medewerking van de te onderzoeken objecten/personen noodzakelijk is (behoudens het in bepaalde gevallen toestemming verlenen voor het doen van bepaalde registraties), maar waarbij zij in sommige gevallen wel op individueel niveau getraceerd kunnen worden.
Het doel van deze MOA Kwaliteitsnorm voor digital analytics is enerzijds het inzichtelijk maken van de werkwijze van de verschillende uitvoerders van digital analytics en anderzijds het verschaffen van transparantie aan opdrachtgevers over de wijze van werken van die uitvoerders en de diensten die zij aan opdrachtgevers kunnen bieden.

De belangen van de personen van wie het digitale gedrag wordt gemeten, worden primair gewaarborgd door de Gedragscode voor Onderzoek en Statistiek en aangevuld in deze Kwaliteitsnorm.

Scope

Deze MOA Kwaliteitsnorm voor digital analytics heeft betrekking op datacollectie die via digital analytics plaatsvindt, of deze nu door een opdrachtgever zelf dan wel ten behoeve van een opdrachtgever door een onderzoekorganisatie wordt uitgevoerd, of op eigen initiatief door een onderzoekorganisatie zelf wordt uitgevoerd.
Er is sprake van digital analytics indien digitaal gedrag en digitale uitspraken van de doelgroep geregistreerd worden zonder dat de doelgroep expliciet door de onderzoeksorganisatie gevraagd wordt dat gedrag te tonen resp. die uitspraken te doen: kenmerkend voor digital analytics is derhalve het meten van passief gedrag de doelgroep. Worden in combinatie met deze meting van het passieve gedrag additioneel een of meer specifieke vragen gesteld, dan gelden voor het stellen van die vragen en het verwerken van de antwoorden daarop de eisen die gesteld worden in de norm ISO 20252:2012, waarvan een samenvatting in bijlage 2 wordt gegeven.
De MOA Kwaliteitsnorm voor digital analytics heeft tevens betrekking op de afspraken die een onderzoekorganisatie in het kader van een onderzoeksproject op
het gebied van digital analytics met haar eventuele onderaannemer(s) maakt.
De onderzoekorganisatie kan een in digital analytics gespecialiseerd bureau zijn maar ook een bureau dat naast deze vormen van digitaal onderzoek andere methoden van (markt)onderzoek aanbiedt (face-to-face, telefonisch, online, etc.).

Privacy en internet

De MOA hanteert een door haar ontwikkelde en door het College Bescherming Persoonsgegevens goedgekeurde Gedragscode voor Onderzoek en Statistiek. Deze Gedragscode geldt ook voor onderzoekorganisaties en hun opdrachtgevers die zich bezighouden met digital analytics en is daardoor onlosmakelijk gekoppeld aan deze MOA Kwaliteitsnorm voor digital analytics.

De Gedragscode voor Onderzoek en Statistiek maakt het voor webanalisten onder voorwaarden mogelijk om zonder toestemming van bezoekers van digitale media op geaggregeerd niveau informatie over hen te verzamelen en te rapporteren. Belangrijk hierbij is artikel 5.4 van de Gedragscode voor Onderzoek en Statistiek: De rapportage van Onderzoek zal nimmer gegevens bevatten die een individuele natuurlijke persoon kunnen identificeren, tenzij de ondubbelzinnige toestemming van de deelneme hiervoor is verkregen. Deze toestemming kan ook begrepen zijn in het accepteren van de gebruikersvoorwaarden van sociale media, websites, blogs en fora waar de deelnemer gebruik van maakt.

Aan deze bepaling wordt voor digital analytics een uitzondering gemaakt: het is toegestaan om gegevens die een individuele natuurlijke persoon kunnen identificeren, op te nemen in een rapportage, indien de betrokkene deze gegevens zelf bekend heeft gemaakt op algemeen toegankelijke websites, social media fora of blogs. Deze uitzondering loopt vooruit op de verwachte wetgeving van uit Brussel.

Niet in alle gevallen valt het verrijken van bestanden door middel van digital analytics onder de noemer ‘marktonderzoek’ en daarmee onder het regiem van de bovengenoemde Gedragscode voor Onderzoek en Statistiek. Waar zich deze situatie voor doet, dient dit door de onderzoekorganisatie resp. de opdrachtgever helder en beargumenteerd te worden vastgelegd.

Het verdient aanbeveling dat opdrachtgevers die door onderzoekorganisaties activiteiten op het gebied van digital analytics laten uitvoeren, zich hierbij laten leiden door de MOA Kwaliteitsnorm voor digital analytics.


1-Algemene uitgangspunten
1.1 Organisatorische aspecten Leveranciers van diensten op het gebied van digital analytics (hierna te noemen ‘onderzoekorganisaties’) die deze MOA Kwaliteitsnorm voor digital analytics onderschrijven, dienen deze op transparante wijze in hun organisatie te verankeren op de hierna aangegeven wijze. Dit geldt ook voor onderaannemers die diensten op het gebied van digital analytics aan onderzoekorganisaties leveren en voor opdrachtgevers die activiteiten op het gebied van digital analytics in eigen beheer uitvoeren, al dan niet met behulp van onderaannemers.

1.1.1 De werkwijze en de daarbij in te zetten middelen (zoals bijvoorbeeld tools) dienen aan te sluiten op deze MOA Kwaliteitsnorm voor digital analytics.
Werkwijze(n) en middelen dienen beschreven te zijn.

1.1.2 De onderzoekorganisatie dient, los van de beschreven werkwijze, de relevante wet- en regelgeving na te leven, evenals (maar niet beperkt tot) deze Kwaliteitsnorm en de Gedragscode voor Onderzoek en Statistiek.

1.1.3 De onderzoekorganisatie dient de beschreven werkwijze alsmede de relevante wet- en regelgeving bekend te maken bij, en toepasbaar te maken voor alle medewerkers die er tijdens hun werkzaamheden mee te maken (kunnen) hebben.

1.1.4 Indien in een bepaalde situatie afgeweken wordt van de beschreven werkwijze, dient dit vastgelegd te worden als zijnde een uitzondering.

1.1.5 Periodiek, maar tenminste eenmaal per jaar dient de onderzoekorganisatie zelf, door middel van een interne audit, na te gaan (al dan niet met externe hulp) of de beschreven werkwijze in de praktijk ook daadwerkelijk gehanteerd wordt.

1.1.6 Op directieniveau dient tenminste één directielid eindverantwoordelijkheid te dragen met betrekking tot het daadwerkelijk naleven van deze MOA Kwaliteitsnorm
voor digital analytics. Assistentie kan hierbij verleend worden door een kwaliteitsmanager; het betreffende directielid houdt in dat geval de eindverantwoordelijkheid.

1.2 Vertrouwelijkheid Projecten op het gebied van digital analytics hebben per definitie een vertrouwelijk karakter tenzij de opdrachtgever deze vertrouwelijkheid niet van toepassing verklaart.
Het vertrouwelijke karakter van projecten moet op de in deze Kwaliteitsnorm beschreven wijze worden gewaarborgd.

1.2.1 Onderzoekorganisaties dienen zich ervan te vergewissen dat hun opdrachtgevers geen bezwaar maken tegen vermelding van hun naam op een (voor
publicatie bedoelde) lijst opdrachtgevers van de onderzoekorganisatie. Wordt dit bezwaar wel gemaakt, dan mogen onderzoekorganisaties en hun medewerkers op geen enkele wijze de identiteit van die opdrachtgever bekend maken aan derden.

1.2.2 Ontvangen informatie van de opdrachtgever moet door de onderzoekorganisatie vertrouwelijk behandeld worden en zodanig worden opgeslagen dat volgens gangbare normen onbevoegde derden geen toegang tot dit materiaal kunnen hebben. Dit geldt ook voor informatie die de onderzoekorganisatie in het kader van de opdracht voor haar opdrachtgever verzamelt en eventueel bewerkt.

1.2.3 De hier beschreven vertrouwelijke behandeling van informatie dient bij ieder individueel personeelslid en bij alle betrokken freelance medewerk(st)ers van de
onderzoekorganisatie bekend en geborgd te zijn, bijvoorbeeld door opname van een vertrouwelijkheidsclausule in het arbeidscontract resp. de freelance-overeenkomst.
De vertrouwelijke behandeling heeft ook betrekking op het privégebruik van social media door deze personen.

1.2.4 De eisen inzake vertrouwelijkheid gelden onverkort ook voor eventuele onderaannemers van onderzoekorganisaties op het gebied van digital analytics.
Deze vertrouwelijkheid dient opgenomen te worden in de contracten tussen de onderzoekorganisaties en hun onderaannemers resp. de opdrachtgever en de
onderaannemer in het geval de opdrachtgever de onderaannemer rechtstreeks inschakelt.

1.3 Competentie en training
De onderzoekorganisatie staat er voor in dat degenen die voor haar werkzaam zijn, voldoende competent zijn om de hen opgelegde taken op het gebied van digital analytics uit te voeren. In dit verband registreert de onderzoekorganisatie de opleiding en ervaring van haar medewerk(st)ers en zorgt zij voor aanvullende training of opleiding indien dit noodzakelijk blijkt te zijn.
NB-Deze noodzaak kan voortkomen uit nieuwe technologische ontwikkelingen, uit verandering van wet- en regelgeving of anderszins.
Naast deze algemene training en opleiding krijgen de medewerk(st)ers die bij de uitvoering van een project betrokken worden, voor elk project een project-specifieke instructie. Deze instructie kan schriftelijk, digitaal of mondeling worden gegeven en dient te worden vastgelegd in de projectadministratie. De onderzoekorganisatie maakt voorafgaand aan het project met haar opdrachtgever afspraken over de inhoud van de instructie en de eventuele betrokkenheid van de opdrachtgever bij de project-specifieke instructie.

1.4 Uitbesteding
Indien een onderzoekorganisatie bepaalde werkzaamheden met betrekking tot digital analytics uitbesteedt aan een onderaannemer, dient zij ervoor zorg te dragen dat de onderaannemer zich aan dezelfde kwaliteitseisen houdt als de onderzoekorganisatie.
Dit artikel betreft die onderaannemers (inclusief leveranciers van tools) die in een dusdanige vorm een bijdrage leveren aan de uitvoering van een individueel project van een onderzoeksorganisatie, dat de kwaliteit van die bijdrage invloed heeft op de totale kwaliteit van het project.

NB-Het gebruik van standaard tools en standaard software die externe partijen leveren, wordt niet gezien als het ‘uitbesteden’ van werkzaamheden

Naar de opdrachtgever toe blijft de onderzoekorganisatie volledig verantwoordelijk voor de te leveren kwaliteit inzake de overeengekomen opdracht, ook voor die onderdelen van de opdracht die door de onderzoekorganisatie eventueel aan onderaannemers zijn uitbesteed.

In verband met het bovenstaande moet de onderzoekorganisatie aan haar onderaannemers voorafgaand aan de opdrachtverlening, de voor de betrokken onderaannemer relevante onderdelen van deze MOA Kwaliteitsnorm voor digital analytics ter ondertekening voorleggen. In deze verklaring moeten minimaal de eisen worden opgenomen met betrekking tot de vertrouwelijkheid van het onderzoek de eisen inzake het waarborgen van de anonimiteit van personen van wie het digitale gedrag wordt geanalyseerd.

2-Voorstellen en offertes
2.1 Voorstellen en offertes van onderzoekorganisaties aan opdrachtgevers
Voorstellen en offertes aan (potentiële) opdrachtgevers kunnen uit eigen beweging worden opgesteld dan wel een reactie zijn op een vraag van een opdrachtgever. In
principe dienen voorstellen en offertes schriftelijk te worden uitgebracht, online of offline.

Bij onduidelijkheden in de briefing dient de onderzoekorganisatie hierover contact op te nemen met de opdrachtgever. Indien de opdrachtgever en/of de onderzoeksorganisatie definities hanteren die afwijken van de in deze MOA Kwaliteitsnorm digital analytics gehanteerde definities, dienen zij aan te geven waar en in welke mate sprake is van overlapping van definities.

In voorstellen en offertes dienen de verantwoordelijkheden van de opdrachtgever en de onderzoekorganisatie met betrekking tot de te hanteren tools en de implementatie van de resultaten duidelijk te zijn omschreven.

In voorstellen en offertes dienen minimaal de volgende onderwerpen aan de orde te komen:
-De informatiebehoefte van de opdrachtgever.

NB-Het is mogelijk dat bepaalde informatiebehoeften pas tijdens de uitvoering van een project concreet kunnen worden gedefinieerd. Dit dient te worden gemeld in het voorstel resp. de offerte.

-De door de onderzoekorganisatie geadviseerde methode resp. techniek van digital analytics inclusief de eventueel in te zetten tools.

-De te analyseren digitale bronnen (zoals bijvoorbeeld websites of onderdelen daarvan, social media, blogs en fora) alsmede de criteria die gehanteerd worden voor de selectie van de te analyseren bronnen. Voor zover door de toeleveranciers van tools met betrekking tot deze bronnen verschillende definities worden gehanteerd, dient in het voorstel resp. de offerte duidelijk te worden gemaakt van welke definitie(s) wordt uitgegaan.

-Een opgave van (de mate van) eventuele inhoudelijke of technische beperkingen die gekoppeld zijn aan de te analyseren bronnen en daarmee de representativiteit en/of de datakwaliteit kunnen beïnvloeden.

-De exacte periode waarop de analyse betrekking zal hebben (begin- en einddatum en tijden), in die gevallen waarin geen sprake is van continu-metingen.

-De omvang en wijze van oplevering van de uitkomsten (frequentie, zoals continu, real-time, eenmalig, de wijze waarop gerapporteerd wordt, etc.). Ook dient aangegeven te worden of naast de uitkomsten ook de basisdata worden opgeleverd.

-De wijze waarop data worden opgeslagen door degene die de data verzamelt alsmede de opslagduur. Dit kan in overleg met de opdrachtgever worden vastgesteld. Zie ook artikel 3.6 van deze MOA Kwaliteitsnorm voor digital analytics.

-Het eigendom van de data die na uitvoering van de opdracht beschikbaar zijn gekomen: aangegeven moet worden of de opdrachtgever eigenaar wordt, de onderzoekorganisatie of een eventuele onderaannemer.

-De kosten van de uit te voeren activiteiten, inclusief een opgave van eventuele variabele kosten waarvan de omvang pas na uitvoering van de analyse vastgesteld kan worden. De wijze en het moment van facturering dienen aangegeven te zijn.

-Een opgave van de eventueel bij de uit te voeren activiteiten in te schakelen onderaannemers, alsmede de werkzaamheden die bij deze onderaannemers zullen worden ingekocht. Op verzoek van de opdrachtgever moet de onderzoekorganisatie de namen van in te schakelen onderaannemers bekend maken.

NB-Mocht blijken dat na verlening van de opdracht alsnog bepaalde diensten van onderaannemers moeten worden ingekocht, zonder dat dit in het voorstel of in de offerte is aangegeven, dan dient de onderzoekorganisatie hiervan direct melding te maken bij de opdrachtgever.

-De vermelding dat de onderzoekorganisatie bij de uitvoering van digital analytics projecten werkt volgens deze MOA Kwaliteitsnorm voor digital analytics.

Het uitbrengen van een door een potentiële opdrachtgever gevraagd voorstel of een offerte is een activiteit die als zodanig al als ‘vertrouwelijk’ dient te worden geclassificeerd, ook indien het voorstel of de offerte niet zouden leiden tot een opdracht.

2.2 Voorstellen en offertes van onderaannemers aan onderzoeksorganisaties
In veel gevallen maken onderzoekorganisaties bij digital analytics gebruik van externe onderaannemers. Zij maken data beschikbaar via SaaS (‘software as a service’) dashboards, flat files of leveren andere vormen van ‘tooling’. In hun voorstellen en offertes aan de onderzoekorganisaties dienen de onderaannemers de onderstaande aspecten te benoemen. Dit geldt ook wanneer een onderzoekbureau zelf flat files of dashboards kan leveren.
De onderzoekorganisatie dient waar mogelijk de informatie over deze aspecten vooraf aan haar opdrachtgever te verstrekken. Indien een opdrachtgever naar deze aspecten vraagt, is de onderzoekorganisatie verplicht om hierop inhoudelijk te antwoorden.
-Gehanteerde definities (bijvoorbeeld ‘unieke bezoekers’, ‘page views’, etc.)
-Mogelijke vertekeningen in data (skewness effecten).
-Bronnenlijst en de frequentie waarmee deze bronnenlijst wordt ververst.
-Gehanteerde termen en algoritmes. Een voorbeeld hiervan zijn de algoritmes die gebruikt worden om ruis uit social media postings te filteren en om het sentiment te bepalen.
-Uitgangspunten met betrekking tot fusie van data en het hanteren van algoritmen.
-Door de toeleverancier gehanteerde definities van de output variabelen en de berekeningswijze van deze variabelen (voorbeeld: wordt een verschil gemaakt tussen ‘unique visitors’ en ‘unique devices’?).
-Eventuele discontinuïteiten in de datacollectie die de analyses kunnen beïnvloeden alsmede eventuele maatregelen die hiertegen ondernomen zullen worden.
-De wijze en duur van dataopslag en datavernietiging, alsmede de opslag en vernietiging van rapportages.
-Rekrutering (wel/geen opt-in) en beloning van te analyseren websitebezoekers en/of -gebruikers (indien van toepassing).
-Bij real-time of near real time rapportage (waarbij zonder tijdsverlies bewegingen op internet zichtbaar worden gemaakt voor de opdrachtgever): tijdstippen waarop en snelheid waarmee de data van de verschillende bronnen worden ververst. Tevens moet aangegeven worden of geplande real-time reacties verenigbaar zijn met relevante bepalingen uit de Telecomwet.
-Wijze waarop de output wordt geleverd (flat files, dashboard, exportmogelijkheden, aanlevering via API).
-De genomen maatregelen voor de beveiliging van de verzamelde data en het aan het project gekoppelde dataverkeer.
-Een verklaring van mogelijke oorzaken voor eventuele verschillen in uitkomsten die in dezelfde of een vergelijkbare analyse voorkomen.
-Het houden van eventuele pilots en de wijze waarop deze zullen worden uitgevoerd.

3-Uitvoering van de opdracht
Zodra een opdrachtgever een concrete opdracht heeft verleend, zet de onderzoekorganisatie het project in werking, te beginnen met het aanwijzen van een verantwoordelijke projectleider. Deze functionaris is ook het eerste aanspreekpunt voor de opdrachtgever: dit wordt medegedeeld aan de opdrachtgever.
De projectleider draagt zorg voor de uitvoering van het project, op de in de offerte of in het voorstel beschreven wijze.
3.1 Toestemming van de doelgroep
3.1.1 De uitvoering van de opdracht dient in overeenstemming te geschieden met de wet- en regelgeving inzake de bescherming van persoonsgegevens en die inzake activiteiten op telecom-gebied.
3.1.2 Wanneer het niet om geaggregeerde uitkomsten gaat maar om data die tot individuele personen te herleiden zijn, dan is er geen sprake van ‘onderzoek’ zoals gedefinieerd in de Gedragscode voor Onderzoek en Statistiek. In dat geval zijn in voorkomende gevallen de bepalingen uit de Telecomwet van toepassing.
3.1.3 Wanneer de digital analytics activiteiten gericht zijn op het verrijken van bestanden van klanten, dan valt dit buiten de werkingssfeer van de Gedragscode voor Onderzoek en Statistiek. De regels van de Wet Bescherming Persoonsgegevens die gelden voor ‘marketing’ zijn in dat geval wél onverkort van toepassing. Of de verzamelde persoonsgegevens kunnen worden gebruikt om te verrijken hangt af van het doel waarvoor de persoonsgegevens zijn verzameld en verwerkt en of er sprake is van verenigbaar gebruik.
NB-1 Bij marktonderzoek is altijd sprake van verenigbaar gebruik, d.w.z. dat gegevens gebruikt mogen worden voor andere doeleinden dan waarvoor zij zijn vergaard, zolang deze andere
doeleinden verenigbaar zijn met het oorspronkelijke doel waarvoor zij worden verzameld en verwerkt.
NB-2 Indien bij een project sprake is van een combinatie van datgene wat beschreven is in de artikelen 3.1.1en 3.1.2 dient naar buiten toe sprake te zijn van een duidelijke scheiding tussen het
‘onderzoeks’-gedeelte en het ‘bestands’-gedeelte met de daarbij behorende –gescheiden- identiteiten van de onderzoekorganisatie. Er dient in dat geval ook sprake te zijn van gescheiden rapportages.
3.1.4 In alle gevallen zijn de onderzoekorganisatie en opdrachtgever verplicht er voor te zorgen dat degene van wie zijn of haar uitspraken via social media worden verzameld en geanalyseerd of wiens gedrag tijdens het bezoeken van websites is geregistreerd, hiervan op geen enkele wijze negatieve gevolgen zal (kunnen) ondervinden, los van de vraag of aan betrokkene wel of niet om toestemming voor het verzamelen van de genoemde gegevens gevraagd diende te worden. Met betrekking tot de toestemming van (leden van) de doelgroep kan worden uitgegaan van impliciet verkregen toestemming van de doelgroep voor het registreren van digitaal gedrag en digitale uitspraken doordat de doelgroep al in heeft moeten stemmen met de gebruikersvoorwaarden van browsers, sociale media, websites, blogs en fora waarin vrijwel altijd deze toestemming deel van uit maakt.
3.2 Versleuteling van reacties
Teneinde de anonimiteit van de te analyseren individuele personen te garanderen, kan het noodzakelijk zijn om bij de rapportage, of deze nu real time op continue basis plaatsvindt of achteraf in de vorm van een samenvattend overzicht, eventuele citaten zodanig te versleutelen dat de betrokken personen niet meer op andere wijze traceerbaar zijn (‘masking’).
Dit geldt niet in situaties waarin personen expliciet hun toestemming voor de analyse hebben gegeven, in de wetenschap dat ook hun individuele uitingen geciteerd kunnen worden en daarmee traceerbaar zijn.
Ook is het citeren van letterlijke reacties toelaatbaar van die internetgebruikers die zich bedienen van een niet-traceerbare schuilnaam.
3.3 Codering
Indien het gedrag, uitlatingen en/of sentimenten van de te analyseren internetbezoekers in samenvattende tabellen gepresenteerd worden, dienen deze gecategoriseerd te worden. De categorisering dient plaats te vinden aan de hand van een codelijst die op twee manieren kan worden opgezet:
a-Voorafgaand aan de analyse: hierbij worden te verwachten gedragingen en uitlatingen vooraf geclassificeerd. Tijdens of na afloop van de analyse worden de geregistreerde gedragingen of uitlatingen via codering gekoppeld aan deze classificatie.
b-Tijdens of na afloop van de analyse: hierbij wordt achteraf op basis van gesignaleerde gedragingen of uitlatingen een lijst samengesteld met behulp waarvan alle aangetroffen gedragingen en uitlatingen gecodeerd worden. Het is mogelijk dat deze selectie tussentijds wordt vastgesteld en al dan niet aan de hand van de bevindingen nadien wordt aangepast of uitgebreid.
De gehanteerde werkwijze (a of b) dient bij de rapportage beschreven te zijn.
De wijze van samenstelling van deze lijst zal over het algemeen reeds in het voorstel of in de offerte aan de orde zijn gekomen. Is dit niet het geval, dan dient de 10 onderzoekorganisatie bij de rapportage aan de opdrachtgever te melden op basis van welke verwerkingsmethodiek het coderen van gedrag, uitlatingen en/of sentimenten heeft plaatsgevonden.
3.4 Weging
Uitkomsten van digital analytics kunnen ongewogen of gewogen worden gepresenteerd.
Wanneer behoefte bestaat aan herweging naar de totale onderzochte target groep, dan moet vastgelegd worden op welke wijze en met behulp van welke wegingsfactoren dit is gedaan.
3.5 Rapportage
Indien bij de op te leveren data door de onderzoekorganisatie een toelichting wordt verstrekt, dient duidelijk te zijn, welk deel van de toelichting betrekking heeft op de gerapporteerde data en welk deel beschouwd moet worden als een aanvullend advies van de onderzoekorganisatie, dat weliswaar gebaseerd is op de uitkomsten maar verder haar eigen interpretatie van de (consequenties van de) uitkomsten is.
In de rapportage dient, indien relevant, aandacht gegeven te worden aan de aspecten die genoemd zijn in de artikelen 2.1 en 2.2 van deze MOA Kwaliteitsnorm voor digital analytics.
Er dient gerapporteerd te worden in welke mate de uiteindelijke rapportage eventueel afwijkt van de uitgangspunten in het oorspronkelijke voorstel, wat daar de oorzaak van is en wat is gedaan om deze afwijking zo gering mogelijk te houden.
3.6 Veilige bewaring van de rapportage en bewaartermijn
De onderzoekorganisatie dient de uitkomsten van de analyse en die van daaraan gekoppelde eventuele eerdere analyses tenminste zes maanden te bewaren tenzij vanuit wet- of regelgeving of gelet op de doelstelling van de analyse een andere termijn noodzakelijk is (bijvoorbeeld bij onderzoeken die periodiek bij dezelfde personen herhaald worden). De opdrachtgever moet daarnaast de mogelijkheid geboden worden om de bewaartermijn op diens verzoek te verkorten of te verlengen. Tevens moeten met de opdrachtgever afspraken worden gemaakt over de wijze en de duur van de bewaring van gegevens na afronding van een project, inclusief de eventuele kostenconsequenties met betrekking tot deze bewaring.
Bewaring moet plaatsvinden op een wijze die toegang tot de gegevens door onbevoegden niet mogelijk maakt. Er dient vastgelegd te worden wie gedurende de bewaringsperiode bevoegd zijn tot toegang tot deze gegevens, zowel aan de kant van de opdrachtgever als aan de kant van de onderzoeksorganisatie.
NB-Als gegevens waarbij aan de data identificeerbare persoonsgegevens gekoppeld zijn, langer dan zes maanden worden bewaard, is sprake van meldingsplicht bij het College Bescherming
Persoonsgegevens.
De onderzoekorganisatie dient bij haar afspraken met haar eventuele onderaannemers rekening te houden met de bewaartermijn, met name voor wat betreft de vraag of gegevens bewaard (kunnen) blijven bij het opzeggen van licenties (zie ook paragraaf 2.2 van deze MOA Kwaliteitsnorm voor digital analytics).
Onderzoekorganisaties mogen de door hen opgedane ervaringen met een bepaalde digitale analyse, met uitzondering van het gebruik van de verzamelde
(persoons)gegevens, gebruiken voor het verbeteren van hun manier van werken bij volgende opdrachten. Het verdere gebruik door een onderzoekorganisatie van een
voor een opdrachtgever uitgevoerde analyse dient te worden besproken in hetzij de algemene voorwaarden die de onderzoekorganisatie hanteert, hetzij het voorstel
resp. de offerte van de onderzoekorganisatie.
3.7 Eigendom en publicatie van resultaten
Het is onderzoekorganisaties niet toegestaan om uitkomsten van analyses geheel of gedeeltelijk te publiceren, ook niet in geanonimiseerde vorm, zonder toestemming
van de betrokken opdrachtgever. Het is een onderzoekorganisatie evenmin toegestaan om een recent voor een opdrachtgever uitgevoerde analyse nog eens op
eigen initiatief op identieke wijze uit te voeren en vervolgens te publiceren, tenzij hiervoor toestemming is verkregen van de betrokken opdrachtgever.
De opdrachtgever is, als eigenaar van de bevindingen van de analyse, gerechtigd om deze te publiceren of om deze aan derden te verstrekken. De onderzoekorganisatie dient waar nodig de opdrachtgever te wijzen op eventuele beperkingen bij het presenteren van de bevindingen en noodzakelijke toelichtingen bij eventuele publicatie. Opdrachtgevers zijn gehouden om deze aanwijzingen volledig te volgen indien zij bij publicatie van de resultaten de naam van de onderzoekorganisatie noemen.
Opdrachtgevers en hun onderzoekorganisaties beschikken zelf over het algemeen niet over de verzamelde micro-data, onderaannemers beschikken in veel gevallen
wel over de verzamelde (en verrijkte) microdata. De status inzake beschikbaarheid van microdata dient bij alle betrokken partijen duidelijk te zijn. Over het algemeen zal
dit reeds gebeuren in de offertefase van een project.
Geadviseerd wordt deze MOA Kwaliteitsnorm voor digital analytics deel te laten uitmaken van de algemene leveringsvoorwaarden die de onderzoekorganisatie hanteert en de toepassing van deze Kwaliteitsnorm bovendien expliciet te noemen in voorstellen, offertes, rapportages, in communicatieve uitingen (advertenties, mailings, websites, bedrijfspagina’s op social media, etc.) en in eventuele publicaties van de bevindingen van een project.


Bijlage 1: definities

Het gebruik van deze MOA Kwaliteitsnorm voor Digital Analytics impliceert ook het accepteren en gebruiken van onderstaande definities.
De onderstaande definities zijn afkomstig van een aantal bronnen (Gedragscode Onderzoek en Statistiek, ESOMAR, ISO, Web Analytics Association, en Wikipedia).
Algoritme: een set regels die door een zoekmachine wordt gebruikt om websites te positioneren in de zoekresultaten. Ook wel reguliere of algoritmische zoekresultaten genoemd.
API: ‘Application Programming Interface’: een verzameling definities op basis waarvan een computerprogramma kan communiceren met een ander programma of onderdeel (meestal in de vorm van bibliotheken). Vaak vormen API's de scheiding tussen verschillende lagen van abstractie, zodat applicaties op een hoog niveau van abstractie kunnen werken en het minder abstracte werk uitbesteden aan andere programma's.
Codelijst: een lijst met categorieën van bij elkaar behorende antwoorden of waarnemingen
Cookie: een hoeveelheid data die een server naar de browser stuurt met de bedoeling dat deze opgeslagen wordt en bij een volgend bezoek weer naar de server teruggestuurd wordt. Zo kan de server de browser opnieuw herkennen en bijhouden wat de gebruiker in het verleden heeft gedaan.
Dashboard: een applicatie waarmee een aantal mini-applicaties beheerd kunnen worden.
Datacollectie: het op gestructureerde wijze verzamelen en vastleggen van data.
Digital Analytics/Web Analytics: het meten, verzamelen, analyseren en rapporteren van passief verkregen internet gegevens met als doel het begrijpen en optimaliseren van webgebruik alsmede het verkrijgen van een beeld van en daarmee inzicht in het gedrag van webgebruikers.
Discontinuïteit in datacollectie: onverwachte gebeurtenissen die er toe leiden dat de datacollectie al dan niet tijdelijk verstoord wordt.
Flat File: een eenvoudige gegevensdatabase, veelal in de vorm van een tabel, waarbij alle elementen in dezelfde kolom gelijksoortige waarden bevatten, terwijl alle
elementen van een rij aan elkaar gerelateerd zijn.
Interne audit: het periodiek, met behulp van daartoe getrainde eigen medewerkers steekproefsgewijs nagaan of projecten binnen de eigen organisatie daadwerkelijk zijn uitgevoerd in overeenstemming met de beschreven werkwijze.
Kwaliteitsmanager: persoon die verantwoordelijk is voor het formuleren van kwaliteitseisen binnen een organisatie en voor de procedures en metingen gericht op het doorvoeren van kwaliteitscontroles.
Masking: het afschermen van informatie tegen ongeautoriseerde real-time toegang tot data.
Onderaannemer: bedrijf dat diensten en/of gegevens, verkregen door digital analytics, aan een onderzoekorganisatie levert. Het gaat hierbij om diensten en/of gegevens die op een specifiek project van de onderzoeksorganisatie betrekking hebben en door hun wijze van uitvoering en/of oplevering effect kunnen hebben op het kwaliteitsniveau van dat specifieke project.
Onderzoekorganisatie: een bedrijf dat gegevens levert die verworven zijn door middel van digital analytics.
Opdrachtgever: een persoon of bedrijf dat een opdracht m.b.t. digital analytics verstrekt aan een onderzoeksbureau.
Opt-in: Een methode waarbij een uitgenodigde persoon iets moet doen om mee te doen, bijvoorbeeld per e-mail toestemming geven voor deelname.
Page View: het aantal keren dat een webpagina bekeken is
Passieve Datacollectie: vergaring van onderzoeksgegevens zonder dat deonderzochte persoon daar bewust van op de hoogte is, of dient te zijn.
Pilot: kleinschalige toets om te controleren of een gekozen aanpak werk alvorens deze grootschalig wordt ingezet
Real-time/near realtime rapportage: rapportage van gegevens gelijktijdig met het moment waarop de gegevens vergaard worden: de resultaten zijn al voorafgaand
aan de rapportage zichtbaar.
Ruis: een verzamelnaam voor alle storingen die binnen de communicatie kunnen optreden. Er kan onderscheid worden gemaakt tussen interne ruis (de ontvanger
geeft een andere betekenis aan de boodschap dan door de zender bedoeld is) en externe ruis (de ontvanger mist een gedeelte van de boodschap).
Sentiment: de stemming op social media wanneer er over een persoon of bedrijf gesproken wordt. (Voorbeelden: is men positief over een merk of een bepaald
persoon? Functioneert een organisatie op de juiste manier? Gaat een organisatie goed met haar klanten om?). Door filtering kan een balans tussen positief en negatief
sentiment opgemaakt worden.
Skewness Effect: vertekeningen in door digitale analyse verkregen gegevens.
Social Media/Social Network: verzamelnaam voor online platformen waar gebruikers/deelnemers de inhoud verzorgen en waar dialoog en interactie plaatsvindt
tussen de gebruikers/deelnemers.
Tool: software of een ander hulpmiddel dat gebruikt kan worden bij digital analyse Unique Device: een apparaat waarmee men een website of social network bezoekt.
Dit verschilt van een ‘unique visitor’ in die zin dat meerdere unique devices samen één unique visitor kunnen vormen (meerdere apparaten vanuit hetzelfde IP-adres).
Unieke bezoeker/unique visitor: persoon die binnen een bepaalde periode een of meer bezoeken aan een specifieke website heeft gebracht.
Weging/herweging: rekenkundig proces waarbij verschillende eenheden of subgroepen worden her berekend door toekenning van numerieke waarden waar dat
noodzakelijk is voor het corrigeren en/of verbeteren van de representativiteit van de bevindingen van een analyse.

Bijlage 2: Samenvatting van de belangrijkste eisen die ISO 20252:2012 stelt aan actieve datacollectie  (nog beschrijven)

Voor vragen kunt u terecht bij het MOA Team

evelop

T: 020-5810710
E: info@moaweb.nl