VAN ACCOUNTABILITY NAAR PREDICTABILITY
Wat zou het mooi zijn als je, voordat je met een campagne de straat op gaat, met aan zekerheid grenzende waarschijnlijkheid het resultaat kunt voorspellen. Onderzoeker en strateeg André Koster beweert dat dit mogelijk is, mits we maar willen leren van het verleden.
Door RUUD SLIERINGS
Na een doctoraal Communicatiewetenschap, Nima A,B en C, en na werk aan zowel opdrachtgeverskant (DHL, AkzoNobel) als bureaukant (PPGH-JWT, Etcetera) had André Koster het gevoel dat de effecten van marketingcommunicatie minder onvoorspelbaar zijn dan vaak wordt aangenomen.
Het was hem opgevallen dat in bedrijfstakken als industrieel design en metereologie al decennialang gebruikt wordt gemaakt van predictive modeling: het verzamelen van data uit het verleden, het vinden van patronen en het ontwikkelen van voorspellende algoritmes om die patronen te voorspellen.
Je zou denken dat een dergelijke aanpak ook voor reclame kan werken. Of is reclame is nog steeds het domein van de magie en blijft het creatieve idee de heilige graal? Maar als algoritmes voorspellen wat onze smaak in muziek is, welk boek we bij Amazon bestellen en welke track een hit wordt in Spotify, waarom zouden we het effect van reclame dan niet kunnen voorspellen?
Wetenschappelijk bewijs voor dat vermoeden was er niet, dus besloot Koster dat zelf te produceren: data verzamelen en analyseren en op basis daarvan een voorspellend model maken. Koster is zelf niet verbonden aan een universiteit, maar werkt samen met Edwin Boezeman, lecturer aan de sectie Sociale en Organisatiepsychologie van de Universiteit Leiden en John Koster, hoogleraar marketing aan Nyenrode Business Universiteit en voorzitter van Holland Consulting Group.
Startpunt voor zijn onderzoek waren 243 Effie-juryrapporten van wel- en niet-prijswinnende campagnes sinds 2004, plus aanvullend cijfermateriaal van de ingezonden cases, uitslagen van andere prijzen en online-uitingen van campagnes.
‘Al snel herkende ik terugkerende patronen in de jurering en resultaten. Er is altijd een oordeel over aspecten als doelstellingen, strategie, media-inzet, awareness, creatie, executie, budget. Die gegevens heb ik gecodeerd en als variabelen in het model opgenomen. Met achterliggende cijfers erbij is dat vrij exact te doen. Met “de awareness is licht gestegen’ kan ik niet veel. Maar als er staat: “de awareness is van 40 naar 50 procent gestegen”, kun je dat exact coderen. Hoe beter de data, des te sterker het model.’
Per campagne heeft Koster tegen de 70 variabelen benoemd; basale variabelen als sector, gewonnen prijs en wel of geen tv-inzet; maar ook gedetailleerdere data, zoals awareness, kwaliteit van de strategie, marktaandeelstijging (gerelateerd aan de competitiviteit in de markt), propositie en brand preference.
Zo’n 90 procent van die variabelen bestaat uit harde, meetbare cijfers, dit om het model zou objectief mogelijk te houden. Reclamesucces blijkt uiteindelijk goed te definiëren en te meten door een combinatie van awareness, brand preference en brand consideration-cijfers. Marktaandeel- en omzetcijfers blijken minder betrouwbaar als indicator van succes omdat er te veel andere zaken invloed op hebben, naast het effect van communicatie.
De proposities uit de 243 onderzochte cases bleken ook al snel niet 243 onderscheidende proposities te zijn, maar zijn terug te brengen tot een stuk of tien categorieën (bijvoorbeeld gericht op value-for-money, functionaliteit of kwaliteit). Waar essentiële data ontbraken, heeft Koster elders gegevens verzameld (internet, andere vakprijzen zoals de Esprix en de SAN). Zo heeft hij voor de 243 cases in totaal ruim 15.000 (geanonimiseerde) getallen gedetecteerd: ‘Ruim voldoende om wetenschappelijke conclusies te kunnen trekken.’
Stap één om op basis van deze 15.000 getallen een werkbaar voorspellend model te creëren, is de ruis er zoveel mogelijk uitgehaald. Door een multivariate regressieanalyse uit te voeren, waarin de waarde van variabelen getoetst wordt, kwam Koster erachter welke variabelen het verschil maken. Dataspecialisten van firma QNH hebben dezelfde dataset geanalyseerd aan de hand alternatieve, non-linaire analysetechnieken. De uitkomsten bleken grotendeels te matchen. Koster: ‘Dit gaf extra vertrouwen in de analyse, en we hadden direct het idee dat we dus zinvolle onderliggende patronen hadden gevonden in de data.’
Uiteindelijk resteren er twaalf variabelen die echt voorspellende waarde voor het resultaat hebben. Maar er liggen wel meer relaties aan ten grondslag dan verwacht: de analyse toont namelijk aan dat variabelen elkaar ook kunnen beïnvloeden. ‘Uit het model blijkt bijvoorbeeld dat de strategie van grotere invloed is op het succes van een campagne dan creatie. Tegelijkertijd is het zo dat de creatie een sterke strategie wel kan versterken of verprutsen, waarbij het creatieve idee meer effect heeft op het resultaat dan de executie. Zo zitten er allerlei gradaties en lagen in het model die in meer of mindere mate van invloed zijn op het resultaat.’
Uiteindelijk heeft het model een hoge fit met de data. Dit geeft aan dat het model een hoge voorspellende waarde heeft.
Het model is op zichzelf nog geen analyse tool. Want hoe ga je toekomstige campagnes scoren op de relevante variabelen in het model? Veel variabelen zijn betrouwbaar en objectief te meten bij de evaluatie van toekomstige campagnes; budgetcijfers, samenstelling van de mediamix en ook de doelstellingen zijn goed te vangen in harde cijfers.
Maar bij sommige variabelen is dat een stuk lastiger. Hoe beoordeel je bijvoorbeeld de kwaliteit van creatie? Koster: ‘Daar heb ik ander onderzoek voor gebruikt, want ik wil geen subjectieve oordelen in het model, zoals “de creatie van deze campagne komt op mij over als een zeven”. Wat een betrouwbare indicator is, is de stopping power van een campagne, door onder andere eyetracking movements. Daar zijn algoritmes voor beschikbaar die je online kunt inkopen. Zelfs voor copy geldt dat er indicaties zijn uit bestaand onderzoek waaraan het getoetst kan worden. Bevat de copy de benefit die gebaseerd is op een helder klantinzicht? Uit hoeveel woorden bestaat de heading? Uit wetenschappelijk onderzoek weten we vrij exact wat werkt en wat niet.’
Eenzelfde aanpak is gehanteerd voor de strategie. ‘Ook daar heb ik aanvullend onderzoek voor gebruikt om tot betrouwbare meetinstrumenten te komen. Zo probeer ik elke subjectieve interpretatie uit te sluiten.’
Uiteindelijk resulteren de twaalf variabelen uit het model in wel 70 subvariabelen die nodig zijn om de twaalf hoofdvariabelen betrouwbaar en valide te meten.
En zo ligt er uiteindelijk een model waarmee het succes van campagnes volgens Koster te voorspellen is. Het is wel een ‘winnaarsmodel’, de data betreffen vooral het neusje van de zalm, en zelfs de niet-prijswinnende inzendingen zijn over het algemeen van hoog niveau. Met andere woorden: als je middelmatig scoort op dit model, doe je het nog best goed. Koster had ook graag data van minder succesvolle campagnes gehad, maar die zijn zelden beschikbaar.
Neemt niet weg dat Kosters model tegelijkertijd benchmark als succesvoorspeller wil zijn. Resultaten uit het verleden bieden volgens hem nu wel degelijk een garantie voor de toekomst: ‘Je kunt de succeskans van een campagne verhogen als je meer kijkt naar het verleden. Accountability is rekenschap afleggen achteraf. Met predictability kun je onverstandige investeringen voorkomen. In veel bedrijfstakken is dat modus. Niemand maakt meer een vierkante auto, in windtunneltests is onomstotelijk bewezen dat dit niet handig is. Maar op de een of andere manier heerst in de communicatiewereld de gedachte dat het goed is om geheel blanco te beginnen.
‘Ik denk dat strategen en creatieven er verstandig aan doen wat vaker terug te kijken, naar wat wel en niet heeft gewerkt. De kans is namelijk klein dat je op een inzicht of creatief idee komt dat de afgelopen jaren niet al in enige vorm bedacht is. Je kunt dus terugvinden of jouw idee wel of niet werkt. Er wordt ook vaak met focusgroepen gewerkt. Prima, maar de resultaten van tien meningen kun je niet zomaar extrapoleren naar miljoenen Nederlanders. Dit model biedt daarop een aanvulling.
Het model is, benadrukt Koster, tegelijkertijd een campagne-analyse tool waarmee je campagnes in diverse fasen van ontwikkeling kunt toetsen aan de benchmark van het model, van briefing tot strategie, creatie en executie. ‘Dit biedt grote voordelen ten opzichte het testen van campagnemateriaal dat al bijna definitief is. Het model behoedt dus marketeers en bureaus tijd voor eventuele grote missers.
Opvallende learnings
De benchmark van Koster laat een aantal opvallende zaken zien. Zo laat het model zien dat een goede campagne begint met een effectieve strategie. Slechte strategische uitgangspunten kunnen niet meer goed worden gemaakt door creatie, hoe geweldig idee en uitvoering ook zijn. Omgekeerd bewijst het model wel dat een goede strategie versterkt of verzwakt kan worden door de kwaliteit van het creatieve idee en de uitvoering. Strategie heeft dus een rechtstreekse invloed op succes, terwijl creatie een indirecte invloed heeft op succes, via het effect van de strategie.
Ook blijkt bijvoorbeeld dat het ambitieniveau mede bepalend is voor het succes: hoe hoger de lat ligt, des te beter het resultaat. Koster kan het niet verklaren, maar het blijkt zonneklaar uit de benchmark. Verder blijkt (minder verrassend) dat consistentie een positief effect heeft op het resultaat. En weer een onverwachte conclusie: B2C campagnes die veel online middelen inzetten scoren minder goed. Koster denkt dit te kunnen verklaren uit het feit dat de inzet van online vaak ten koste gaat van traditionele massamediale inzet. De benchmark toont aan dat online media geen vervanger kunnen zijn van massamedia. Verder blijkt dat proposities die inzetten op variatie en value for money over het algemeen goed scoren en proposities die op status en premium inzetten minder goed.
Ook een mooie conclusie: de onderliggende cijfers tonen aan dat er over de jaren heen zeer consistent is gejureerd door de Effie. Of je nu kijkt naar het Juryrapport of de cijferanalyse, de uitkomsten zijn vrijwel gelijk. Maak je daarmee de Effie-jury niet overbodig? Koster: ‘Ik kan inderdaad wel behoorlijk goed voorspellen of een campagne een Effie kan winnen. Als je zonder dit model op basis van de inzendingen een voorspelling doet, heb je misschien vijftig procent goed. Met dit model kom ik tot ruim tachtig procent juiste voorspelling van prijswinnaars. Niet honderd procent, want er zit altijd ruis in. De Effie is een optelsom van veel facetten die een rol spelen in het resultaat. Het model biedt een richtlijn voor het maken van een succesvolle campagne en daarmee vergroot je ook de kans om een Effie te scoren. Het is geen handleiding voor het winnen van een Effie. Dat was ook niet mijn doel. De uitdaging is om het effect van reclame te verhogen. Door toepassing van wetenschappelijke methoden in dit geval’.
Eind van dit jaar gaat Koster in een wetenschappelijk tijdschrift zijn onderzoek publiceren (met de co-auteurs Boezeman en de andere Koster). Uiteraard wil hij zijn model daarna commercieel aanwenden: campagne-ideeën benchmarken met de ruim 240 sterke campagnes. Wellicht dat het model ook een bijdrage kan leveren aan de verdere professionalisering van het kennisinstituut Effie: ‘In de VS werken grote bedrijven met dit soort software en modellen. Maar de inzichten worden zelden gedeeld. Ik zou het leuk vinden om mijn bevindingen te delen, vooral omdat de benchmark elk jaar in kracht groeit omdat elk jaar nieuwe Effie-data oplevert. De conclusies die we kunnen trekken worden dus steeds betrouwbaarder, en daarmee het inzicht om succesvolle campagnes te ontwikkelen. Ik daag iedere adverteerder of bureau uit om het model eens te proberen om campagnes tot een hoger plan te brengen.”
