Nogle tests er lette at analysere. Foretrækker kunderne Surström eller tun? Måske kender vi allerede svaret før vi har undersøgt det nærmere, og har blot behov for at underbygge vores teori. Eller også peger data i én retning.

Men nogle tests er sværere at analysere på.

Når data ikke viser en sikker vinder, benytter forskere og analytikere en såkaldt statistisk signifikansberegner for at vurdere om deres fund er valide. Men når vi bruger termet “statistisk signifikant”, hvad mener vi så egentlig?

Den akademiske definition af statistisk signifikans fokuserer på hvor pålidelig en statistik er.

Den mest almindelige måde at vurdere pålideligheden på, er ved at bruge en metode kaldet konfidensinterval.

Et konfidensinterval på 95% betyder, at hvis man gentager en test, så vil det fundne resultat være rigtigt i 95% af tilfældene.

Afhængig af hvad man analyserer på, vil det være meget forskelligt hvilket konfidensintervaltal man vil være tryg ved. Men, hvornår har du sidst været 95% sikker på at noget var sandt i forretningssammenhæng?

Hvad er din risikotolerence i marketingssammenhæng?

Lad os prøve at få sat alt dette i perspektiv, og teste din risikovillighed.

1. Hvis du er 95% sikker på, at en ændring af skabelonen i dine emails ville føre til flere andengangskøbere, ville du så lave ændringen?

2. Hvis du er 75% sikker på, at hvis du bruger en bestemt reklame, så øger du antallet af transaktioner, ville du så bruge reklamen?

3. Hvis du er 60% sikker på at en ændring af din hjemmeside vil give dig flere kunder, ville du så lave ændringen?

Du sagde formodentlig ja til de to første, og mange ville nok sige ja til alle tre. Betyder det så at du er en løs kanon, der er ligeglad med at tage ansvarlige beslutninger?

Tværtimod.

To forskellige verdener: Akademisk eller Forretningsorienteret

For et par år deltog jeg i et webinar om virksomhedsstatistik. Underviseren blev spurgt “Hvilket tal skal jeg sigte efter som konfidensinterval for at kunne træffe gode forretningsbeslutninger?” Hans svar var, at der er forskel på business og akademiske beregninger, da der i hver beslutning er penge på spil.

Han sagde: ”Vi sigter efter et højt konfidensinterval da vores succes afhænger af at kunne bevise en pointe. Hvis du i forretningssammenhæng fortæller mig, at vi har 51% større sandsynlighed for succes med mulighed A i forhold til mulighed B, så er jeg mere tilbøjelig til at ville foretrække mulighed A.

Hans pointe var, at forståelse af sandsynligheder og statistik omkring sandsynligheden for succes, gør det muligt for os at tage kalkulerede risici.

Hvis du har 75% chance for at tjene en million, og 25% chance for at miste 1000 kr. så vil du formodentlig være klar til at løbe den risiko.

Men hvis du har 55% chance for at tjene en million, men 45% chance for at tabe en million, så vil du formentligt være mere tøvende for at tage chancen.

Konfidensintervaller og statistik er stærke værktøjer til at forbedre din beslutningsproces, men du skal selv finde et tal du er tryg ved ud fra din position, og dermed hvad din risikovillighed er.

Hvis der er høj risiko og lav gevinst skal du være påpasselig, men hvis der er lav risiko og høj gevinst er det måske værd at tage chancen.

Hvad kan man bruge konfidensintervaller til?

Virksomheder kan bruge statistik til at estimere, eller forudsige, fremtidige begivenheder. Et vigtigt redskab for virksomhedsstatistik er konfidensintervaller, som hjælper en virksomhed med at evaluere hvor pålideligt et givent estimat er. Da ingen estimater kan være 100% procent nøjagtige, bliver en virksomhed nødt til at vide, hvor sikre de kan være på et estimat, og i forlængelse af dette, om de skal agere på det eller ej.

Statistisk sandsynlighed

I statistik giver et konfidensinterval den procentvise sandsynlighed for, at et estimeret interval af mulige værdier rent faktisk inkluderer den faktiske værdi, der estimeres.

Eksempelvis kunne en virksomhed estimere, at en maskine bruger 5 kg plastik for hver enhed de producerer. Men, hvis de ikke kan garantere, at maskinen bruger præcis 5 kg. pr enhed, kan man lave et konfidensinterval som giver én en række muligheder.

Firmaet kan måske lave en forudsigelse, som siger at der er 95% chance for at maskinen vil bruge mellem 4,8 kg og 5,2 kg plastik for at producere en enhed. Konfidensintervallet ville i dette tilfælde være på 95%.

Risikostyring

Da det er umuligt at forudsige en fremtidig begivenhed med 100% nøjagtighed, bruger virksomheder konfidensintervaller til at være på forkant med risici. Et eksempel kunne være, at en virksomhed er 95% sikker på at deres salg i den næste salgsperiode vil være mellem 5.000 og 6.000 enheder. Her er der stadig 5% chance for, at de vil ende på et tal, som er højere eller lavere end det angivne. Ved at være opmærksomme på, hvor stor risiko der er for, at en given afsætning kan blive til virkelighed.

Markedsanalyse

Når en virksomhed skal forudsige budgettet for den næste regnskabsperiode, skal den både forudsige indtægter og omkostninger. Hvis et firma i høj grad har skudt forbi målet i det ene eller andet estimat, så kan firmaet hurtigt komme på dybt vand. Ved at bruge en række mulige værdier for indtægter og udgifter, og derfra finde konfidensintervallet for disse værdier, kan et firma finde frem til den information de har brug for, for at kunne træffe vigtige finansielle beslutninger, mens man stadig kan forberede sig på at det muligvis ikke er det reelle resultat.