Med den rette dokumentation kan vi

Og sidst men ikke mindst få bekræftet, at vi gør en forskel og det er umagen værd.

Når man bruger en konsistent evalueringsmetode mellem lignende workshops, kan man sammenligne dem over tid og se, hvor der er behov for tilpasning for at højne tilfredsheden hos deltagerne.

Hvad skal du være opmærksom på?

Når du planlægger et kursus, workshop, et modul eller en anden form for undervisning skal du sætte mål. Du skal definere, hvad dit udbytte skal være (hvad du vil producere) og formålet (hvilken forskel du håber at skabe) med workshoppen.

Du skal som minimum gøre dig nogle får tanker når vil gennemføre effektmålingen, da dine mål er afgørende for om du kommer til at være tilfreds med din workshop eller ej.

Det kan eksempelvis være:

Den enkleste måde at sætte mål på, er at spørge deltagerne om, hvad de håber på at få ud af din workshop.

Du har garanteret en leder, en organisation, en kunde, Regionen eller dig selv at afrapportere til efter endt kursus, og derfor kan du lave den ultimative liste over mål ved at kombinere dine leders mål, dine mål og dine deltageres mål når du udformer dit spørgeskema til at lave effektmåling.

Vær realistisk når du skal sætter mål for effektmåling

Det er vigtigt, at du er ikke giver efter for din leders pres eller dine egne skyhøje forventninger. Når du skal lave effektmåling efter dit kursus eller workshop nytter det ikke noget, at målet er, at deltagerne taler flydende tysk, kommet på den anden side af deres ordblindhed eller blevet fuldt ud IT kyndige efter 2 kursusdage.

Du skal huske at overveje antallet af deltagere (er der mulighed 1 til 1 sparring med deltagerne), længden af workshoppen, stedet workshoppen bliver afholdt (online eller personlig), prisen for den enkelte deltager, ressourcerne i din organisation og om workshoppen består af ét modul eller en række af moduler.

Man skal ikke forvente samme effekt efter dine deltagere har gennemført 1 times online workshop, som 1 times betalt workshop med en underviser – men det ved du selvfølgelig først, efter du har målt effekten af din workshop.

Brug den rigtige metode til effektmåling

Spørgeskemaer er en helt essentiel del af at evaluere på en workshop eller kursus. De kan være en del af informationsopsamlingen før deltagerne kommer (fx under registreringen), til workshoppen, efter workshoppen (som feedback) og meget længere tid efter workshoppen for at følge op på de længerevarende effekter af kurset.

Kvalitativ vs. Kvantitativ

Der er to typer måder at lave undersøgelser på: Kvalitativ og kvantitativ. Kvantitative undersøgelser bliver som regel besvaret af mange respondenter og har lukkede svarmuligheder. Her bruger man ofte en lineær skala, meget utilfreds til meget tilfreds, til at indikere hvor tilfreds en deltager har været.

Kvalitative undersøgelser er mere åbne, og svaret kan bruges til at formulere hypoteser. De kan guide dig til, hvilke former for kvantitative spørgsmål du kan spørge om i fremtiden. De kan hjælpe dig med at finde ud af, hvilke områder dine nuværende spørgsmål ikke dækker.

En af de mest almindelige måder at evaluere på, hvor effektivt et undervisningsforløb har været, er ved at lade deltagerne svare på en række spørgsmål.

Et spørgeskema er den simpleste, hurtigste og billigste måde at finde ud af om deltagerne synes de havde de bedste forudsætninger for at kunne få mest muligt ud af den undervisning de har modtaget.

Konceptet om at lade deltagere evaluere på et forløb blev introduceret af Don Kirkpatrick i 1959 og hans tilgang er blevet kendt som “Kirkpatricks undervisningsevalueringsmodel” og er en omfattende måde at se på, hvor effektiv et givent undervisningsforløb har været.

Niveau 1 – Kendt som “deltagerreaktioner”.

Dette niveau prøver at undersøge om et undervisningsprogram har haft de rigtige rammer i forhold til at give undervisningen de bedste forudsætninger. Dette niveau bruges til at få en indikation om hvorvidt deltagerne har haft rammerne til at modtage læring.

Den egentlige læring bliver dog først vurderet i niveau 2.

Spørgeskemaer er populære, da de er lette at oprette, lette at få sendt ud, og de har en høj respons- og gennemførselsrate.

Niveau 2 og 3 spørgsmål er også relativt lette at oprette, men tager lidt længere tid at formulere end niveau 1 spørgsmål, da niveau 1 spørgsmål kan være mere generiske og kan bruges til de fleste undervisningsforløb, hvorimod niveau 2 og 3 spørgsmål er mere specifikke for den enkelte situation.

Spørgeskemaer er en pålidelig og effektiv måde at få en indsigt i deltagernes reaktioner på ting som:

• Det overordnede undervisningsforløb

• Undervisningsmetoderne

• Kursets undervisere

• Hvordan kurset er tilrettelagt

• Undervisningslokalerne

Deltagernes svar på spørgeskemaer kan hjælpe med at danne et billede af, hvor effektivt kurset har været. Man kan også afdække områder som ikke har fungeret optimalt, eller som har fungeret rigtig godt. Man kan så efterfølgende bruge disse udtalelser til at optimere fremtidige kurser.

Et spørgeskema kan give værdifulde data om, hvordan deltagerne har reageret på undervisningen. Den kan hjælpe med at identificere ting såsom:

• Hvilke kurser var populære, og havde dermed et højt deltagerantal?

• Hvilke undervisere og kursusudbydere er mest vellidte?

• Var der noget som stod i vejen i vejen for læring?

• Var der noget som indikerede hvordan man kunne forbedre undervisningen fremover?

• Var der nogle områder hvor undervisningen ikke var optimal?

.

Nogle mener, at fordi deltagerne ikke kan forholde sig fuldstændigt objektive, er de ikke en pålidelig kilde til at fortælle om, og evaluere på, hvor effektivt et undervisningsforløb har været. Dette er en relevant kritik, men må ses i lyset af, at mennesker er individuelle, og derfor vil de ikke være objektive, når de bliver bedt om deres mening.

Kirkpatricks model har eksempelvis 4 niveauer:

• Niveau 1 – Reaktion

• Niveau 2 – Læring

• Niveau 3 – Adfærd

• Niveau 4 – Resultater

Når man kigger på besvarelserne af en niveau 1 evaluering, har man brug for at kigge på disse resultater sammen med niveau 2 (lærings)data.

Hvis niveau 2 evalueringerne indikerer, at deltagerne ikke har lært det som de ønsker, vil niveau 1 delen fortælle os hvilke områder som deltagerne fandt utilstrækkelige. Dette vil kunne hjælpe dig med at rette op på de områder til fremtidige kurser.

En mere specifik kritik af evalueringsskemaer blev rejst af researcheren Michael Gessler i 2009. Mens han arbejdede for Bremen Universitets afdeling for teknologi og læring, prøvede Gessler, Kirkpatricks metode af på 43 forskellige kurser.

Han fandt ingen sammenhæng mellem reaktionerne (niveau 1) og læringen (niveau 2). Hvorfor? Fordi der kan være en lang række grunde til at de adspurgte kan reagere positivt eller negativt i en undervisningssituation. Gesslers empiriske undersøgelse viste at disse faktorer ikke nødvendigvis har noget at gøre med om de har opnået den ønskede læring.

For eksempel kan en underviser være meget oppe på dupperne og et højt energiniveau være bedre til at fastholde deltagerens opmærksomhed, og det vil være med til at give underviseren bedre karakterer, om man vil, i en undersøgelse, upåagtet om de har formidlet undervisningsmaterialet til deltagerne eller ej.

Ifølge Gessler mangler der stadig noget udvikling indenfor dette felt. Men han udtaler, at det er nødvendigt at lave yderligere research og at forskningen er vigtig for alle der vil lave et spørgeskema. Det understreger vigtigheden af, at stille de rigtige spørgsmål indenfor de rette områder.

1. Hvad var afholderens forventninger til undervisningen?

I de fleste tilfælde vil det være ledelsen som beslutter sig for at implementere undervisningen. Hvilke forventninger havde de?

2. Hvad var målet med undervisningen?

Hvert undervisningsforløb skal arbejde hen imod bestemte mål. De spørgsmål du stiller i en niveau 1 evaluering skal afspejle sig i disse mål.

3. Hvad er målet med evalueringen?

For at lave et succesfuldt spørgeskema må du lave nogle mål for evalueringen. Hvad prøver du at evaluere på, og hvorfor?

Færdiglavede skabeloner med spørgsmål kan hjælpe dig i gang, men du bliver sandsynligvis også nødt til at skrive dine egne spørgsmål for at få svar på lige præcis det du, og din virksomhed vil have svar på.

Hvad er gode spørgsmål?

Gode spørgsmål er spørgsmål som

• Tager udgangspunkt i de forventninger som afholderen har.

• Tager udgangspunkt i de mål der var for undervisningen.

• Antallet af spørgsmål skal være afbalanceret, så man får så mange til at svare på dem som muligt

• Har et klart sprog

• Har ikke nogen forudindtagede holdninger

• Giver mulighed for at brugeren kan komme med et ærligt svar. (give flere svarmuligheder, eller give brugeren mulighed for at skrive sit eget svar).

Når man skriver spørgsmålene må du ikke antage, at personen som skal svare på dem, ved hvordan de skal besvares. For at være gyldige skal hvert spørgsmål være lige til for modtageren, så de har en klar ide om hvordan de kan svare på hvert spørgsmål. Du skal også være opmærksom på etiske og moralske problemstillinger.

Selvom de specifikke spørgsmål du stiller, tager udgangspunkt i de forventninger som er opstillet på forhånd, hvilke mål der var for undervisningen og målene for evalueringen. Så er der nogle bestemte teknikker du kan bruge for at højne kvaliteten og gøre evalueringen mere brugbar.

Hav en god balance i antallet af spørgsmål.

Jo færre spørgsmål du har, jo flere vil også gennemføre besvarelsen af dem. Men jo flere spørgsmål der er, jo mere information kan du også potentielt få. Sørg for at der er en god balance.

Hold spørgsmålene korte.

Hold alle spørgsmålene korte og præcise. Undgå at bruge forkortelser og slang hvis muligt.

Hav en logisk rækkefølge på spørgsmålene.

Både kronologisk, men også i forhold til at få ja / nej spørgsmålene stillet tidligt, og lad de spørgsmål hvor der skal uddybe sig komme i slutningen.

Adskil spørgsmålene

Undgå at flette spørgsmål sammen. Et spørgsmål må ikke være afhængigt af svaret på et tidligere stillet spørgsmål, da det kan skabe forvirring. Stil hvert enkelt spørgsmål så tydeligt som muligt.

Lav en test.

Inden du sender dit spørgeskema ud er det en god ide at lave en test med en lille gruppe mennesker. Det kunne være den gruppe som har sat målene op for hvad der skal evalueres på. På den måde er man også sikker på at man er enige om de spørgsmål som stilles. 

Desuden vil det være en god ide at have et supplerende spørgsmål til sidst hvor man kan spørge om der var nogen steder de havde problemer med at forstå spørgsmålene eller om de stødte på andre problemer. Det kan give en værdifuld feedback i forhold til om man er nødt til at omformulere et spørgsmål eksempelvis.

Værktøj til effektmåling

Der er flere måder at lave effektmåling på, om det kommer meget an på, hvor meget tid og, hvor stort budget du har – og, hvad målet med effektmålingen er.

Spørgeskemaer er den mest brugte metode til at dokumentere en workshops kvalitet ved at dokumentere en effekt. Det er den, fordi den giver en organisation eller underviser et fornuftigt grundlag at træffe beslutninger ud fra eller mulighed for at arbejde videre med mere kvalitative metoder, såsom fokusgruppeinterviews eller personlige, uddybende samtaler.

Smartevaluering har igennem dialog med en række organisationer i Erhvervsfremmesystemet udviklet en evalueringsplatform, som også er et oplagt effektmålingsværktøj, der kan gøre jer i stand til at dokumentere kursers kvalitet og øge tilfredsheden blandt deltagerne.

Smartevaluering er designet til effektmåling ved hjælp af spørgeskemeaer. Se herunder, hvor enkelt det er: