Hvad er en virkningsevaluering?
En virkningsevaluering er en evalueringstilgang, som undersøger ’hvad der virker, for hvem, hvorfor og under hvilke omstændigheder’. Virkningsevalueringen indeholder både elementer fra målopfyldelsesevalueringen (er målene nået?) og fra procesevalueringen (hvordan er sammenhængen mellem det man gør, og det, der sker?).
Etablerer en kommune fx et kulturhus i et gammelt hotel, undersøger virkningsevalueringen ikke kun, om der kommer mere liv i bymidten, men også, hvordan kulturhuset bidrager til livet i bymidten.
Et vigtigt element i virkningsevalueringen er at skabe dokumentation for virkekæder (kausaliteter), og at undersøge, hvordan disse virkekæder virker i og påvirkes af konkrete kontekster. Fx giver et kulturhus forskellige resultater afhængig af husets placering i byen, dets indretning, udstyr og historie, byens øvrige geografi og samlingspunkter, lokal opbakning, adgangsregler mm.
En virkningsevaluering undersøger således ikke kun, om et kulturhus er en god måde at skabe mere byliv, men hvordan og på hvilken måde kulturhuset kan skabe mere liv. Sidstnævnte del af evalueringen er væsentlig, idet den kan give viden, som kan bruges af andre, som ønsker at etablere et kulturhus som middel til at skabe mere liv i bymidten.
En virkningsevaluering baseres på en forandringsteori
En virkningsevaluering tager udgangspunkt i en forandringsteori, som beskriver sammenhængen mellem indsatsens aktiviteter og mål. En forandringsteori er en teori om, hvilken forandring indsatsen resulterer i, og hvordan, og den baseres på den bedst tilgængelig viden om indsatsens virkning og mål. Jo bedre underbygget denne teori er, jo bedre kan den anvendes til at styre evalueringen. Det er derfor en fordel at inddrage forskellige perspektiver, tidligere undersøgelser og erfaringer og forskning på området.
Hvis man fx har en formodning om, at en skaterpark vil tiltrække unge til byens centrum, er det en god ide at finde empirisk belæg for den teori, fx ved at spørge de unge selv, søge erfaringer fra andre kommuner, konsultere forskningen mm.
En forandringsteori anvendes for at fastlægge evalueringens fokus, opstille undersøgelsesspørgsmål og udpege indikatorer og datakilder. Men den bør også anvendes aktivt ved løbende at måle, om der sker den udvikling, man havde forventet, så man kan justere indsatsen og forandringsteorien ud fra denne nye viden. Forandringsteorier er desuden velegnet til at give et samlet overblik, som kan være projektdeltagernes fælles udgangspunkt for planlægning, diskussion og løbende justering af en indsats.
Eksempel på simpel forandringsteori:
Målet i eksemplet er at skabe mere liv i bymidten ved at etablere en skaterpark. Teorien er, at den vil tiltrække flere unge til byen, som vil bruge cafeer og butikker i gågaden, hvormed målet om mere liv i bymidten realiseres. Finder man fx ud af, at de unge kun bruger skaterbanen om aftenen og uden for butikkernes åbningstid, skal forandringsteorien og indsatsen justeres, så forandringskæden igen holder. Eller indsatsen (og forandringsteorien) skal laves helt om. Måske skal butikkerne have åbent, når de unge bruger banen, eller det skal sikres, at de unge bruger banen, mens butikkerne har åbent.
I en virkningsevaluering stilles to grundlæggende spørgsmål; blev indsatsen gennemført i overensstemmelse med forandringsteorien (gjorde man som man skulle), og blev forandringsteoriens mål og skidt på vejen realiseret (skete det, der skulle ske)? Ved at undersøge både implementeringen og resultaterne kan man foretage en analyse af sammenhængen imellem disse.
Der formuleres en række evalueringsspørgsmål
Nedenstående forandringsteori viser en sammenhæng mellem indsatserne A-E og målene 1 og 2. De forskellige aktiviteter bidrager på forskellig vis til, at de to mål opnås. Der er en række skridt på vejen, som indsatserne skal medføre, inden målene realiseres.
Forandringsteorien viser, at mange ting skal lykkes for at indsatsen kommer i mål, men også, at de forskellige aktiviteter støtter hinanden på kryds og tværs. Hvis indsats C ikke bliver iværksat, og skridt 2 derfor ikke sker, så vil indsats D og E begge øge sandsynligheden for, at skridt 6 alligevel sker. Og selvom skridt 6 ikke skulle ske, så afhænger mål 2 ikke udelukkende af dette skridt, her hjælper skridt 7 også til.
De grønne cirkler viser, hvor man har besluttet at lægge evalueringens fokus. Man kan ikke undersøge alt, så der er dele af forandringsteorien, der ikke kan eller skal undersøges. I ovenstående eksempel har man valgt at fokusere på den øverste forandringslinje. Man vil her undersøge, om indsats A og B iværksættes, og man vil se, om skridt 1 sker. Man har fravalgt at se på skridt 5, men man vil se, om skridt 6 sker, og om de to mål realiseres.
I eksemplet har man derfor nedenstående seks evalueringsspørgsmål:
- Bliver indsats A gennemført som planlagt?
- Bliver indsats B gennemført som planlagt?
- Sker skridt 1 som forventet?
- Sker skridt 6 som forventet?
- Realiseres mål 1?
- Realiseres mål 2?
Evalueringsspørgsmålene er formuleret som ’ja/nej’-spørgsmål, men i et virkeligt design ville de være formuleret som ’hvordan’, ’i hvilket omfang’ osv.
Der fokuseres på virkesammenhænge
I den basale form for virkningsevaluering fokuseres der på aktiviteterne og målene i indsatsens forandringsteori. ’Virkning’ i en virkningsevaluering har imidlertid også en anden betydning end ’resultat’, nemlig sammenhængen mellem indsats og resultat (kausalitet). Man konstaterer, om en indsats har de ønskede resultater (’virker den?’), og man spørger ’hvordan virker den?’. Man er nødt til at nærstudere sammenhængene for at finde ud af, hvordan de virker. I en virkningsevaluering fokuserer man derfor på pilene imellem boksene, og spørger fx; ’hvordan, for hvem og under hvilke omstændigheder fører fx indsats A til skridt 1’.
Det spørgsmål afslører også, at vi nu arbejder med kontekster for virkning. I en naturvidenskabelig sammenhæng arbejder man med begrebet ’alt andet lige’, hvor man har elimineret ydre påvirkninger af det, man studerer (fx vind, temperatursvingninger, bakterier, lys osv.), men det er hverken muligt eller ønskeligt, når man studerer mennesker, der interagerer med hinanden og byen. Her har konteksten en afgørende indflydelse på indsatsen, og det, der virker i Rønne virker ikke i Grindsted. For at få viden om, hvorvidt fx etableringen af et kulturhus er et virksomt middel til udvikling af bymidter, er vi nødt til at vide, hvordan omverdenen og lokale kontekster modererer kulturhuset som virkemiddel, så man kan medregne de forhold i sin planlægning.
De blå cirkler i den nedenstående forandringsteori viser et fokus på spørgsmålet om virkesammenhænge:
Her har man tilføjet to nye evalueringsspørgsmål:
- a) På hvilken måde og under hvilke omstændigheder medfører indsats A skridt 1?
- b) På hvilken måde og under hvilke omstændigheder resulterer skridt 6 i mål 2?
I undersøgelsen af virkesammenhænge er det oplagt at fokusere på de sammenhænge, som er centrale for forandringsteorien, og hvor der ligger den største mulighed for læring.
Virksomme mekanismer og kontekster
Når man stiller spørgsmålet ’på hvilken måde’ noget virker, omtales det i evalueringslitteraturen som virksomme mekanismer. Dvs. dét i indsatsen, som er grunden til, at det virker. Hvis den virksomme mekanisme ikke er til stede, betyder det, at indsatsen ikke virker. Der kan være mange virksomme mekanismer i en indsats, som tilsammen gør, at indsatsen er virksom.
Et klassisk eksempel på en virksom mekanisme er batteriet i et ur. Batteriet er afgørende for, at uret går. Der er også andre virksomme mekanismer i et ur, uden hvilke uret ikke virker korrekt fx viserne, tandhjul osv. Kontekst handler derimod om, at hvis man mangler lys, ikke kan klokken, hvis uret er for langt væk eller ærmet falder ned over uret, så når man ikke målet om at vide, hvad klokken er. Selvom uret virker, som det skal.
I eksemplet med et kulturhus, der skal skabe mere liv i bymidten, kunne virksomme mekanismer og kontekst beskrives som:
- De virksomme mekanismer er forhold, der sikrer, at kulturhuset virker som det skal: Kulturhuset bemandes af venlige og engagerede medarbejdere, der er afsat ressourcer nok, der er pænt og rent, cafeens kaffe smager godt, der er nok nye bøger i biblioteket osv.
- Konteksten er de forhold, der påvirker, hvorvidt kulturhuset har den virkning, man ønskede: Der er byggelarm uden for, det gamle bibliotek tiltrækker stadig flest besøgende, nabobyen har et bedre kulturhus m.fl.
Operationalisering af evalueringsspørgsmål
For hvert evalueringsspørgsmål opstilles en eller flere indikatorer og datakilder, der kan belyse indikatoren. Endvidere beskrives metode til dataindsamling, samt tidspunkt for dataindsamling og analyse.
Figuren herunder illustrerer sammenhængen mellem spørgsmål, indikatorer og datakilder:
Formulering af indikatorer
Indikatorer er forhold, der kan sige noget om evalueringsspørgsmålet: Hvilke tegn skal man lede efter, for at besvare evalueringsspørgsmålet? Hvad skal være tilfældet for, at vi fx ved, at delmålet om, at ’biblioteket er velbesøgt’, er nået? Der kan være flere indikatorer for hvert spørgsmål, fx at ’brugerne af biblioteket er tilfredse med udvalget af bøger’, at ’der kommer mange besøgende’ og at ’de besøgende bliver længe’.
Ift. valget af indikatorer, skal man gøre sig overvejelser om validitet. Siger indikatoren rent faktisk noget om evalueringsspørgsmålet, dvs. er den gyldig/valid? Kan brugerne af biblioteket fx være tilfredse med udvalget af bøger, men stadig ikke bruge det særligt ofte?
Indikatorer kan handle om antal, omfang og andre kvantificerbare forhold og/eller om holdninger, meninger, oplevelser, som ikke er kvantificerbare, men som skal undersøges kvalitativt. Det er ofte i de kvalitative indikatorer, der ligger information om virkning og årsagssammenhænge.
Indikatorer og tegn er det, man ser på for at besvare evalueringsspørgsmålet. I opstillingen af indikatorer beskrives ikke, hvad grænserne er for, om det, man har nået er ’godt nok’, eller om indsatsen har været en succes. Evalueringer kan godt indeholde succeskriterier, men arbejdet hermed er noget, der finder sted i den analytiske del af evalueringen, efter man har samlet data ind og skal bruge dem til at sige noget om indikatorerne.
Eksempel:
- Evalueringsspørgsmål: Er der kommet mere liv i bymidten?
- Indikator: Antallet af gående gennem hovedgaden
- Data: Automatisk optælling via teledata
Spørgsmålet om succeskriterier er derimod relevant, når man skal afgøre, om antallet af fodgængere er øget i en tilfredsstillende grad. Hvor mange flere er godt nok? Indikatoren skal ikke indeholde kriterierne for succes, den er blot en markør for, hvor opmærksomheden skal rettes hen, når vi ønsker at besvare evalueringsspørgsmålet. Om udviklingen i livet i bymidten har været tilfredsstilende eller ej, er ofte et spørgsmål, der først besvares til sidst i analysen, når man tager alle datakilder med i betragtning. Det skal tilføjes, at meget konkrete succeskriterier (fx fordobling af antallet af fodgængere) kan være begrænsende i en virkningsevaluering, hvor formålet også er at lære noget om, hvordan og under hvilke betingelser de forskellige tiltag virker.
Fastlæggelse af datakilder og -indsamling
For hver indikator beskrives, hvilke data, der kan belyse den. Der kan være flere datakilder for hver indikator, og de kan være kvalitative eller kvantitative. Et stærkt data-setup vil ofte indeholde både kvalitative og kvantitative kilder til belysning af samme indikator.
Vejledende spørgsmål er: Hvordan kan vi undersøge indikatoren? Hvordan kan vi finde ud af, om de besøgende er tilfredse med udvalget af bøger, hvor mange der kommer, og hvor længe de bliver? Føres der i forvejen regnskab med de ting, eller skal vi selv samle data ind? Hvordan kan man fx finde ud af, hvor længe de besøgene bliver på biblioteket? Skal man bede de besøgene om at tjekke ind og ud ved døren vha. deres sygesikringskort eller skal man lave stikprøver ved døren, hvor man spørger folk, hvor længe de har været der?
For hver datakilde beskrives også omfanget af data, og hvordan data rent praktisk samles ind. Fx ’gennemførsel af 20 semistrukturerede interviews med fokus på xx og yy’ eller ’stikprøver ved døren hver dag kl. 15-17 i en uge’.
Ved valg af datakilder, skal man gøre sig overvejelser om reliabilitet (pålidelighed). Dvs. hvor gode er datakilderne til at sige noget om indikatoren, og hvor kan der være fejl? Fx ift. ideen om at de besøgene tjekker ind og ud; hvor mange undlader det? Eller stikprøven; hvor stor andel af de besøgene er det muligt at tale med, hvornår gør man det og er stikprøven så retvisende?
Tidsplan for dataindsamling og analyse
For hver datakilde beskrives, hvornår data indsamles og hvornår de analyseres, og dermed hvornår der foreligger brugbar viden, som kan indgå i undersøgelsen af indikatoren og besvarelse af evalueringsspørgsmål. Der kan fx laves de ovenfor nævnte stikprøver, når biblioteket har været åbent i fire uger og igen efter 6 og 12 måneder. Den frekvens gør, at man efter 6 måneder vil kunne lave en foreløbig analyse, hvor man sammenligner de to første stikprøver, og dermed har en kilde, der kan indgå i undersøgelsen af en indikator og dermed evalueringsspørgsmålet. Efter 12 måneder har man mulighed for at lave en endnu stærkere analyse, da man nu har tre datapunkter.
Særligt kvantitativ data kan også indsamles løbende, fx ved at en ansat i kulturhuset løbende registrerer dagligt antal besøgende, antal arrangementer osv. Eller at der for hvert arrangement gennemføres en survey med deltagerne. Opsamling på og analyse af de data kan ske ved jævnlige nedslag, fx op til et årligt styregruppemøder eller kvartalsvise møder i en projektgruppe.