Planlegge og gjennomføre evalueringer

Evalueringsportefølje

Vi bruker porteføljebegrepet for å poengtere at evalueringene bør sees i sammenheng, og at det må gjøres prioriteringer ved utarbeidelse av planene. Evaluering kan være et kostbart tiltak, og det er viktig å vise hvordan slike prioriteringer er gjort.

En plan kan typisk være for de neste ett til to år og vil vise:

• status på evalueringsporteføljen fra forrige periode
• hvilke evalueringer som allerede er igangsatt og som skal videreføres
• hvilke nye evalueringer som skal igangsettes i perioden
• om det er planlagt rom for ad hoc-evalueringer i perioden
• hvilke evalueringer som planlegges sluttført i perioden.

Å lage en plan for sammensetningen av evalueringsporteføljen kan for eksempel gjøres ved at de enkelte avdelingene utarbeider forslag til hvilke evalueringer de ønsker å gjennomføre. Virksomheten må så gjøre en samlet prioritering blant disse ut fra hva som allerede pågår av evalueringsaktivitet, hva som er behovet og hvilken kapasitet virksomheten har til å gjennomføre dem. I planen beskrives hver konkrete evaluering med sammenhengen den inngår i (konteksten), begrunnelse, formål, tidsperspektiv og hvilke prosesser i virksomheten den eventuelt skal koples mot. Det er viktig at dette er en overordnet plan for gjennomføringen. I mange virksomheter vil det være behov for fleksibilitet til også å iverksette evalueringer på kort varsel, for eksempel ved uforutsette hendelser eller initiativ utenfra (politisk, media). For noen virksomheter kan det være lurt å planlegge med at det kan dukke opp behov for igangsetting av en evaluering ad hoc.

For virksomheter som bestiller mange eksterne evalueringer, kan det være en god ide å gjøre evalueringsplanen tilgjengelig for eksempel på internett. Det kan gjøre det lettere for ulike utredningsmiljøer å forberede hvilke evalueringer de ønsker å legge inn tilbud på. Økt forutsigbarhet for potensielle utførere kan bidra til å utvikle et mer velfungerende tilbydermarked.

Eksempel på plan og rutiner for prioriteringer av evalueringer i porteføljen

Norad

Utarbeider et treårig evalueringsprogram. Evalueringsprogrammet rulleres en gang iåret. Programmet beskriver hvilke evalueringer som skal gjennomføres innenfor de uliketypene, for eksempel landevalueringer, sektorevalueringer og resultatevalueringer.Norads evalueringsprogram, med beskrivelse av hver enkelt evaluerings formål og ansvarligperson i Norad, publiseres i papirformat og på deres nettsider.

Kunnskapsdepartementet

Utarbeider årlige planer for hva som skal evalueres, samt enrapport for de evalueringene som er utført siste år. Deres prosess for utarbeidelse av planenstår i retningslinjene:Avdeling for økonomi og styring skal i samråd med Controllerenheten på grunnlag av innspillfra avdelingene og egne vurderinger gi tilråding til ledermøtet om valg av emner for evaluering.Forslagene skal inneholde:

1. Begrunnelse for evalueringen, herunder risiko- og vesentlighetsvurderinger
2. Mål for evalueringen og presentasjon av problemstillinger som ønskes belyst
3. Forslag til hvem som skal gjennomføre evalueringen
4. Presentasjon av hvordan man vil følge opp evalueringsprosessen (referansegruppe,styringsgruppe, møtehyppighet etc.)
5. Tidsplan for evalueringen. Avdelingene bør tilstrebe å innrette evalueringer slik atresultatene foreligger hensiktsmessig i forhold til budsjettprosessen
6. Anslåtte kostnader og forslag til finansiering

Avdeling for økonomi og styring utarbeider i samråd med fagavdelingene og Controllerenhetenet beslutningsnotat til ledermøtet innen 31. desember som gir en samlet vurderingav forslagene og gir en tilrådning om hvilke evalueringer som skal igangsettes.

Innovasjon Norge

Utarbeider en liste over gjennomførte og pågående evalueringer, samt enprioritering og begrunnelse på sentralt nivå av hvilke evalueringer som planlegges igangsatt.Listen utarbeides på bakgrunn av en kartleggings- og prioriteringsprosess. Selve gjennomføringener delegert til de ansvarlige avdelingene. Innovasjon Norge har avsatt egne dedikertebudsjettmidler til evalueringer som fordeles etter prioriteringen på sentralt nivå.

Valg av tilnærming for den enkelte evaluering

I prosessen med å utarbeide tilnærming og oppdragsbeskrivelse for den enkelte evaluering er det en rekke avveininger som må gjøres. Her følger eksempler på spørsmål det vil være viktig å diskutere i forbindelse med denne prosessen:

• Hvilke tidsrammer og økonomiske rammer har vi for evalueringen?
• Er fokuset primært kontroll eller læring?
• Bør evalueringen utføres av interne eller eksterne ressurser?
• Er det behov for bredde- eller dybdekunnskap?
• Er temaet mulig å evaluere?
• Finnes det tilsvarende evalueringer på fagfeltet eller fra tilgrensende fagfelt i Norge eller fra utlandet?
• Hva finnes av datagrunnlag og eksisterende kunnskap? Hvilken type metodekompetanse det vil være behov for?
• Hvilke evalueringsspørsmål er det realistisk å finne svar på?
• Hvilken ekspertise finnes på området? Vil det være lett å identifisere gode potensielle evaluatorer, gitt den tilnærmingen en ønsker? Krever gjennomføringen av evalueringen for eksempel forskerkompetanse?
• Hvor stor er interessen blant berørte aktører, og hvor viktig vil det være å involvere dem tidlig i prosessen? I noen tilfeller vil slik involvering være avgjørende for muligheten for å få gjennomslag for anbefalingene i etterkant.
• Er det konkrete beslutninger som skal fattes som avhenger av evalueringen?
• Er det ønskelig og forventet at evalueringen inneholder anbefalinger, eller bør evalueringen bare inneholde konklusjoner og overlate til virksomheten selv å gi anbefalinger?

Innholdselementene i en oppdragsbeskrivelse

Dette er elementer som ofte inkluderes i en oppdragsbeskrivelse:

• Bakgrunn/kontekst/avgrensning
• Formål og mål
• Innretning, evalueringskriterier og evalueringsspørsmål
• Ansvar og roller
• Hvem har bestilt evalueringen?
• Hvem skal bruke resultatene?
• Hva skal de bruke resultatene til?
• Metode (eventuelt)
• Datagrunnlag (eventuelt)
• Tidsramme
• Ressursramme
• Organisering
• Prosess (tidsfrister, deltakelse, rapport, formidling)
• Krav til rapport, presentasjon/anbefalinger

For mer informasjon om arbeidet med enkeltevalueringer og oppdragsbeskrivelse, se DFØs sjekkliste for planlegging, gjennomføring og oppfølgning av evalueringer (2007). Når det gjelder utlysning og anskaffelsesprosessen, viser vi til informasjon på doffin.no og anskaffelser.no.

Kvalitetssikring underveis og godkjenning av rapporten

Mange virksomheter har vært opptatt av uavhengighet og avstand mellom evaluator og oppdragsgiver. Begrunnelsen for ønsket om avstand har blant annet vært å sikre objektivitet i konklusjonene. Formålet for evalueringen har da ofte vært kontroll. I dag er mange evalueringsprosesser mer preget av tett involvering og kommunikasjon, fordi læring i større grad vektlegges i prosessen.

Uavhengig av om virksomheten velger å utføre evaluering med interne eller eksterne ressurser, bør det være en klar ansvars- og rollefordeling i hele evalueringsprosessen. Begrepet evaluator brukes her både for interne og eksterne utførere av evalueringen. Kvalitetssikring av rapporten og kommunikasjon med evaluator gjelder således for begge variantene.

Spesielt ved evalueringer som utføres av eksterne er det viktig at kompetansen og læringen underveis i prosessen blir værende i virksomheten også etter at evalueringsrapporten foreligger. Det er verdifullt at oppdragsgivere eller brukeren av rapporten kan øke egen kompetanse ved å være involvert i prosessen. Dette kan gjøre oppfølgingen av evalueringsresultatene bedre. Møter og kommunikasjon underveis kan i tillegg gi begge parter fleksibilitet til å justere kursen. Det kan for eksempel være at evaluator ønsker å informere og drøfte løsninger dersom det oppdages problemer i datagrunnlaget eller at sammenhengen evalueringen inngår i endres vesentlig. Hvor mye involvering og kommunikasjon man skal ha underveis, avhenger i stor grad av om formålet med evalueringen er kontroll eller læring.

Eksempler fra arbeidet med evalueringer i utvalgte virksomheter

Eksempel på kvalitetssikringsrutiner underveis i evalueringsprosessen

Norad

Norad har alltid to personer fra evalueringsavdelingen som jobber med kvalitetssikringen av hvert evalueringsoppdrag. Ut fra mandatet vil de ha svar på følgende spørsmål:

• Er funnene og resultatene presentert ut fra de kriterier man har valgt?
• Er det forhold som bør begrunnes bedre?
• Har evaluator dekning for konklusjonene i data?
• Er språkbruken generelt for uklar og dårlig?
• Foreligger det konkrete faktafeil?

Etter å ha kvalitetssikret rapporten internt sender evalueringsavdelingen rapporten på en kommentarrunde til berørte partene. Formålet med høringen er å innhente skriftlige kommentarer på fakta, funn, konklusjoner og anbefalinger i rapporten for å synliggjøre eventuelle uenigheter og alternative tolkinger av rapporten. Innhentede synspunkt blir så oversendt til konsulentene som blir bedt om å rette opp faktafeil og ta stilling til kommentarene. I denne omgang godkjenner de ikke rapporten.

Eksempel på kvalitetssikringsrutiner for den endelige rapporten

Norad

Her er eksempel på hva Norad som bestillere ser på når de kvalitetssikrer den endelige rapporten:

• Sjekke om evaluator har tatt hensyn til eller besvart deres kommentarer til utkastet.
• Sende rapporten tilbake til evaluator for utbedring eller godkjenne den for trykking.

Evalueringsavdelingen kvalitetssikrer sine rapporter i henhold til OECD DACs standarder (OECD DAC Evaluation Quality Standards, 2006). Kvalitetssikringen legger blant annet vekt på følgende:

• Funn, konklusjoner, anbefalinger og «lessons to be learnt» skal presenteres hver for seg i rapporten.
• Hver anbefaling skal rettes mot en konkret adressat.
• Det stilles strenge krav til at informasjon ikke bare skal komme fra en type datakilde og validering av funn.
• Berørte parter og interessenter må få anledning til å tilkjennegi sitt syn på kvaliteten på dataene, analysen og vurderinger. Der det er vesentlig avvik i synet mellom evaluerings­teamet og berørte parter i forvaltningen eller samarbeidspartner, skal dette reflekteres i rapporten.
• Fremstillingen i rapporten skal være balansert og upartisk.
• Datagrunnlaget for analysen skal være etterprøvbart.
• Rapporten skal inneholde praktiske og nyttige anbefalinger rettet mot identifiserte problemer.