Evaluering gir mulighet for læring og forbedring av tilskuddsordningen.
Hvordan ordningen skal evalueres, bør tenkes gjennom allerede når ordningen blir utredet og utformet.
En evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, en sektor eller et virkemiddel, for eksempel tilskudd.
En evaluering vil typisk dekke et bredere felt enn løpende rapportering fra tilskuddsmottakerne. Den gir en dypere analyse av sammenheng og kvalitative aspekter, og den kan ta for seg utvikling over tid.
Både departementet og tilskuddsforvalteren skal sørge for at tilskuddsordninger evalueres:
6.5 Evaluering av tilskuddsordninger
Departementet og tilskuddsforvalteren skal sørge for at det gjennomføres evalueringer for å få informasjon om tilskuddsordninger og enkeltstående tilskudd er effektive når det gjelder ressursbruk, organisering og fastsatte mål.
Frekvens og omfang av evalueringer skal ta utgangspunkt i en vurdering av risiko og vesentlighet for den enkelte tilskuddsordningen eller det enkeltstående tilskuddet, herunder hvor omfattende og viktig ordningen eller tilskuddet er, kvaliteten på og omfanget av øvrig rapportering og i hvilken grad det er mulig å beskrive de årlige resultatene. Evalueringer må vurderes i sammenheng med kravene som stilles til rapportering, jf. Pkt. 6.3.6.
Ressursene som brukes på evalueringer, skal ha et rimelig omfang i forhold til forventet nytte av informasjonen som fremkommer. Virksomheten skal sørge for at evalueringer som er gjort tilgjengelig for allmennheten, blir avlevert til Nasjonalbiblioteket i tråd med pliktavleveringslova § 4. Avlevering i henhold til pliktavleveringslova § 4 er ivaretatt ved digital avlevering eller innsamling til kudos.dfo.no. Departementet skal ved utgangen av hvert år sende Riksrevisjonen en oversikt over tilskuddsordninger som er blitt evaluert.
Evalueringsfaget er utviklet videre de senere årene. Lærings, samarbeid og helhetlig tilnærming vektlegges nå mer enn kontrollaspektet ved evalueringer.
DFØs veileder om Evaluering av statlige tilskuddsordninger fra 2007 er nyttig, men vær oppmerksom på at evalueringsfaget har endrete seg noe og bestemmelsene om økonomistyring i staten kan være oppdatert på enkelte punkter siden den gang. Det samme gjelder for Finansdepartementets Veileder til gjennomføring av evalueringer fra 2005.
Den nyeste veiledningen om evaluering finnes nå på DFØs fagsider om evaluering og styringsinformasjon:
Evaluering | DFØ (dfo.no)
5 steg på veien til god styringsinformasjon | DFØ (dfo.no)
OECDs anbefalinger og kriterier for evaluering
OECD vedtok i 2022 nye anbefalinger for bruk av evaluering i offentlig sektor. Anbefalingene er nyttige for departementer og virksomheter som ønsker å styrke egen praksis for kunnskapsbasert politikkutforming, styring og bruk av virkemidler.
OECD har i denne sammenhengen vedtatt to prinsipper og seks kriterier for evalueringer. Disse kan være til god hjelp i å velge fokus for evalueringen og å utforme evalueringsspørsmålene.
Det første prinsippet sier at måten kriteriene brukes på må være gjennomtenkt. Kriteriene må forstås og benyttes ut fra hvilken kontekst evalueringen skjer, hvilken type virkemiddel eller tiltak som evalueres og hvilke interessenter som er involvert. Ved evaluering av tilskudd vil det være nyttig å eksempelvis se til hvilke politiske prioriteringer, strategier eller handlingsplaner tilskuddsordningen støtter oppunder, og om disse er endret over tid. Det kan også være relevant å se til noen av spørsmålene som ble dekket av utredningen i forkant av tilskuddsordningen, og om forutsetningene og målene fortsatt er de samme.
Det andre prinsippet sier at det er ingen automatikk i bruken av kriteriene, men at den må henge sammen med hensikten med evalueringen. De ulike kriteriene bør vektlegges forskjellig ut fra hvorfor en evaluerer, hvilke av de tre aspektene som vektlegges og hva en ønsker å oppnå med evalueringen. De seks kriteriene kan ha ulik betydning eller gi forskjellige evalueringsspørsmål alt etter om fokuset er effekt, utforming eller forvaltning av tilskuddsordningen. Hvis en for eksempel evaluerer effekt eller utforming og ser til kriteriet kostnadseffektivitet, vil dette vanligvis peke til kostnadseffektiviteten hos tilskuddsmottakeren. Evaluerer en forvaltning av ordningen i lys av samme kriterium, vil dette normalt peke til kostnadseffektiviteten hos tilskuddsforvalteren.
- Relevans: Gjør tiltaket de riktige tingene? I hvilken grad tiltakets mål og utforming svarer til problemene som må løses eller behovene som finnes for målgruppen eller internasjonale/nasjonale institusjoner, eller til politikk og prioriteringer. Tiltaket må ses som sensitivt for endringer i behovene eller problemene.
- Koherens: Hvor godt passer tiltaket inn? Hvor godt tiltaket henger sammen med andre tiltak, virkemidler eller politikk på et område.
- Effektivitet: Når tiltaket målet? I hvilken grad mål nås eller ventes å nås, inkl. ulikheter i resultater på tvers av ulike grupper.
- Kostnadseffektivitet: Blir ressursene brukt riktig? I hvilken grad tiltaket leverer, eller sannsynligvis vil levere, resultater på en ressurseffektiv måte og til riktig tid.
- Virkning: Hvilken forskjell gjør tiltaket? I hvilken grad tiltaket har skapt, eller ventes å skape, betydelige positive eller negative, tilsiktede elle utilsiktede videre langtidseffektereffekt. Ser lenger enn de umiddelbare resultatene under effektivitet, og søker å fange opp indirekte, sekundære og mulige konsekvenser av tiltaket.
- Bærekraft: Vil resultatene vare over tid? Ser på økonomiske, sosiale, miljømessige forhold som er nødvendige for å opprettholde resultatene. Inkluderer også vurdering av robusthet, risiko og politiske avveininger.
Les mer om kriteriene: Evaluation Criteria – OECD.
Bistandskomiteen (DAC) i OECD godkjente i 2010 standarder for evaluering av internasjonalt utviklingssamarbeid. Standardene bygger på prinsippene om at evalueringer skal være upartiske, uavhengige, pålitelige og nyttige.
Hensikten med standardene er at de skal bidra til å forbedre kvaliteten på evalueringsprosesser og evalueringsprodukt. I tillegg skal standardene bidra til økt samarbeid gjennom igangsettelse av fellesevalueringer samt bruk av hverandres evalueringer.
Standardene er ikke ment å utgjøre en manual som skal følges punkt for punkt, men er tenkt å skulle tilpasses nasjonale og lokale omgivelser samt målsettingen for den enkelte evaluering.
Ting å tenke gjennom
- Tenk så tidlig som mulig, gjerne allerede i utredningen, på hvilke evalueringsspørsmål som er viktigst for den aktuelle tilskuddsordningen. Relevante spørsmål i utredningsfasen gjelder ofte også i evalueringsfasen.
- Sørg for at utformingen av tilskuddsordningen (hovedelementene og regelverket) bygger opp under evalueringen. For eksempel:
- Er målet, målgruppen og kriteriene for måloppnåelse formulert slik at ordningen kan evalueres og i tilfelle hvordan?
- Hvilke kilder er aktuelle for informasjon til evalueringen?
- Hvilken informasjon kan innhentes fra tilskuddsmottakerne gjennom årlige rapporteringskrav?
- Hva bør innhentes fra andre kilder?
- Skal noe innhentes i forbindelse med en evaluering med noen års mellomrom?
- Risikovurderinger og vesentlighet bør ligge til grunn både i valg av hvilke tilskuddsordninger som skal evalueres, og for hva som særlig skal belyses i evalueringen.
- Fokuser på læring og bruk av evalueringen: Se på evalueringen som en gylden mulighet til å lære og forbedre, ikke som kontroll av hva som er gjort riktig og galt.
- Vurder hva evalueringen skal benyttes til. Vurder i denne sammenhengen om den skal gjøres av eksterne, det kan noen ganger være viktig med et blikk utenfra i den videre bruken av evalueringen.
- Planlegg hvordan resultatene av evalueringen skal tas videre i tilskuddsforvaltningen.
- Koble evalueringen av tilskudd med relevante styringsprosesser i virksomheten og overordnede budsjettprosesser. Hovedfunnene fra evalueringen bør inkluderes i den årlige rapporteringen til departementet og Stortinget.
Eller er det noe du savner veiledning om? Send e-post til tilskudd@dfo.no