Fasene i evalueringsprosessen
En evalueringsprosess består i grove trekk av fire faser, regnet fra beslutningen om å gjennomføre evalueringen.
De fire fasene er:
- Beskrive oppdraget/oppgaven
- Planlegge
- Gjennomføre
- Følge opp
Det er tre roller i prosessen:
- Oppdragsgiver: den som utarbeider oppdragsbeskrivelsen
- Planlegger: den som på vegne av oppdragsgiveren sørger for at evalueringen planlegges og gjennomføres samt skaffer en evaluator. Planlegger bistår oppdragsgiveren i å følge opp evalueringen.
- Evaluator: den som gjennomfører evalueringen
Utarbeide oppdragsbeskrivelse og planlegge evalueringen
En evaluering bør ha en oppdragsbeskrivelse og en plan for gjennomføring, uavhengig om den skal utføres av eksterne eller interne aktører. De sentrale aspektene kan være nyttige holdepunkter for å utarbeide oppdragsbeskrivelsen. De gir også hjelp til å planlegge, strukturere og detaljere mål, evalueringskriterier og fokus for evalueringen.
De tre sentrale aspektene som nevnes i DFØs veileder om Evaluering av statlige tilskuddsordninger (2007) er effekt, utforming og forvaltning. Veilederen viser også til ytre samfunnsmessige og økonomiske forhold som kan påvirke tilskuddsordningen. Disse forholdene, sammen med tidsaspektet, bør også ses på tverrgående i evalueringen. Finansdepartementets Veileder til gjennomføring av evalueringer (2005) omtaler de samme sentrale aspektene, og gir mer veiledning om de ulike stegene i prosessen.
Hvilke effekter gir tilskuddene?
Hva skal undersøkes?
- hva som er virkningene eller nytten for målgruppen, tilskuddsmottakerne og/eller samfunnet.
- de økonomiske konsekvensene for de samme gruppene
- bieffekter
- utilsiktede konsekvenser (positive og negative)
Eksempler på spørsmål
- Er det mulig å måle måloppnåelse og effekt ut fra mål og kriterier for måloppnåelse?
- Hva er forskjellen før og etter tilskuddet?
- Hvordan opplever målgruppen at tilskuddet virker?
- Hvordan opplever tilskuddsmottakerne at tilskuddet virker?
- Hvordan ville situasjonen vært uten tilskuddet?
- Er effekten av tilskuddet i tråd med intensjonen i Stortingets vedtak av ordningen?
- Har tilskuddet hatt nytte/virkning for flere enn målgruppen?
- Har tilskuddet gått utover eller skapt skjevheter for målgruppen eller mottakerne?
Er tilskuddsforvaltningen ivaretatt på en god måte?
Hva skal undersøkes?
- aktører og roller
- regler og rutiner
- arbeidsprosesser
- system for kvalitetssikring
- system for risikovurdering
- ressursbruk
- informasjon og formidling
- styring og kontroll
- rapportering
Eksempler på spørsmål:
- Er forvaltningen av tilskuddsordningen i tråd med kravene i økonomiregelverket?
- Er forvaltningen av tilskuddsordningen i tråd med forvaltningsloven?
- Er rollene tydelig avklart mellom departement og tilskuddsforvalter?
- Har tilskuddsforvalter tilstrekkelig system for internkontroll?
- Står ressursbruken i rimelig forhold til ønskete resultater?
- Er ressursbruken effektiv og målrettet?
- Gir tilskuddsforvalteren god informasjon til søkere og tilskuddsmottakere om gjeldende krav?
- Gir rapporteringen til departementet et godt grunnlag for videre rapportering til Stortinget?
Er tilskuddsordningen godt utformet?
Hva skal undersøkes?
- historikk og bakgrunn
- innhold, formulering og presisjonsnivå for hovedelementene
- organisering
- tilskuddsmottakerne (dersom disse ikke er de samme som målgruppen)
- omfang/størrelse
- varighet
Eksempler på spørsmål:
- Er mål og kriterier for måloppnåelse presist nok formulert til å kunne brukes som styringsverktøy?
- Er målgruppen klart definert?
- Har tilskuddsforvalteren og tilskuddsmottakeren har samme forståelse av mål og effekt?
- Er det klart hvem som kan søke tilskudd og til hva?
- Er det trekk ved utformingen av ordningen som fremmer eller hemmer resultater?
- Hvordan burde ordningen vært utformet for å fremme resultater?
- Ble ordningen tilstrekkelig utredet på forhånd?
Ytre forhold og tidsaspektet
Hva skal undersøkes?
- generelle trekk ved samfunnet
- behov hos målgruppen
- politiske forhold
- administrative rammebetingelser
- økonomiske rammebetingelser
- faglig utvikling
- risiko- og vesentlighetsbildet
- samspill (eller mangel på) med andre virkemidler innen samme sektor eller for samme målgruppe
Eksempler på spørsmål:
- Hvilke ytre forhold påvirker tilskuddsordningen og ønskete resultater i størst grad?
- Har disse endret seg siden ordningen ble opprettet
- I hvilken grad støtter tilskuddsordningen opp om gjeldende strategier og handlingsplaner?
- Er utfordringene/behovene som tilskuddsordningen adresserer fortsatt like relevante?
- Støtter tilskuddsordningen tiltak som er basert på beste kunnskap og praksis?
- I hvilken grad overlapper ordningen med andre ordninger innen sektoren?
- I hvilken grad overlapper ordningen med andre virkemidler for målgruppen og /eller tilskuddsmottakerne?
Følge opp evaluering av tilskuddsordninger
Departementet og tilskuddsforvalteren bør i forkant ha tenkt gjennom hvilke mulige konsekvenser en evaluering av en tilskuddordning kan ha. Dette henger sammen med målet for eller hensikten med evalueringen. Endelig oppfølging vil oftest avhenge av hvilke funn evalueringen gjør og mulige anbefalinger som kommer frem:
- Tilskuddordningen kan videreføres som den er eller med mindre justeringer
- Det er behov for større endringer i regelverket før videreføring
- Ordningen kan avsluttes fordi den oppnår ikke ønskete resultater, andre ordninger eller virkemidler har tatt over måloppnåelsen eller målet er ikke lenger prioritert.
Hvis evalueringen medfører endringer som går utover eller synes å endre Stortingets opprinnelige vedtak, må departementet vurdere om det er nødvendig å gå tilbake Stortinget.