Følge opp tilskuddsordningen

Når tilskuddsmidlene er tildelt og rapportene er kontrollert for året, skal dere vurdere måloppnåelse for tilskuddsordningen og rapportere til overordnet departement. Departementet skal rapportere til Stortinget som grunnlag for eventuell tildeling neste år.

Både departementet og tilskuddsforvalteren har ansvar for at tilskuddsordningen blir evaluert.

Vurdere måloppnåelse for tilskuddsordningen

Å vurdere måloppnåelse innebærer å vurdere i hvilken grad målet for en tilskuddsordning er nådd. Det vil som regel være flere kilder til informasjon om måloppnåelse og sammenhengen mellom tiltak og virkning kan være kompleks.

Målet og kriteriene for måloppnåelse for tilskuddsordningen er utgangspunktet for å vurdere måloppnåelse. Se Utforme hovedelementene (lenke).

Kriteriene for måloppnåelse skal beskrive hvilken informasjon som skal innhentes for å belyse om målet for ordningen er nådd. Kriteriene vil kunne materialisere seg som rapporteringskrav overfor tilskuddsmottakerne. Rapportene fra tilskuddsmottakerne vil dermed være en av kildene til informasjon som kan belyse måloppnåelsen. Andre kilder til informasjon om måloppnåelse kan være offentlig statistikk eller evalueringer.

Bruk resultatkjeden

Det kan være nyttig å bruke resultatkjeden i arbeidet med å vurdere måloppnåelse (den er også nyttig når mål og kriterier skal utformes):

Målet for ordninger bør som regel ligge til høyre i resultatkjeden på bruker- og samfunnseffektnivå. Tilskuddsmottaker mottar typisk tilskudd til å gjennomføre aktiviteter eller levere produkter eller tjenester – som ligger mer til venstre i resultatkjeden.

Komplekse sammenhenger

Hvis det er tydelige årsakssammenhenger fra aktiviteter, produkter og tjenester til mål og effekter, vil det være relativt enkelt å vurdere måloppnåelse. Men ofte er det snakk om mer komplekse sammenhenger. Hvis målet er overordnet eller omfattende og komplekst, kan det være vanskeligere å se at aktiviteter, produkter og tjenester bidrar direkte til målet i form av effekter på bruker- og samfunnsnivå. Ofte kan også tilskuddsordningen være et av flere tiltak for å nå målet.

Det er derfor viktig å tenke på hvordan måloppnåelsen skal kunne vurderes allerede når ordningen utformes, slik at mål og kriterier for måloppnåelse innrettes slik at det blir mulig å vurdere måloppnåelsen.      

Departementet og tilskuddsforvalters ansvar

Departementet og tilskuddsforvalter har ansvar for å sikre god måloppnåelse i ordningen, både gjennom utforming av ordningen, vurdering av søknader og oppfølging av effektene. Forvalteren har vurdert søknaden og antatt på grunnlag av den at tilskuddsmottakeren vil bidra godt til måloppnåelse for ordningen For de ordningene hvor det er mye skjønn i vurderingen av søknadene, vil tilskuddsforvalter ha særlig ansvar for god måloppnåelse.

Tilskuddsmottakers ansvar er knyttet til å bruke tilskuddet i tråd med vilkår i regelverket for ordningen, tilskuddsbrevet. Indirekte vil det ofte si å bruke midlene i tråd med egen søknad.

Informasjon om måloppnåelse fra tilskuddsmottakernes rapporter

Det vil være en forutsetning for måloppnåelse i ordningen at tilskuddsmottakerne har brukt tilskuddet i tråd med vilkårene. Noen ganger kan ordningen være innrettet slik at tilskuddsmottaker også kan si noe om effekter av sin aktivitet på bruker- eller samfunnsnivå. Da er det grunn til å stille rapporteringskrav om det til mottakeren.  Rapporteringskravene må være utformet slik at forvalteren får svar på dette.    

Rapporteringskravene kan i noen tilfeller også være slik at tilskuddsmottaker gjør vurderinger av effekten for brukerne.

Det vil for enkelte ordninger, avhengig av type mål og kriterier, være aktuelt å vurdere grader av gjennomføring eller resultater hos tilskuddsmottakeren, sett i forhold til egen søknad og i forhold til kriteriene for måloppnåelse. Dette gjøres gjerne ved bruk av skjønn. Det kan da for eksempel brukes en enkel tredelt gradering med høy, middels og lav måloppnåelse. 

Informasjon om måloppnåelse fra andre kilder

En annen kilde til informasjon om måloppnåelse kan være offentlig statistikk (f.eks. fra Statistisk sentralbyrå eller KOSTRA). Hvis det for eksempel gis tilskudd til svømmeopplæring og et kriterium for måloppnåelse er færre drukningsulykker, vil informasjon om det sannsynligvis ikke kunne fås fra tilskuddsmottakerne, men fra offentlige kilder.

Evaluering eller forskning i ulike faser kan også gi informasjon om måloppnåelse. Slike tiltak bør ses i sammenheng med den årlige rapporteringen fra mottakerne. Ved utforming av tilskuddsordningen må det vurderes hvordan de ulike kildene best mulig kan gi et samlet bilde av måloppnåelsen i ordningen ved minst mulig ressursbruk fra både tilskuddsmottaker og forvaltningen. Se Evaluere tilskudd (lenke).

Noen ganger vil det også ta tid før måloppnåelsen kan måles, for eksempel hvis svømmeopplæring gis på lavere klassetrinn og målet er at elever skal kunne svømme på et høyere klassetrinn.

Følge opp vurdering av måloppnåelse

Når måloppnåelsen vurderes, er det en god anledning til å vurdere om det er behov for å endre innretningen av ordningen. Bør mål, kriterier for måloppnåelse, tildelingskriterier eller rapporteringskrav justeres? 

Dersom det er behov for endringer i tilskuddsordningen, kan det være nødvendig å gå tilbake til Stortinget i en budsjettproposisjon. Det kan i noen tilfeller også være grunn til å vurdere om ordningen skal avvikles eller slås sammen med en eller flere andre ordninger for å forenkle saksbehandlingen.

Rapportere til departementet og Stortinget

Tilskuddsforvalteren rapporterer til overordnet departement om tilskuddsforvaltningen både i årsrapporten og i budsjettprosessen.

Departementet rapporterer videre til Stortinget om oppnådde resultater for tilskuddsordningene som grunnlag for eventuell tildeling neste år.

Tilskuddsforvalterens rapportering til departementet

Tilskuddsforvalteren rapporterer til overordnet departement om tilskuddsforvaltningen både i årsrapporten og i budsjettprosessen. Tilskuddsforvaltningen vil også kunne være et tema i etatsstyringsdialogen.

Underliggende virksomheter skal levere årsrapport til overordnet departement. Kravene til årsrapporten framgår av punkt 1.6.1 og 2.3.3 i bestemmelsene om økonomistyring i staten.

Årsrapporten skal gi et dekkende bilde av virksomhetens resultater og gi departementet grunnlag for å vurdere måloppnåelse og ressursbruk.

Årsrapporten skal ifølge punkt 1.6.1 inneholde seks deler inkludert «årets aktiviteter og resultater». Dette punktet kan omfatte en kort omtale av hovedtrekkene i virksomhetens tilskuddsforvaltning og rapportering om resultater og måloppnåelse i tilskuddsordningene virksomheten forvalter. Departementet kan også ha fastsatt ulike styringsparametere for tilskuddsforvaltningen som kan besvares i rapporten.   

Normalt fastsettes nærmere krav til rapportering på tilskuddsforvaltningen i instruksen og/eller tildelingsbrevet til virksomheten. Videre kan tilskuddsforvaltningen være tema på etatsstyringsmøtene mellom departementet og virksomheten, og eventuelle fagdialogmøter. I spesielle tilfeller kan departementet ha behov for særlige rapporter i løpet av året.

Andre tilskuddsforvaltere enn de statlige virksomhetene rapporterer om måloppnåelse og bruk av tilskuddsmidler som beskrevet i avtale og/eller oppdragsbrev.

Videre ber departementet vanligvis tilskuddsforvalterne om å bidra inn til omtale og rapportering i budsjettproposisjonen. Selv om tema kan være overlappende med det virksomheten rapporterer om i årsrapporten til departementet, vil det som regel være egen dialog i forbindelse med budsjettprosessen. Det er viktig at rapporten til Stortinget er korrekt og den underliggende virksomheten bidrar som regel konkret med utkast til tekst. 

Se veiledning om årsrapporten på DFØs nettsider:

Veiledningsnotat til årsrapport for statlige virksomheter

Departementets rapportering til Stortinget

I tillegg til bestemmelsene punkt 6.2.2 gjengitt over, gir hovedbudsjettskrivet) fra Finansdepartementet retningslinjer for arbeidet med budsjettproposisjonen:

Departementet skal som hovedregel rapportere på overordnet nivå og vise til sammenhengen med målene som allerede er presentert for Stortinget. På tilskuddsområdet vil det sentrale være å vise graden av måloppnåelse for tilskuddsordningen, det vil si i hvilken grad ordningen virker etter hensikten. Kriteriene for måloppnåelse vil være avgjørende for en god rapport om måloppnåelse til Stortinget.

Rapporteringen bør synliggjøre hva tilskuddsmottakerne har oppnådd og hvilke effekter dette har hatt for målgruppen (brukereffekter) og for samfunnet. Rene aktivitetsbeskrivelser bør unngås. Dersom det er vanskelig å vise til oppnådde resultater og effekter, kan det være nyttig å se på hvordan kriteriene for måloppnåelse er utformet i regelverket eller om rapporteringskravene til mottaker gir et tilstrekkelig bilde av måloppnåelsen.

Dersom det er store avvik, må departementet gjøre greie for årsakene til det.

Se mer i hovedbudsjettskrivet punkt 7.2.2 og 7.2.3.

Rapporteringen i budsjettproposisjonen fokuserer i mindre grad på hvor mye tilskuddsmidler som er utbetalt forrige budsjettår, med mindre det er særlige grunner til det, for eksempel ved svært lavt forbruk på en tilskuddsordning. Statlige tilskuddsforvaltere som er organisert som bruttobudsjetterte virksomheter rapporterer det faktiske forbruket (utbetalingene) gjennom statsregnskapet. I tillegg rapporterer forvalterne gjennom virksomhetens årsrapport og i henhold til eventuelle andre krav fra departementet.

Evaluere tilskudd

Evaluering gir dere mulighet for å lære og forbedre tilskuddsordningen eller det enkeltstående tilskuddet.

Hvordan det skal evalueres, bør tenkes gjennom allerede når ordningen blir utredet og utformet.

En evaluering gir dere mulighet til å undersøke sider ved tilskuddsordningen som den løpende rapportering på den enkelte tildelingen i begrenset grad gir svar på. Å sette av ressurser til en evaluering åpner for en dypere analyse av sammenhenger og kvalitative aspekter, og kan eksempelvis ta for seg utvikling over tid.

Både departementet og tilskuddsforvalteren skal sørge for at tilskudd evalueres:

Sjekk DFØs veiledning om evaluering og styringsinformasjon

Den generelle veiledningen om evaluering vil også gjelde for evalueringer av tilskudd. En evaluering er en systematisk datainnsamling, analyse og vurdering av en planlagt, pågående eller avsluttet aktivitet, en virksomhet, en sektor eller et virkemiddel - for eksempel tilskudd:

Evaluering

En evaluering skal bidra med styringsinformasjon til videre utvikling av tilskuddsordningen. I denne sammenhengen er også DFØs veiledning om styringsinformasjon nyttig:

5 steg på veien til god styringsinformasjon

Sjekk veilederen om å evaluere tilskudd fra 2007

DFØs veileder om fra 2007 er nyttig, men vær oppmerksom på at evalueringsfaget har endret seg. Læring, samarbeid og helhetlig tilnærming vektlegges nå mer enn kontrollaspektet ved evalueringer. Bestemmelsene om økonomistyring i staten er også oppdatert på enkelte punkter siden 2007.  

Evaluering av statlige tilskuddsordninger

Tenk på evaluering når tilskuddsordningen utredes og utformes

Tenk så tidlig som mulig, gjerne allerede i utredningen, på hvilke evalueringsspørsmål som er viktigst for den aktuelle tilskuddsordningen.  Relevante spørsmål i utredningsfasen gjelder ofte også i evalueringsfasen.

Sørg for at utformingen av tilskuddsordningen (hovedelementene og regelverket) bygger opp under evalueringen. For eksempel:

• Er målet, målgruppen og kriteriene for måloppnåelse formulert slik at ordningen kan evalueres og i tilfelle hvordan?
• Hvilke kilder er aktuelle for informasjon til evalueringen? Hvilken informasjon kan innhentes fra tilskuddsmottakerne gjennom årlige rapporteringskrav og hva bør innhentes fra andre kilder? Skal noe innhentes i forbindelse med en evaluering med noen års mellomrom?
• Hvem skal inkluderes i evalueringen? Hvor motiverte er de for å delta?

Risikovurderinger og vesentlighet skal ligge til grunn både i valg av hvilke tilskuddsordninger som skal evalueres, og for hva som særlig skal belyses i evalueringen.

Koble evalueringen av tilskudd med relevante styringsprosesser i virksomheten og overordnede budsjettprosesser. Hovedfunnene fra evalueringen bør inkluderes i den årlige rapporteringen til departementet og Stortinget.

Planlegg oppfølging av evalueringen

Departementet og tilskuddsforvalteren bør i forkant ha tenkt gjennom hvilke mulige konsekvenser en evaluering av en tilskuddordning kan ha. Dette henger sammen med målet for eller hensikten med evalueringen. Endelig oppfølging vil oftest avhenge av hvilke funn evalueringen gjør og mulige anbefalinger som kommer frem:

• Tilskuddordningen kan videreføres som den er eller med mindre justeringer
• Det er behov for større endringer i regelverket før videreføring
• Ordningen kan avsluttes fordi den oppnår ikke ønskete resultater, andre ordninger eller virkemidler har tatt over måloppnåelsen eller målet er ikke lenger prioritert.

Hvis evalueringen medfører endringer som går utover eller synes å endre Stortingets opprinnelige vedtak, må departementet vurdere om det er nødvendig å gå tilbake Stortinget. 

Hva skal evalueres?

Grunnlaget for evalueringen ligger vanligvis i hovedelementene i tilskuddsordningen: mål, målgruppe, tildelingskriterier, kriterier for måloppnåelse og oppfølging og kontroll. I en evaluering av tilskudd vektlegges disse gjerne ulikt, og med søkelys på forskjellige aspekter. 

DFØs veileder Evaluering av statlige tilskuddsordninger (2007) peker på tre sentrale aspekter ved evaluering av tilskuddsordninger:

• Hvilke effekter gir tilskuddene?
• Er tilskuddsforvaltningen ivaretatt på en god måte?
• Er tilskuddsordningen hensiktsmessig utformet?

I tillegg bør evalueringen se til ytre samfunnsmessige og økonomiske forhold som kan påvirke tilskuddsordningen. Disse forholdene kan ha endret seg over tid. Er det endringer hos målgruppe eller samfunn som tilsier at innretning på tilskuddsordningen må endres?

Et alternativ er å evaluere grupper av tilskuddsordninger (klyngeevaluering), for eksempel hvis ordningene er ment å virke sammen eller retter seg mot samme målgruppe. En annen tilnærming kan være å evaluere grupper av tilskuddsmottakere, for eksempel noen som mottar svært store tilskudd over en eller flere ordninger.

Til inspirasjon: Eksempler på evalueringsspørsmål

Hvilke effekter gir tilskuddene?

Undersøker:

Eksempler på spørsmål:

• hva som er virkningene eller nytten for målgruppen, tilskuddsmottakerne og/eller samfunnet • de økonomiske konsekvensene for de samme gruppene • utilsiktede konsekvenser (positive og negative)

• Er det mulig å undersøke måloppnåelse og effekt av tilskuddsordningen ut fra mål og kriterier for måloppnåelse? • Hva er forskjellen før og etter tilskuddet? • Hvordan opplever målgruppen at tilskuddet virker? Er effekten lik for hele målgruppen, eller er det variasjon? • Hvordan opplever tilskuddsmottakerne at tilskuddet virker? • Hvordan ville situasjonen vært uten tilskuddet? • Er effekten av tilskuddet i tråd med intensjonen i Stortingets vedtak om ordningen? • Har tilskuddet hatt nytte/virkning for flere enn målgruppen? • Har tilskuddet gått utover eller skapt skjevheter for målgruppen eller mottakerne?

Er tilskuddsforvaltningen ivaretatt på en god måte?

Undersøker:

Eksempler på spørsmål:

• aktører og roller • regler og rutiner • arbeidsprosesser • system for kvalitetssikring • system for risikovurdering • ressursbruk • informasjon og formidling • styring og kontroll • rapportering

• Er forvaltningen av tilskuddsordningen i tråd med kravene i økonomiregelverket? • Er forvaltningen av tilskuddsordningen i tråd med forvaltningsloven? • Er rollene tydelig avklart mellom departement og tilskuddsforvalter? • Har tilskuddsforvalter tilstrekkelig system for internkontroll? • Står ressursbruken i rimelig forhold til ønskete resultater? • Er ressursbruken effektiv og målrettet? • Gir tilskuddsforvalteren god informasjon til søkere og tilskuddsmottakere om gjeldende krav? • Gir rapporteringen til departementet et godt grunnlag for videre rapportering til Stortinget? • Hvilken effekt har eventuelle endringer i forvaltningen hatt?

Er tilskuddsordningen godt utformet?

Undersøker:

Eksempler på spørsmål:

• historikk og bakgrunn • innhold, formulering og presisjonsnivå for hovedelementene • organisering • tilskuddsmottakerne (dersom disse ikke er de samme som målgruppen) • omfang/størrelse • varighet

• Er mål og kriterier for måloppnåelse presist nok formulert til å kunne brukes som styringsverktøy? • Er målgruppen klart definert? • Har tilskuddsforvalteren og tilskuddsmottakeren har samme forståelse av mål og effekt? • Er det klart hvem som kan søke tilskudd og til hva? • Er det trekk ved utformingen av ordningen som fremmer eller hemmer resultater? • Hvordan burde ordningen vært utformet for å fremme resultater? • Ble ordningen tilstrekkelig utredet på forhånd? • Hvilken effekt har eventuelle endringer i utformingen hatt?

Ytre forhold og tidsaspektet

Undersøker:

Eksempler på spørsmål:

• generelle trekk ved samfunnet • behov hos målgruppen • politiske forhold • administrative rammebetingelser • økonomiske rammebetingelser • faglig utvikling • risiko- og vesentlighetsbildet • samspill (eller mangel på) med andre virkemidler innen samme sektor eller for samme målgruppe

• Hvilke ytre forhold påvirker tilskuddsordningen og ønskete resultater i størst grad? • Har disse endret seg siden ordningen ble opprettet, og hvilke implikasjoner har det i så fall? • I hvilken grad støtter tilskuddsordningen opp om gjeldende strategier og handlingsplaner? • Er utfordringene/behovene som tilskuddsordningen adresserer fortsatt like relevante? • Støtter tilskuddsordningen tiltak som er basert på beste kunnskap og praksis? • I hvilken grad overlapper ordningen med andre ordninger innen sektoren? • I hvilken grad overlapper ordningen med andre virkemidler for målgruppen og /eller tilskuddsmottakerne?