Projekthandbok

Utvärdering

Krav på utvärdering för projekt med större omslutning är 1,5 miljoner EUR

Från och med utlysning tre (ansökningsperiod 12 januari-19 februari 2016) ställer Sverige-Norge programmet krav på att projekt som har en omslutning över 1 500 000 Euro ska utvärderas av en extern utvärderare.

Utvärdering handlar om att fånga och beskriva projektets genomförande, resultat och effekter i relation till planer och mål som finns på projekt- och programnivå.

Extern utvärdering innebär att projektet upphandlar utvärderingsarbetet från en extern aktör.

Kravet innebär att en extern utvärderare ska anlitas i syfte att fånga projektets resultat i förhållande till det insatsområde som projektet verkat inom och utvärdera om det gränsöverskridande mervärdet har uppnåtts.

Utvärderingen ska vara med som en aktivitet redan vid ansökan och ju tidigare utvärderaren kan knytas till projektet desto bättre.

Syftet med utvärderingskravet är att bidra till ett bättre projektgenomförande för projektägarna och projektens målgrupper. Utvärderingskravet ska också bidra till att ge finansiärerna en bild om projektet utmynnat i det som var målet samt ger underlag för framtida projekt. Det blir även ett viktigt kunskapsunderlag för de programövergripande utvärderingarna.

Nedan följer Interreg Sverige-Norge programmets rekommendationer när det gäller planering och genomförande av utvärderingsinsatsen.

Upphandling av extern utvärdering

Upphandlingen av den externa utvärderingen ska ske tidigt under projekttiden och utvärderingen ska sedan genomföras vid återkommande tillfällen under hela projekttiden.

Upphandlingen ska ske enligt angivna regler för offentlig upphandling och andra inköp.

Gör beställningen tydlig

En bra upphandling kräver att uppdragsgivaren har gjort ett förarbete och tagit fram upphandlingsunderlag där beställningen tydliggjorts.

I upphandlingsunderlaget förtydligas vad som ska utvärderas och här formuleras även övergripande frågeställningar. Utvärderingens viktigaste målgrupp ska preciseras samt vilka frågor som är viktiga för projektägarna att få svar på under genomförandet av projektet.

För projekt där företag är en av målgrupperna är det viktigt att projektet utvärderar hur och i vilken utsträckning näringslivet deltar i projektet samt hur företagarna upplevt nyttan med projektet.

Projektet har fått finansiering av Interreg Sverige-Norge programmet för att projektet är en del i att nå programmets mål. Av de övergripande frågeställningarna bör det därför också framgå på vilket sätt projektet bidrar till att nå insatsområdets specifika mål samt hur projektet bidragit till att skapa ett gränsregionalt mervärde.

Ställ krav på anbudsgivaren att i sitt anbud beskriva hur de kommer att använda de frågor som ni formulerat.

Utvärderingsmetoder och spridning av resultat

Sverige-Norge programmet har inte tagit fram några riktlinjer för hur själva utvärderingen ska gå till utan anser att det är upp till projektet att i upphandlingsunderlaget efterfråga utvärderingsmetoder för genomförandet av uppdraget. Tillväxtverket har däremot tagit fram sex punkter för utvärdering som Sverige-Norge programmet rekommenderar som bra utgångspunkt i upphandlingsunderlaget. En beskrivning av dess sex punkter kommer nedan.

Det är viktigt att säkerställa att anbudsgivaren verkligen anger vilka utvärderingsmetoder som avser användas och hur de ska användas då uppdraget genomförs.

Anbudsgivaren ska också ange hur utvärderingsresultatet ska spridas till utvärderingens utpekade målgrupper.

Tidplan för leveranser från utvärderaren

Eftersom syftet med utvärdering är att både stödja projektet under genomförandet och att fånga dess resultat, är det viktigt att fundera över när i tiden utvärderingsinsatserna ska genomföras.

Upphandlingsunderlaget ska därför efterfråga en tidplan som tydliggör när projektägaren kan förvänta sig leveranser från utvärderaren.

Ställ krav på utvärderaren att medverka i aktiviteter för att sprida resultatet av utvärderingen

Utvärderingsuppdraget ska innehålla tid att medverka vid och rapportera till olika möten. I upphandlingen ska därför krav ställas på att utvärderaren ska delta vid:

• Interna projektmöten, exempelvis styrgruppsmöten (minst 1 ggr/år)
• Erfarenhetsutbyte och lärandemöten med utvärderingens målgrupper.

Ställ krav på erfarenhet och kompetens

Utvärderaren ska ha den kompetens som krävs för genomförande av uppdraget. Utvärderaren bör ha tidigare erfarenheter av utvärdering, gärna av EU-projekt.

Det är meriterande om de har tidigare erfarenheter från projektets sakområde. Det är också meriterande om de har specifik utbildning om utvärdering och har gått kurs i lärande utvärdering och följeforskning.

Rollen som utvärderare ställer stora krav på professionalitet för att göra opartiska bedömningar. Alla aktörer som deltar i utvärderingsaktiviteter ska följa principer och regler om jäv. Den externt upphandlade utvärderaren kan inte vara en av projektets egen personal eller ingå i projektets styrgrupp.

Utvärderingsinsatsen kan bedrivas av en person eller en grupp. Vid stora projekt med flera olika verksamhetsområden kan det vara en fördel att upphandla en grupp där olika personer kan stå för olika kompetenser som kan vara värdefulla för projektet.

Ange ett takpris

Sverige-Norge programmet rekommenderar att projekten avsätter max 2 procent av sin budget för utvärdering. Utifrån det rekommenderade beloppet anges sedan ett takpris i upphandlingen.

Rapportering av genomförd extern utvärdering

Resultatet från den externa utvärderingen ska redovisas i rapporteringen till Sverige-Norge programmet. Där ska ni också beskriva hur ni har använt er av utvärderingsresultaten när det gäller lärande och utveckling av projektet samt extern kommunikation. Vid projektets slut ska ni beskriva utvärderingsarbetet mer ingående i projektets slutrapport.

Den aktör som gör utvärderingen ska inte bara rapportera till projektet, utan också vara med och sprida utvärderingsresultaten. Aktören ska dessutom delta i eventuella aktiviteter som gynnar lärandet mellan andra projekt som också är finansierade av Sverige-Norgeprogrammet.

Tillväxtverkets sex punkter eller riktlinjer för utvärdering

Utvärderingen börjar med att den eller de som genomför utvärderingen samlar in information om projektets genomförande. Till sin hjälp kan de använda frågorna under respektive punkt nedan. Nästa steg är att gå igenom svaren och bedöma vilka resultat projektet har uppnått och hur de bidrar till att uppfylla målen.

P1: Projektlogik
Projektlogiken beskriver sambandet mellan projektets aktiviteter och dess mål.

• Hur är det tänkt att projektet ska nå sina mål?
• Vad grundar sig det antagandet på?
• Ligger de genomförda aktiviteterna i linje med projektlogiken?
• Har det skett något under projektets genomförande som gör att projektlogiken behöver förändras?

P2: Processen
Processen handlar om hur projektet ska ge avtryck i den lokala och regionala miljön.

• Vem eller vilka i det omkringliggande samhället kan ta vid där projektet slutar, föra resultaten vidare och bidra till långsiktiga effekter?

P3: Public debate
Public debate, handlar om att lära av och sprida projektets resultat.

• Hur använder projektet kommunikation och lärande för att nå målen?

N1: Nyckelaktiviteter
Nyckelaktiviteter är aktiviteter som för projektet framåt, mot målen.

• Vad har projektet gjort?
• Vilka dokumenterade utfall och resultat har det lett till?

N2: Nyckelpersoner
Nyckelpersoner är yrkespersoner och experter med insyn i det område där projektet försöker åstadkomma en förändring. Det kan vara interna personer, som deltar i projektet, eller externa personer, som står utanför projektet. Både intern och externa personer ska bidra i utvärderingen.

• Vad anser nyckelpersonerna om projektets förmåga att påverka?
• Vad tycker nyckelpersonerna om projektets faktiska bidrag till förändring?

N3: Nyckeltal
Nyckeltal är kvantitativ information och statistik som skapar underlag för kvalificerade bedömningar.

• Hur många eller hur stor andel av de som berörs av projektet anser att insatserna bidrar till att lösa de problem eller åstadkomma den utveckling som eftersträvas?