SVUF | Svenska Utvärderingsföreningen - Reflektioner kring Norsk Evalueringsforenings första konferens, Bodö 8-9 september 2010

Hem

Reflektioner kring Norsk Evalueringsforenings första konferens, Bodö 8-9 september 2010

Är du ny eller gammal medlem och vill betala medlemsavgift för 2011?

Maila dina personuppgifter till vår kassör ako@swenning.se så får du en faktura!

Reflektioner kring Norsk Evalueringsforenings första konferens, Bodö 8-9 september 2010

2010-11-12

Konferensen och föreningen

Norsk Evalueringsforening bildades i maj 2009 och höll sin första konferens i Bodö i Nordnorge (på ungefär samma breddgrad som Arvidsjaur) den 8-9 september 2010. Syftet med föreningen är att vara ”et faglig forum og bidra til nettverksbygging for erfaringsutveksling og diskusjon av evalueringsfaglige problemstillinger”. I och med bildandet av den norska evalueringsföreningen finns det nu nationella utvärderingsföreningar i både Sverige, Danmark, Norge och Finland. Undertecknad, ledamot i SVUF:s styrelse, bevistade konferensen i Bodö tillsammans med ca 120 andra deltagare, och detta är ett personligt försök att sammanfatta mina intryck. Den intresserade hittar mer information och dokumentation på http://www.norskevalueringsforening.no/hXGXBUg7LW1I.14.idium

Även om den norska föreningen är relativt ny har den en lång förhistoria i form av det s.k. EVA-forum, ett professionellt kunskapsnätverk i Norge för personer som arbetar med evaluering i främst offentliga verksamheter. Åtskilliga norska departement och myndigheter är medlemmar i EVA-forum, som har haft årliga s.k. EVA-seminarier sedan mitten av 1990-talet. Konferensen i Bodö var således ett samarrangemang mellan Norsk evalueringsforening, EVA-forum och forskningsinstitutet Nordlandsforskning med säte i Bodö. Dessutom med finansiellt stöd från Forskningsrådet i Norge (norsk motsvarighet till Vetetenskapsrådet, VINNOVA m.fl. statliga forskningsfinansiärer), Norad (norsk motsvarighet till SIDA) och Högskolan i Bodö (som för övrigt är föreslagen som nästa universitet i Norge). Därför betecknades konferensen även som det sextonde EVA-seminariet, men det var i samband med konferensen inte klart om föreningens aktiviteter (konferenser m.m.) kommer att ersätta, komplettera eller samarrangeras med EVA-forums verksamhet. För närvarande lutar det åt att konferenser i regi av föreningen kommer att anordnas vartannat år, som i Sverige. För en svensk deltagare var det slående med den klara övervikten av deltagare som representerade offentlig verksamhet – myndigheter, kommuner och i någon mån högskolor – men, jämfört med de svenska och danska föreningarna, tämligen få konsulter. Detta kan kanske ha sin förklaring i föreningens bakgrundshistoria, möjligen också i det faktum att en betydande andel av konsulter är verksamma i Osloområdet.

Temat för konferensen verkar vara lika aktuellt i Norge som i Sverige: "Hva er en god evaluering?" – alltså, vad är kvalitet i utvärdering? På konferensen tacklades temat på tre sätt: Dels med inledande plenarer dag 1 och dag 2 av två tunga danska namn, välkända från både våra egna konferenser och från EES: Peter Dahler-Larsen från Syd-dansk Universitet och Hanne Katrine Krogstrup från Aalborgs universitet, dessutom talade Daniela Schröter från Western Michigan University i Kalamazoo, US-MI. Dels med ett antal personer från främst norska departement, myndigheter och högskolor som reflekterade över vad kvalitet i utvärdering betyder i just deras verksamhet. Slutligen med parallellsessioner som upptog en betydande del av dag 2 under huvudrubriken ”Utfordringer og erfaringer fra spesifikke evalueringsområder”. Både under plenarerna och parallellsessionerna slogs jag av hur livaktig och diskussionslysten publiken var – det var inte så mycket andäktigt lyssnande utan åtskillig dialog och kritiska frågor, mer som ett seminarium i ordets bokstavliga betydelse.

Utvärderingskvalitet ur olika perspektiv

Av de inledande plenarsessionerna hade jag personligen mest utbyte av Peter Dahler-Larsen, som systematiskt höll sig till temat ”Hvad er en god evaluering”? En noggrann och klargörande genomgång av olika definitioner av kvalitet i utvärdering, där Peter överraskade åtminstone mig med en oväntat positiv syn på standards och guidelines. Samtidigt kunde han placera in diskussionen om standards i en större kontext och visa på att sådana initiativ bara speglar ett av flera möjliga synsätt på vad kvalitet i utvärdering kan vara. Peter hänvisade också till sin artikel “Defining Quality in Evaluation” i senaste upplagan (2010) av International Encyclopedia of Education (Elsevier). Hanne Krogstrup diskuterade accountability- och evidensrörelsernas framväxt, karismatisk och engagerande som alltid men kanske inte så mycket nytt i sak. Hanne och Daniela Schröter från USA hade också en intressant polemik om användbarheten av checklistor i utvärderingsarbete.

Flertalet av de olika inläggen om kvalitet i utvärdering från myndigheter och departement hade rubriker som ”Hvordan har kravene til en god evaluering endret seg i de siste 20 år?” (NORAD; dvs norska motsvarigheten till SIDA); ”Hva er en god evaluering sett fra Riksrevisjonen?”; och ”Bruk av evaluering som styringsverktøy” (SSØ,. dvs. norska motsvrigheten till ESV). Dvs. ett ganska starkt fokus på utvärdering som underlag för styrning av offentlig/statlig verksamhet. Det gav i och för sig en lärorik överblick över diskursen om utvärdering i norsk förvaltning, men kanske lite för mycket top-down som hade mått bra av att balanseras med fler perspektiv från både evaluerare och evaluander.
Det i särklass originellaste och mest tänkvärda inlägget i frågan om kvalitet – ja, kanske under hela konferensen – stod Åge Mariussen (sociolog och forskare vid Nordlandsforskning) för, när han diskuterade utvärderingskvalitet från ett forskar- och utförarperspektiv. Med utgångspunkt från ett citat av Donald Rumsfeld (!!!) [“There are known knowns, and known unknowns, and then… there are unknown unknowns”], problematiserade han kunskapsbegreppet, både utifrån kundens och utförarens perspektiv. Vad vet utföraren (utvärderaren) som kunden/beställaren inte vet? Vad vet kunden/beställaren som utföraren (utvärderaren) inte vet? Vad finns det för saker som vi inte vet att vi inte vet? Och hur avgör detta synen på vad som är kvalitet i utvärderingen? Mycket tankeväckande.

Vad är forskningsbaserad evaluering?

De flesta parallellsessionerna var som sagt tematiska och speglade ”klassiska” utvärderingsområden som högre utbildning, skola, bistånd och näringspolitik. Jag bevistade en session som handlade om NOKUTS utvärderingsmetodik (motsvarighet till Högskoleverket), och en som handlade om utvärdering i välfärdsforskningen (med utgångspunkt i utvärderingar av projekt som syftar till social integration av utvecklingsstörda). I båda fallen uppstod intressanta diskussioner om begreppet ”forskningsbaseret evaluering”, ett tema som återkom gång på gång under konferensen och som jag uppfattade vara ett mycket större ”buzzword” i det norska evalueringssamfundet än i det svenska. Men jag kan ha fel.
Vad menar man egentligen när man säger att en utvärdering är forskningsbaserad? Att den utförs med vetenskapliga metoder? Att den utförs av disputerad personal? Att den utförs vid ett universitet eller en högskola? Hur ser en utvärdering ut som inte är forskningsbaserad? Jag försökte ställa denna fråga till en massa personer jag mötte vid konferensen, och fick olika svar nästan varje gång. Till viss del kan intresset för begreppet forskningsbaserad evaluering kanske ha att göra med ett fenomen som verkar vara mer karakteristiskt för Norge än för Sverige, nämligen förekomsten av fristående forskningsinstitut som har en statlig (eller i vart fall offentlig) grundfinansiering, men som i övrigt är intäktsfinansierade och konkurrerar på en öppen marknad. Några konsulter som jag pratade med tyckte att detta leder till en oren konkurrenssituation, där offentliga institut kan hävda att de bedriver forskningsbaserad verksamhet, medan konsultföretag med i princip samma kompetensnivå och arbetsmetodik ses över axeln som ”bara konsulenter”. Jag fick ingen riktig klarhet i detta, men diskussionen i sig var mycket stimulerande och kanske borde förekomma oftare i Sverige också. Vad är forskning och vad är utvärdering, och vad är ungefär samma sak?
Som sammanfattning, två späckade dagar med många intressanta inblickar i norsk evaluering. Jag vill också framföra ett särskilt stort tack till de norska arrangörerna som hade tumme med vädergudarna. De hade beställt ett stort ”högtryck över norska havet” som meteorologerna säger, och som låg stilla under konferensdagarna över det vidunderliga norska kustlandskapet. Som grädde på moset fick vi t.o.m. nordlys (norrsken)!