SVUF | Svenska Utvärderingsföreningen - Konferensrapport från Norge

Hem

Konferensrapport från Norge

Är du ny eller gammal medlem och vill betala medlemsavgift för 2011?

Maila dina personuppgifter till vår kassör ako@swenning.se så får du en faktura!

Konferensrapport från Norge

2011-09-19

Bo Sandberg gör här en kort summering av Norsk Evalueringsförenings Prekonferanse ”Tendenser i norsk evaluering” samt FAFO/Evalueringskonferens ”Evaluering, förvaltning og politikk – förnyelse eller bevaring?”, som vi får ta del av.

I det följande summeras en del återkommande teman och intressanta frågor som kom upp
under den norska utvärderingsföreningens för-konferens samt vid utvärderingskonferensen som arrangerades av FAFO - Institutt for arbeidslivs- og velferdsforskning på Scandic Hotel Gardemoen 31/8-2/9 2011.

Förkonferensen (31/8) bestod av 12 paper-presentationer och diskussioner under en dag.
Utvärderingskonferensen (1-2/9) bestod inte av några papers utan enbart presentationer (ett 30-tal totalt) och paneldiskussioner. Konferensen hade ca 200 deltagare med representanter för både beställare, utförare och användare av utvärdering i Norge. Konferensen som helhet bjöd på ett mycket späckat program och en hel del bra föreläsningar och intressanta diskussioner.

Några återkommande teman

Standarder för utvärdering

Diskussionen kring olika typer av standarder och rekommendationer för utförande av utvärdering är inte helt enkel. Jag uppfattade det som att en del anser detta vara nödvändigt för att höja utvärderingars kvalité och status. Diskussionen är antagligen naturlig och en del av utvärderingsfältets utveckling.

Argument för en ökad formalisering av utvärdering skulle kunna vara att det ökar förutsättningarna för lärande och bidrar till en ökad professionalisering av både beställare och utförare av utvärderingar. Den kunskapsbaserade förvaltningen är en viktig drivkraft i detta sammanhang, och en del föreläsare talade om experimentella studier som ”the golden standard” för utvärdering (se vidare under ”annat” nedan!)

En del menar att det är en farlig väg att gå, då det också innebär att man måste rangordna vilka typer av metoder och genomförande som är ”bättre än andra” och att en ökad formalisering riskerar att göra utvärdering än mer till en ”rutinaktivitet” där det är beställarens som bestämmer metod och inriktning (och därmed styr resultaten).

Litteraturtips
Smith, N.L & Brandon, P.R (red): Fundamental Issues in Evaluation. The Guilford Press, U.S.A.

Utvärderingars status och utvärderares roll: identitetssökande

Det diskuterades en del hur utvärderingar kan bli vetenskapliga, och personligen så förstod jag inte riktigt denna diskussion. Olika talare la också lite olika innebörd i detta. Som jag ser det så handlar utvärdering om att arbeta systematiskt och tillämpa vetenskapliga metoder, och vetenskapliga utvärderingar skiljer sig främst från andra för att de genomförs på universitet och högskolor!(?). Riktigt så enkelt var det dock inte här, och vad jag förstått är det en fråga som norrmännen återkommer till då och då…

En bra poäng i sammanhanget är dock att det kan finnas skillnader i hur forskare och konsulter genomför utvärdering, t.ex. kan man fråga sig om ”skepticism” är en meriterande egenskap för en utvärderingskonsult på samma sätt som det är det för en forskare?

Mycket diskussion kring forskning och utvärderarens roll – identitetssökande. Denna diskussion inkluderade även behov av att erkänna utvärdering som ett eget tvärvetenskapligt forskningsfält. Samtidigt försökte en del talare skapa tydliga gränser mellan forskning och utvärdering.

Litteraturtips
Smith, N.L & Brandon, P.R (red): Fundamental Issues in Evaluation. The Guilford Press, U.S.A.

Följeutvärdering/forskning

Beskrevs som en utveckling av 1970-talets intresse för brukarperspektivet inom utvärdering med ökat intresse för intressenter och stakeholders. Viss förvirring även här (i Norge) kring vad följeutvärdering är, men kanske ändå mer etablerat som både begrepp och företeelse än i Sverige. Följeforskning beskrevs som en ”formativ, dialogbaserad process analys” och följeforskaren som en ”projektpsykolog”.

Några kopplade samman följeforskning med Michael Quinn Pattons utilization focused evaluation och gav det så att säga en teoretisk ram. Det är möjligt att Patton skulle kalla sig följeforskare om han fick frågan, men han har också förhållit sig kritisk till en del av de metoder (som best practice) som
följeforskare ofta tyr sig till.

Själv tycker jag att följeforskning suddar ut gränserna mellan att med en strävan att med en viss ”neutralitet” värdera en insats och att aktivt bedriva projektstöd. Följeforskaren är i mina ögon mer en management konsult än någon som värderar en åtgärd. Det enda ”utanförskapet” i förhållande till utvärderingsobjektet blir i princip att utvärderaren inte har ansvar för hur åtgärden genomförs.

Litteraturtips
Patton, M.Q (2010): Developmental Evaluation.

Andra intressanta föreläsningar och teman

Lena Lindgren

Lena talade om ”Obsessive Measurement Disorder” och ”Counting Bureaucracy” där information utan tydlig användning samlas in och rapporteras. Alla tycks anta att ”utvärderingar är bra”, men Lena frågade om det inte finns möjlighet att utvärderingar faktiskt kan göra verksamheter sämre. Vi mäter bara det mätbara och risken är också att det är det mätbara som blir gjort (måtten blir mål). Det är risk att verksamheter struntar i att göra det som inte mäts, och att man (t.ex. inom sjukvården) fokuserar på brukare som ger goda förutsättningar för framgång (s.k. ”creaming”). Konsekvensen skulle kunna bli att man väljer bort ”svåra” brukare som minskar risken för att man skall uppnå positiva resultat. Lena pratade också om ”bibliometri-hysterin” i detta samband och hur hon tror att det kommer att leda till ”kreativ bokföring” för att få upp citeringar t.ex.

Lena landade i att hon undrade vad vi har för empirisk kunskap om utvärderingars funktion och efterlyste metafoskning om utvärdering och att vi ställer ”rumpnissefrågor” ("Voffor gör di på detta viset?”). Frågan om ökad kunskap om hur utvärderingar används togs även upp i paneldebatten ”forskning, evaluering och politikk” i slutet av konferensen.

Litteraturtips
Lindgren, L (2006): Utvärderingsmonstret : kvalitets- och resultatmätning i den offentliga sektorn. Studentlitteratur

Evidensbaserat bistånds- och utvecklingsarbete?

Representanter för 3ie (www.3ieimpact.org) pratade om ”optimerad utvärdering för policy-making” i en session om utvärdering av ”peace and development interventions”.

3ie är en organisation som är ”(…) devoted to improving lives through better policies, programmes and projects which are designed and implemented based on evidence drawn from high quality impact evaluations” (http://www.3ieimpact.org/userfiles/doc/One_Pager.pdf). 3ie verkar för att utvärderare följer vissa metoder och standarder (läs: evidensbaserade metoder). Det var intressant, och en skarp kontrast till de utvärderare som under samma session pratat om den absoluta nödvändigheten att vara flexibel och att sätta interventioner inom bistånds- och utvecklingsarbete i ett sammanhang för att förstå de lokala förutsättningarna. 3ie talar för den typen av kunskapsproduktion som numera finns inom socialt arbete, d.v.s. kunskapsbaserade
åtgärder där empiri hämtas från (företrädelsevis) experimentella studier. Föga förvånande så framstår de kunskapssammanställningar som 3ie gjort som mycket tunna – det råder alltså brist på experimentella studier inom bistånds- och utvecklingsarbete, och 3ie:s representanter uppmanade därför till att fler effektstudier med experimentell design görs på området.

Litteraturtips
Weiss, C.H et al (2008): The Fairy Godmother – and her warts: Making the Dream of Evidence Based Policy Come True. American Journal of Evaluation, Vol. 29, No. 1, March 2008, 29-47

Henrik Berg Rasmussen från danska Rigsrevisionen

Henrik pratade om utvärdering av statliga utvärderingar i Danmark och hade en del saker att säga angående utvärderingarnas kvalité (generellt sett):

Relevansen av enskilda utvärderingsfrågor kan ifrågasättas
Avsaknad av beskrivning av för- och nackdelar med valda metoder samt vilka begränsningar som finns för tolkning av utvärderingens resultat
Pratar sällan om relevans och effekter på samhällsnivå
Ofta otydliga värderingskriterier

Henrik menade att utvärderingarna ofta bekräftar befintlig kunskap snarare än att producera ny (känns det igen!?).

Bo Sandberg
Analytiker
Utvärderingsenheten, Vetenskapsrådet.