Hem arrow Litteratur arrow Lästips!
Bli medlem i SVUF

Lästips! Skriv ut E-post
2009-08-30
Böcker på hög

I sin oförtröttliga jakt på relevanta böcker i ämnet, har några medlemmar i styrelsen läst nyutgiven littaratur om utvärdering. Elisabeth Beijer, Kim Forss, Lena Lindgren och Åsa Sohlman redogör här för sina läsupplevelser.

Elisabeth Beijer har läst:

Lars Oscarsson (2009): Evidensbaserad praktik inom socialtjänsten — En introduktion för praktiker, chefer, politiker och studenter. Stockholm: Sveriges Kommuner och Landsting.

Boken ger en beskrivning av begrepp och innebörd av evidensbaserad praktik inom socialtjänsten. I boken ges också exempel på hur en tillämpning kan se ut inom missbruksvård, vid särskilt boende för personer med demens och vid kontakt med en person med utvecklingsstörning. De organisatoriska förutsättningar som krävs för att åstadkomma en evidensbaserad praktik omnämns också, bland annat att det finns tid för reflektion samt dokumentation och uppföljning. Boken har en bred ansats och vill förklara såväl vad som krävs av forskningen som vad professionalitet innebär och vad som i allmänhet är viktigt för en god arbetsallians inom socialt arbete. Boken är skriven så att den är lättillgänglig för många och har en instruerande karaktär snarare än en diskuterande.

Lennart Svensson, Göran Brulin, Sven Jansson och Karin Sjöberg, red. (2009): Lärande utvärdering genom följeforskning. Lund: Studentlitteratur.

Följeforskning har blivit ett alltmer etablerat begrepp inte minst genom satsningar på projekt finansierade av EU:s strukturfonder. Inom utvärderingsområdet skulle vi troligtvis benämna det formativ utvärdering. Det handlar om hur studier och utvärderingar kan utformas så att de bidrar till lärande och utveckling. Lärandet är avgörande för framgång i utvecklingsarbete, konstateras redan i förordet. Boken vill visa på alternativa sätt att utvärdera och sätta in lärande och utvärdering i praktiska och teoretiska sammanhang. Ambitionen är också att ställa kritiska frågor om förutsättningar och risker med lärande utvärdering. I flera av bidragen i boken beskrivs analysseminarier under vägs som möjlighet till fördjupad förståelse för ett hållbart utvecklingsarbete. Men det är inte enkelt att åstadkomma denna gemensamma reflektion och ifrågasättande, ofta finns en strävan hos deltagare att bekräfta varandra snarare än att lära nytt. Då har forskningen en särskild roll i att bidra med teoretisk analys. Boken ger värdefulla argument för lärande utvärdering eller - om man så vill - följeforskning.

Kim Forss har läst:

Boswell, Christina (2009) The Political Uses of Expert Knowledge. Immigration Policy and Social Research. Cambridge: Cambridge University Press.

Det sägs ibland att användning är utvärderingens akilleshäl och med det menas att utvärderingar inte används i den utsträckning som de borde användas och att vi inte vet så mycket om användning egentligen. I den nyligen utkomna tredje upplagan av Utvärdering i politik och förvaltning” säger Evert Vedung (sid. 283) att ”Den vetenskapliga utvärderingens roll i ett demokratiskt politiskt system är ett brydsamt problem som är underskattat i litteraturen …. Detta besvärliga dilemma behöver vetenskapligt genom-lysas.” Som ett svar på Everts förfrågan har det nu skett genom Christina Boswell’s grundläggande empiriska analys av hur forskningsrapporter och utvärderingar används i politiska processer. Hennes studie är en jämförande analys av hur migrationspolitik bestäms i Storbritannien, Tyskland och inom EU (fokus på kommissionen).

Givetvis tillbakavisas tanken att utvärderande kunskap inte används. Visserligen finns det inget enkelt linjärt samband mellan slutsatser och rekommendationer i olika rappor-ter å ena sidan, och politiska beslut å andra sidan. Det är inte heller givet att använd-ningen är just den som forskare och utvärderare förväntade sig. Boswell lyfter frågan från att handla om huruvida slutsatser och rekommendationer används till en studie av kunskapens funktion i politiska processer. Det ger ett betydligt rikare och mer komplext material att studera. Boswell utvecklar en begreppsapparat som särskiljer kunskapens funktion i de politiska processerna; som instrumentell, legitimerande och substantie-rande (”instrumental, legitimizing and substantiating”). Användningen av kunskap i de politiska processerna kopplas vidare till de politiska frågornas karakteristika, den institutionella miljön och organisationskultur.

Även om huvuddelen av boken handlar om migrationspolitik avslutar Boswell med ett generaliserande kapitel om ”Knowledge and Policy” som utvecklar teorier om hur kunskap kommer till användning inom politikområden som hälsa, infrastruktur, försvar, finanspolitk mm.

Den som vill ha något arbets- och utvärderingsrelaterat, intressant och intellektuellt utmanande att läsa bör beställa Boswell’s bok.

Lena Lindgren har läst:

Donaldson, Stewart I., Christie, Christina A. & Mark, Melvin M., red. (2009): What Counts as Credible Evidence in Applied Research and Evaluation Practice? Thousand Oaks: Sage.

Sedan slutet av 1990-talet finns i många länder krav och strävanden att metoder och arbetssätt som används i välfärdsarbete ska vara evidensbaserade. Vad detta innebär, vad som ska räknas som evidens är hett debatterade frågor. I boken som är en antologi har redaktörerna låtit ett femtontal kända amerikanska utvärderingsforskare diskutera vad som utgör tillförlitlig kunskap, dvs. vad som möjligen kan och bör menas med evidens.

Boken inleds av Donaldson med en introduktion till hur den s.k. evidensrörelsen växt fram och dess tydliga koppling till Donald Campbells vision på 1960-talet om ”The Experimenting Society”. Fokus ligger här enbart på amerikanska förhållanden och debatter. Därefter tillhandahåller Christie och Fleicher en översiktlig – och enligt min mening tämligen elementär och ytlig – beskrivning av den vetenskapsteoretiska grundval som evidensrörelsen vilar på. Resten av bokens bidrag är bättre och mera matnyttiga, även om en hel del är diskussioner och argument som återfinns i de flesta metodböcker. Några kapitel är emellertid mycket intressanta, t.ex. Julnes och Rogs diskussion om kontextens betydelse när det gäller val av metod och möjligheten att åstadkomma vad de kallar ”actionable evidence”.

Allra mest intressant tycker jag att Scrivens kapitel är som har titeln ”Demytologizing Causation and Evidence”. På sitt sedvanliga frimodiga manér, och med många refe-renser till såväl filosofi som naturvetenskap, tar han helt udden av evidensrörelsens tanke att det skulle finnas en hierarki av metoder för att åstadkomma evidens. Hans argument är att den vetenskapliga världen, som idag håller på att kvävas av kraven på att bevisa kausalitet, klarar sig mycket väl utan evidenshierarkier. Ett roligt exempel på detta hämtar han från fysikens värld:
”But even there, where the term ’experiments’ is always used, it does not refer to experiments with randomized controls, but to those ruled by simple pre-post design, entirely adequate in those circumstances to establish the conclusions to the satisfaction of the Nobel Prize committees. It is simply absurd to suggest that the conclusions arrived at in these circumstances do not deserve to be called ‘evidence-based’ because there is no RCT (dvs. randomized control trial, mitt tillägg) in sight.”

Åsa Sohlman har läst:

Finanspolitiska rådet, 2009: Svensk Finanspolitik: Finanspolitiska rådets rapport 2009.

Det låter kanske inte som en utvärdering men det är det, en utvärdering av regeringens ekonomiska politik inklusive arbetsmarknadspolitik. Den skarpaste och mest initierade granskningen av regeringens politik kommer faktiskt inte från oppositionen utan från regeringens eget Finanspolitiska råd. Låt mig illustrera hur rådet, genom en blandning av forskningsbaserade slutsatser och bedömningar, värderar regeringens arbetsmark-nadspolitik. Andra områden som diskuteras i rapporten är finanspolitiken, överskotts-målet, offentliga investeringar och skattepolitiken.

Utgångspunkten för granskningen är regeringens mål för politiken. För sysselsättningen är regeringens mål att ”öka den sysselsättningsnivå som är förenlig med stabil inflation och ekonomisk balans i övrigt” vilket enligt rådet kan uttolkas som ett mål om att jämviktssysselsättningen ska öka. I rådande konjunkturläge blir dock den viktigaste ambitionen att motverka att den ökade konjunkturella arbetslösheten leder till lägre jämviktssysselsättning.

Inriktningen på regeringens arbetsmarknadspolitik har varit ”effektiv matchning och stärkt konkurrenskraft hos dem som står längst från arbetsmarknaden”. I lågkonjunk-turen kompletteras nu politiken med tillfälliga åtgärder som ska motverkar att arbets-lösheten fastnar på en hög nivå. Det blir mer resurser till Arbetsförmedlingen för coaching och praktik, fördubblade subventioner till nystartjobben, fler platser i yrkesvux och yrkeshögskola och fler som kan få studiemedel med hög bidragsdel.

Rådet bedömer den nuvarande politikens betoning av jobbsökar- och matchnings-åtgärder som rimlig. Den stöds av att dessa åtgärder tycks vara kostnadseffektiva enligt de utvärderingar som gjorts. Men rådet varnar samtidigt för övertro på den arbets-marknadspolitiken.

Forskningen ger mindre klara slutsatser när det gäller avvägning mellan subventionerad syselsättning och arbetsmarknadsutbildning. Rådet bedömer att konstruktionen av nystartjobben ligger i linje med forskningen efter som de riktar sig till långtidsarbetslösa. Däremot finner rådet det svårt att motivera att arbetsmarknadsutbildningen hållits nere på så låg nivå. Förutsättningarna för en effektiv arbetsmarknadsutbildning är goda i dagsläget och utvärderingar visar på positiva individeffekter. Det är, enligt rådet, svårt att se varför det inte skulle vara möjligt att bedriva en effektiv yrkesinriktad arbetsmarknadsutbildning med i genomsnitt 15 000 deltagare per månad.

Det är också enligt rådet oklart vad som motiverar regeringens omprioritering av resurser från arbetsmarknadsutbildning till yrkesutbildning i det reguljära utbildningssystemet. Det har gjorts färre utvärderingar av vuxenutbildning än av arbetsmarknadsutbildning. De studier som finns tyder på att komvuxstudier i bästa fall har en svagt positiv effekt på deltagarnas framtida inkomster. Utbyggnaden av yrkesvux skulle kunna vara ett komplement till arbetsmarknadsutbildning inte ett substitut.