Skrämseltaktik om evidensbaserade studier i skolan?

För någon tid sedan skrev Lars Pålsson Syll en artikel på debattsidan Skola och samhälle som handlade om den nutida fascinationen för evidensbaserade studier inom svensk skoldebatt och skolforskning. I artikeln redogör han för vissa centrala problem för evidensbaserade studier och konkluderar att det vore bättre om lärarna fick ägna sig åt det de gör bäst, nämligen att försöka undervisa eleverna på bästa tänkbara sätt efter deras behov. Förhoppningsvis, menar Syll, får inriktningen på evidensbaserade studier i skolforskningen inga effekter alls, i värsta fall kan det leda in på villospår.

Jag tänkte med det här inlägget låta mig själv breda ut texten lite och i några centrala punkter peka på sådant som jag själv uppfattar som brister i Sylls artikel samt försöka visa på, dels vad Syll (förmodligen medvetet) utelämnar i sin metodologiska diskussion, dels hur resonemanget gällande den evidensbaserade forskningen nästan i större grad är giltig för den pedagogiska forskningen i stort och inte specifikt för evidensbaserad forskning.

Låt oss börja med att reda ut vad som menas med ”evidensbaserad forskning”. Den grundläggande idén kommer från medicinsk forskning där evidensbaserade studier är ett viktigt redskap för att testa ut nya mediciner och behandlingsmetoder. Det centrala inslaget i evidensbaserade studiers metod är att de använder sig av randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Härigenom framkommer möjligheten att jämföra eventuella effekter grupperna emellan och de effektskillnader man som forskare uppmäter är (förhoppningsvis) ett resultat av interventionen. Om de uppmätta effekterna är stora på de områden man önskar kan det vara värt att fortsätta använda metoden. Att man kallar forskningen för ”evidensbaserad” är alltså för att markera att det ”finns evidens” för att den undersökta metoden (interventionen) har haft effekt.

Redan i denna beskrivning av evidensbaserade studier kan vi identifiera några av de delar som Syll kritiserar. Syll påpekar att det kan finnas en svårighet i att veta att det just är interventionen som har haft effekt, tänk om det var något annat? Om exemplet ovan handlar om utprövning av nya blodförtunnande mediciner är det rimligt att tänka sig att samtliga deltagares ålder, kondition, tidigare leverne, tidigare sjukdomar och så vidare påverkar effekterna av interventionen. Det vi tror är stora effekter av interventionen skulle egentligen, menar Syll, kunna vara en effekt av att ett gäng gubbar och gummor i studien helt plötsligt fått för sig att börja jogga igen, och därigenom uppvisar förbättrat hälsotillstånd.

Detta skulle kunna föranleda oss att göra politiska felsteg. Om vi, i villfarelsen att det var interventionen som hade stora effekter, börjar skriva ut den nya medicinen i stor skala så har vi missat vad vi verkligen borde ordinera – mer motion (paradoxalt nog är detta precis sådan kritik som också riktas mot icke-evidensbaserad forskning, se exempel på forskning.se).

Syll är dock finurlig när han lägger fram denna kritik. Detta är nämligen problem som länge har gäckat alla de som sysslar med kvantitativa metoder och han, i sin roll som nationalekonom, är väl medveten om hur man gör för att kontrollera för olika variabler i analysen (den som är intresserad av hur detta går till rekommenderas varmt att läsa denna exemplariska beskrivning i SPSS-akuten. Bilden intill är hämtad därifrån.).

Det finns dock ett djupare problem kopplat till detta, som faktiskt många kvantitativa studier inom flertalet discipliner – inte endast pedagogik och ämnesdidaktik – lider av. Det är att utforma studierna till att vara hypotesprövande. Att rigga studier till att vara just hypotesprövande slarvas det något alldeles otroligt med, trots att många av grundskolans lärare i naturvetenskapliga ämnen idogt tjatat på elevgeneration efter elevgeneration att de måste ställa upp en hypotes innan de kör igång med laborationerna (det gjorde i alla fall min NO-lärare, om du läser det här Anna – tack!).

Som det framgår av ordet i sig självt så handlar hypotesprövning om att först ställa upp en hypotes (givet att premiss A och B gäller så förväntar jag mig att X kommer att ske, eller översatt: Givet rätt atmosfäriskt tryck (A) och tillräckligt tillförd värme (B) så förväntar jag mig att vattnet kommer att koka (X)) och sedan via ett försök, en observation, en statistiskt undersökning eller annat undersöka om hypotesen stämmer eller ej.

Det som gör hypotesprövningen centralt för den här diskussionen, kopplat till Sylls artikel, är att om vi inte först ställer upp en hypotes, utan bara planlöst börjar söka efter samband mellan olika företeelser så är risken stor att vi råkar trilla över ett såkallat spuriöst samband, eller på ren svenska – ett nonsenssamband. Låt mig ge ett exempel: Anta att jag har ramlat över en spännande datauppsättning som innehåller drunkningsolyckor i Sverige för åren 1998-2008. Jag studerar variationen i statistiken och upptäcker att det finns ett visst mönster i variationen, i synnerhet mellan sommar och vinter. Detta måste bero på något! Glad i hågen söker jag planlöst runt på internet tills jag ramlar över statistik över GB:s glassförsäljning för tidsperiod. Spännande tänker jag och gör korrelations- och regressionsanalyser mellan drunkningsolyckor och glassförsäljning och döm av min förvåning när analysen svart på vitt visar att glassförsäljningen har ett mycket gott förklaringsvärde på antalet drunkningsolyckor; ökad glassförsäljning orsakar fler drunkningsolyckor! (den som vill fördjupa sig i detta rekommenderas att läsa den formidabla skriften ”Konsten att vara vetenskaplig” av filosofen och vetenskapsteoretikern Sven Ove Hansson. Gällande hypotesprövning mm, se i synnerhet s.75-80).

Det hypotesprövningen bidrar med är därför i stort att forskaren binder sin kommande studie till en viss teoribildning eller tidigare empiriska fynd som avser kunna förklara ett visst fenomen och resultaten i studien bedöms just efter om de belägger eller vederlägger hypotesen.

För att sammanfatta det jag har skrivit hittills: Ja, Syll för fram rättmätig kritik mot många evidensbaserade studiers metodik, men det är i stor grad möjligt att undvika dessa problem genom att alltid utgå från en noggrant formulerad hypotes som också försöker förutsäga vilka kontrollvariabler som kommer att vara betydelsefulla för analysen.

Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här).

För den läsare som vill skapa sig en egen uppfattning av skillnaderna mellan en nyare evidensbaserad studie och ett typexempel på svensk kvalitativ forskning kan jämföra dessa två finländska delstudier av Heikki Lyytinen m.fl samt denna svenska doktorsavhandling.

Min personliga slutsats av den evidensbaserade forskningens inträde i svensk utbildningsvetenskaplig forskning är att den har mycket att bidra med, både resultatmässigt men även som en metodologisk vitamininjektion. Jag tror personligen också att många av de farhågor som målas upp av Syll m.fl är överdrivna.

Men det kan jag förstås inte i strikt vetenskaplig mening vara helt säker på.

Annonser
Taggad , , , , , , , , , , , , , ,

13 thoughts on “Skrämseltaktik om evidensbaserade studier i skolan?

  1. Lars P Syll skriver:

    Hej Pontus,
    Alltid trevligt att få kommentarer på vad man skriver!
    Låt mig få ta tillfället i akt och göra ett par förtydliganden.
    Primo:Jag är verkligen ingen motståndare till kvantitativa metoder inom utbildningssektorn. Tvärtom är jag en av dem som under rad år pläderat för att vi exempelvis på våra lärarutbildningar måste utbilda studenterna i statistiska/kvantitativa metoder och inte som nu i stort sett bara släppa lös dem i den kvalitativa verktygslådan. Med dagens snabba och kostnadsfria tillgång till data via bl a webben är det sorgligt att inte ge studenterna tillgång också till dessa verktyg och göra det möjligt för dem att verkligen VÄLJA den metod som bäst passar till undersökningssyftet.
    Secondo: Min kritik av evidensbaseringshysterin gäller främst de många gånger ÖVERDRIVNA aspirationer som hänger samman med pratet om evidens – och inte minst “the gold standard”, randomiserade kliniska studier (RCT). Vetenskapsteoretiskt föreligger också fortfarande en uppsjö av problem kring vad “evidens” avser gälla. Vi har fortfarande ingen enhetlig, allmänt accepterad teori om evidens.
    Jag har på min blog en artikel –
    http://larspsyll.wordpress.com/2012/07/03/randomization-is-a-poor-substitute-for-real-science/ – där jag utvecklar de här tankegångarna lite mer utförligt och där det ges en del litteraturreferenser.

    • pontusbackstrom skriver:

      Jag får säga detsamma! Som du märker i min text (utöver den något stridlystna rubriken) så håller jag i stora delar med dig och tycker att din kritik är riktig, men såg också ett behov av att belysa delar som jag tyckte att du utelämnade. Likt dig har jag sett stora problem med den ensidigt kvalitativt inriktade svenska pedagogiska forskningen, och jag är själv fostrad av/i den. Det har tagit mycket av min vakna tid att hämta ikapp kunskaper i kantitativ metod som jag borde ha fått i min grundutbildning.

      Vad det gäller risken att evidensbaserade studier kan leda fel så är den såklart närvarande, men jag tror samtidigt inte att vi ska överdriva den. Även om det hade funnits en rik flora av effektutvärderande studier av exempelvis iPad-användning i läs- och skrivinlärning, så kommer det fortfarande att finnas en betydande andel lärare som under ett helt yrkesliv lyckats väldigt bra med att lära elever att läsa och dessa lärare kommer – oavsett vad nya studier visar – inte att vara helt bekväma med att skifta över till iPads från en termin till en annan. På gott och ont kan vissa tycka, men trögheten i skolsystemet (och lärarkåren) är inte endast av ondo.

      Bästa hälsningar,
      Pontus

  2. klalin skriver:

    Jag blev lite illa till mods när jag läste om alla de mediciner som i galopperande omfattning förskrivs till våra äldre invånare. Efter att ha läst texten ovan blir jag lugnare. Något mer evidensbaserat än alla dessa piller finns väl knappast?

    • pontusbackstrom skriver:

      Jag är tyvärr långt ifrån välbevandrad i medicinsk forskning men vet att evidensrörelsen inom medicinsk forskning är stark. Det är ju dock viktigt att komma ihåg (som både Pär påpekar i sin kommmentar och som Lars påpekar i sin artikel) att det finns viktiga skillnader mellan naturvetenskaplig forskning och utbildningsvetenskaplig. En stor skillnad ligger såklart i vad interventionen består av – piller med aktiva substanser eller lärare som gör vissa specifika saker på olika sätt. Effekter av aktiva substanser tycks på många sätt vara enklare att mäta och det förklarar varför det – med rätta – går snabbare för evidensbaserade metoder att vinna inomdisciplinärt gehör i medicin än i utbildningsvetenskap.

      Pontus

  3. Pär Engström skriver:

    Ett grundläggande problem anser jag vara att samhälls- och beteendevetenskaperna inte kan stå på ”egna” ben utan bedöms vetenskapligt utifrån naturvetenskapliga premisser.

    När samhälls- och beteendevetenskaperna har utvecklat en egen referensram där hypotesprövning etc. utgår från samhälleliga och beteenderelaterade frågor och inte behöver ta hjälp av naturvetenskapliga exempel så tror jag att en hel del är vunnet.

    En av de olyckliga dualismerna detta i förlängningen har lett till är t.ex. positivism vs relativism. När Roy Bhaskar försökte lösa denna dualism genom en kritisk realistisk ståndpunkt utgick han från naturvetenskaper (sedan har visserligen Margareth Archer utvecklat detta i en samhällsvetenskaplig inriktning). Exempelvis så kan man fundera på hans uppdelning i en transitiv och intransitiv dimension och på vilket sätt en beteendevetenskaplig fråga, t.ex. lärarnas ledarskap i klassrummet, och en naturvetenskaplig fråga, t.ex. vätskors reaktioner under specifika premisser, är oberoende av den epistemologi som forskarna ”vaskar” fram.

    Då åtestår frågan hur en hypotesprövning vad gäller t.ex. utbildningsvetenskapliga frågor ska gå till – om den ska utgå från det specifika studieobjektet som jag anser att människan och hans/hennes samhälle är.

    Kvantitativ såväl som kvalitativ forskning om undervisning har undersökt såväl läraregenskapers som undervisningsmetoders effekter på olika elevgrupper. Vad gäller undervisningsmetoder kan ett problem vara att renodla en metod från en annan metod eller kanske renodla någon aspekt av en metod från en annan aspekt av en (annan) metod och på så sätt generera en ackumulativ kunskap om undervisning. Hur skulle en sådan hypotesprövning gå till? Hur vet vi att det är metoden som testas och t.ex. inte lärarnas kunskaper om metoden eller andra egenskaper, interaktionseffekter mellan elever och mellan elever och lärare (som ligger utanför själva den testade metoden eller aspekter av metoden) etc etc.?

    Hur många sådana hypotesprövningar behövs för att säkerställa en generell utsaga om metoden? Detta med tanke på att samhället ständigt förändras såväl inom skolan som institution (nya regler, läroplaner etc etc) som samhället i stort, t.ex. nya sociala miljöer IKT) som påverkar oss.

    • pontusbackstrom skriver:

      Jag tycker, likt fallet med Sylls artikel, att du pekar på mycket relevanta problem som omgärdar evidensbaserade studier i utbildningsvetenskap i stort. Jag tror också att detta i stor grad än så länge förklarar varför vi i inte ännu sett en fullkomlig explosion av effektutvärderande studier som avser just undervisningsmetoder. De flesta av de studier som jag har kommit i kontakt med (och jag har långt ifrån kunskap om alla studier som publicerats) handlar än så länge om studier på ”rena” policyfrågor såsom klasstorlek, åldersintegrering, lärarbehörigheter, antal idrottstimmar i veckan mm.

      Jag kan dock tänka mig att vissa vägar initialt kan vara mer framkomliga än andra för att undersöka effekter av undervisningsmetoder och jag har svårt att se att det skulle vara rakt omöjligt att formulera mätbara hypoteser rörande aspekter av olika undervisningsmetoder. Om det är rätt eller fel får dock framtiden utvisa.

      Pontus

      • Pär Engström skriver:

        Hej!

        Nej, bevisligen är det inte omöjligt, t.ex. har John Hattie ”funnit” några sådana studier i sin metastudie. Men merparten av hans ”metateori” bygger inte på s.k. RCT. Hatties syfte var att komma med förklaringar och han menar att ”providing explantions is sometimes more difficult than identifieng causal effects” (s. 4).

        Och om den utbildningsvetenskapliga forskningen ska förklara och kanske till och med förändra den verklighet som studeras behövs ett gemensamt ramverk som tar hänsyn till ontologi, epistemologi och metodologi. Ett sådant ramverk ser jag just nu inte. Utbildningsvetenskap är som Christer Fritzell beskriver det ett smörgåsbord av olika discipliner.

        Återigen. Ett problem som samhälls- och beteendevetendskapar har är att de bedöms utifrån naturvetenskapliga premisser. Att ett samhälle innehåller t.ex. ideologier och att vetenskap är en del av detta samhälle är väl en förutsättning för denna vetenskap. Och om utbildningsvetenskap vill förändra samhället så bör nog dess ideologiska botten tydliggöras – och inte som nu ”gömmas” endast i metodologiska frågor.

  4. Kulturvetare skriver:

    Kvalitativ och kvantitativ forskning har båda sina sin plats, men det jag menar att den kvantitativa forskningen missar är lärarens roll. Läraren har genom sin personlighet och individuella kunskap en stor betydelse för elevernas inlärning. Olika lärare hanterar elever på olika sätt, detta kan vi inte komma ifrån. Läraren behöver bygga upp ett förtroende hos sina elever, och så har vi frågan om det som kan kallas för ”personkemi”, dvs det personliga interaktiva samspelet med varje individuell elev och läraren. Här finns det alltid skillnader därför att vi är människor, vi är individer.

    När du tar ett piller så behöver du inte interagera med pillret på ett personligt plan, pillret har ingen personlighet som påverkar dig, har ingen verbal och icke-verbal kommunikation med dig som du interagerar med medvetet eller omedvetet, men i en skola interagerar du med läraren på ett personligt plan. Därför menar jag att kvantitativ forskning har problem i skolan, för man kommer inte ifrån att metoder inte är oberoende av läraren. Läraren och de invididuella elevernas interaktion är alltid en subjektiv parameter du inte kan komma ifrån hur mycket positivism du än använder. Och just därför är hermeneutik och den kvantitativa forskningen ledande inom pedagogisk forskning. Positivismen har man gjort försök med många gånger tidigare, exempelvis på 50- och 60-talet, men man övergav den just på grund av att den inte förmedlar hela bilden. Och nu ska alltså positivismen återinföras? Har man inte lärt sig av tidigare misstag, har man inte lärt sig av historien, behöver vi verkligen gå igenom denna diskussion igen när vi fortfarande har samma problematik att skolan innebär flera subjektiva parametrar där läraren är en enormt viktig del. Möjligen att man in framtiden tar bort läraren helt och ersätter med datorprogram, men jag personligen anser att det vore ett misstag.

    Den kvalitativa forskningen innebär en strävan efter förståelse, att förstå processen mellan elever och lärare och jag anser att positivismen inte leder oss framåt här. Allt är inte svart eller vit, 1 eller 0, och därför behövs den kvalitativa forskningen i skolan. Jag anser att människor är mer komplexa än kvantitativ forskning erkänner där man strävar efter att plocka ut enskilda detaljer vilket gör att man missar helheten, och samma misstag menar jag att även naturvetenskapen gör. Den evidensbaserade medicinen fungerar inte på alla människor, för man missar individuella variationer och den har även många biverkningar som man bortser från. Många människor faller mellan stolarna och får inte hjälp av evidensbaserad medicin, därför att de faller utanför ramarna då deras personligheter och individualiserad problemområden inte ryms. Evidensbaserad medicin utgår från att människor är lika, att en sjukdom ser ut på samma sätt i alla människor, men faktum är att människor reagerar olika på pillren, det finns individuella variationer och det finns även de som inte blir hjälpta och därmed söker andra alternativ. Den evidensbaserade sjukvårdens problem med att möta människor på ett individuellt plan gör att många patienter upplever sig arrogant och felaktigt bemötta. Inom evidensbaserad medicin har man helt glömt bort läkarrollen, man tar inte hänsyn till den. Låt oss inte glömma bort lärarrollen i skolan!

    Det vore en tragedi om dessa svårigheter som hör ihop med den naturvetenskapliga metoden för människor skulle överföras till skolan, och jag känner mig därför mycket orolig när jag läser denna överdrivna positivism om positivismen som är inledningsanförandet till denna viktiga diskussion.

    Med vänlig hälsning.

  5. http://lrbloggar.se/forskarbloggen/2012/01/30/mera-evidens/

    Kulturvetare>
    1) Du verkar mena att det inte är vetenskapen i sig som strävar efter förståelse utan endast de kvalitativa metoderna? Det kan du ju inte rimligen mena men jag blir ändå nyfiken på hur du definierar begreppen? Gör du ngn skillnad på positivism och kvantitativa metoder?
    2) Kan man göra systemmatiska sammanställningar av studier kring ex. patientbemötande? Om man hittar metoder för att syntetisera kvalitativa resultat – kan det då ej ses som evidens?
    3) Kan den kvalitativa forskningstraditionen vara kumulativ (såklart att den är – annars vore det inte vetenskap men kanske frågan kan ställas för att provocera fram ett svar..)? Hur ska kunskapsområdet syntesiseras i så fall om all evidens är bannlyst?

    Pär Engström>
    ”Och om den utbildningsvetenskapliga forskningen ska förklara och kanske till och med förändra den verklighet som studeras behövs ett gemensamt ramverk som tar hänsyn till ontologi, epistemologi och metodologi. Ett sådant ramverk ser jag just nu inte. Utbildningsvetenskap är som Christer Fritzell beskriver det ett smörgåsbord av olika discipliner.” Intressant, var kan jag läsa mer?

    /Johan

  6. Christer Fritzell skriver:

    Hej
    Jag råkade se hänvisningen till min beskrivning av den svenska utbildningsvetenskapen som ett ”smörgåsbord”. Den finns i en artikel om ”Pedagogikens kris” i Pedagogisk Forskning i Sverige, nr 3, 2011.
    Jag försöker där analysera hur det kommer sig att pedagogikämnet tycks ha allt svårare att hävda en vetenskaplig status i den allmänna debatten, att fackpedagoger är så tysta om skolans förändringar och att i stället utbildningsvetenskap förmodas kunna leverera en vetenskaplig grund för lärarutbildning.
    Jag menar att den akademiska pedagogiken inte lyckats bygga upp och försvara en ställning som vetenskaplig disciplin utan snarare genom 1900-talet underordnats växlande strömningar inom förvaltningspolitiken på utbildningsområdet. Bristen på kritisk tradition visar sig nu inte minst i den tystnadens okultur som spridits sig på olika områden.
    Dessbättre finns en del tecken på att doktorander och yngre forskare visar större intresse för internationell vetenskapsfilosofi, reflexiv metodologi och disciplinär teoribildning.

    God Fortsättning!
    Christer Fritzell

  7. Anna skriver:

    Stringent skrivet. Betydligt mer stringent än professor Tomas Kroksmark. Rekommenderar hans senaste blogginlägg….

  8. […] med intervjuer som metod och med lite empiri som grund. Hatties studie är något nytt – en evidensbaserad studie. Denna typ av studier kommer från början från medicinsk forskning. Forskningen utgår från […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: