Vilka samband förklarar vår dåliga kunskap om samband?

Jag ska direkt säga att jag själv inte är någon statistiker, även om jag emellanåt verkligen önskar att jag var det. Det faller sig ju dock så att jag jobbar en del med statistik och har med tiden blivit bättre på det, men de ökade insikterna har i huvudsak bara lett mig rakt in i den Sokratiska paradoxen av att ju mer jag lärt mig desto mer har jag begripit att jag inget begriper.

En sak jag har blivit bättre på är att lära mig att inte falla i den statistiskt sett vanligaste statistikfallgropen, nämligen att förväxla samband med samvariation (eller kausalitet med korrelation). Nationalekonomen Andreas Bergh har på sin blogg uppmärksammat roliga (och ibland skrämmande) exempel på detta här och här. Ett av dessa exempel fick något i mitt huvud att snurra igång och fick mig att minnas ett roligt exempel på samma fel fast gällande ålder och bensinpris*, varför jag bara var tvungen undersöka hur min ålder har påverkat utvecklingen av bensinpriset (all data är hämtad från Svenska Petroleum & Biodrivmedel Institutet (SPBI)):

Som diagrammet visar tycks det finnas ett solklart samband mellan min ålder och bensinprisets nivå. Detta beläggs också med följande regressionsanalys:

Summa summarum lyckas alltså min ålder förklara 96,5 % av variationen i bensinpriset, inte illa!

Varför detta nonsensexempel om bensinpris? (den som fördjupar sig i SPBI:s data ser ganska snabbt att det som förklarar prisstegringen inte är min ålder utan snarare utvecklingen av drivmedelsskatten, råvarupriset samt tillkomsten av momsen) Jo därför att hela denna berättelse också berättar något specifikt om den utbildning jag har gått och om svensk pedagogisk och/eller utbildningvetenskaplig forskning i stort: Nämligen att lärarutbildningen, som en konsekvens av den svenska pedagogiska och utbildningsvetenskapliga forskningens inriktning, har en ofantlig slagsida åt kvalitativa metoder, både vad det gäller den lilla metodutbildning som ges samt i de examensarbeten som produceras i utbildningen. Jag är inget undantag.

Detta problem har uppmärksammats både i en studie från Högskoleverket samt i Lärarutbildningsutredningen (HUT 07, se avsnitt 6.3). Högskoleverket skriver (s.52):

”Hur ser då en typisk uppsats inom lärarprogrammet ut? Den har författats av två kvinnor och omfattar drygt 30 sidor. Uppsatsen bygger på så kallad kvalitativ metod, och data har insamlat genom intervjuer. Utgångspunkter och referenser till teori och forskning avser i första hand olika former av sekundärlitteratur, som till exempel kurslitteratur på svenska. Vid redovisning av resultat förekommer sällan tabeller och figurer. Många av de godkända uppsatserna har av de externa granskarna fått både lägre och högre helhetsomdömen, men det förra dominerar och det är en relativt stor andel av uppsatserna som tilldelats omdömet Med tvekan godkänd. […]

Däremot finns tillkortakommanden framför allt i relation till teorirelaterade aspekter samt vad gäller kritisk förmåga och självständighet. Det är heller inte ovanligt att uppsatserna har ett visst inslag av normativitet där resultat mer relateras till tyckanden av skilda slag än till vetenskapligt grundade argument. Det förefaller, vilket inte är givet, som om det skulle råda ett motsatsförhllande mellan yrkesrelevans och vetenskaplighet, och i den typiska uppsatsen inom lärarprogrammet ror till synes den förra hem spelet.”

Detta problem härstammar som sagt från den svenska pedagogiska och utbildningsvetenskapliga forskningen. Som en följd därav är den svenska pedagogiska och utbildningsvetenskapliga forskningen generellt sett dålig på att förklara vad som fungerar och inte samt belägga vad som har effekt och inte. Men för att ha något mer att skriva om framöver – och för att det är sent på kvällen – så ber jag att få återkomma till detta i något senare inlägg.

* Jag vet inte vem jag ska tillskriva exemplet men jag misstänker att det finns många statistiklärare där ute som använder sig av samma eller liknande exempel varför alla gemensamt får ta åt sig äran över exemplet.

Annonser
Taggad , , , ,

5 thoughts on “Vilka samband förklarar vår dåliga kunskap om samband?

  1. […] Sverige i ett sådant här sammanhang? Resultatet av min spaning styrker det som jag skrev om i ett tidigare inlägg, nämligen att det är få svenska forskare som på olika sätt sysslar med effektutvärderingar […]

  2. torestad skriver:

    Jag har missat din blogg förut. Det här är bl.a.det jag skrivit om under två års tid.
    Se min blogg torestad.blogspot.com

  3. […] Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här). […]

  4. […] Denna slutsats är intressant, alltså oavsett var undersökningen har ägt rum (i västvärlden) så kan de kausala mekanismerna – alltså vad är det som leder till att något får effekt – identifieras oberoende av situation. Denna typ av undersökningar som kan hävda generaliserbarhet (eller extern validitet för att använda finare ord) har den svenska skolforskning oftast inte varit intresserade av. […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: