Vilka samband förklarar vår dåliga kunskap om samband?

Jag ska direkt säga att jag själv inte är någon statistiker, även om jag emellanåt verkligen önskar att jag var det. Det faller sig ju dock så att jag jobbar en del med statistik och har med tiden blivit bättre på det, men de ökade insikterna har i huvudsak bara lett mig rakt in i den Sokratiska paradoxen av att ju mer jag lärt mig desto mer har jag begripit att jag inget begriper.

En sak jag har blivit bättre på är att lära mig att inte falla i den statistiskt sett vanligaste statistikfallgropen, nämligen att förväxla samband med samvariation (eller kausalitet med korrelation). Nationalekonomen Andreas Bergh har på sin blogg uppmärksammat roliga (och ibland skrämmande) exempel på detta här och här. Ett av dessa exempel fick något i mitt huvud att snurra igång och fick mig att minnas ett roligt exempel på samma fel fast gällande ålder och bensinpris*, varför jag bara var tvungen undersöka hur min ålder har påverkat utvecklingen av bensinpriset (all data är hämtad från Svenska Petroleum & Biodrivmedel Institutet (SPBI)):

Som diagrammet visar tycks det finnas ett solklart samband mellan min ålder och bensinprisets nivå. Detta beläggs också med följande regressionsanalys:

Summa summarum lyckas alltså min ålder förklara 96,5 % av variationen i bensinpriset, inte illa!

Varför detta nonsensexempel om bensinpris? (den som fördjupar sig i SPBI:s data ser ganska snabbt att det som förklarar prisstegringen inte är min ålder utan snarare utvecklingen av drivmedelsskatten, råvarupriset samt tillkomsten av momsen) Jo därför att hela denna berättelse också berättar något specifikt om den utbildning jag har gått och om svensk pedagogisk och/eller utbildningvetenskaplig forskning i stort: Nämligen att lärarutbildningen, som en konsekvens av den svenska pedagogiska och utbildningsvetenskapliga forskningens inriktning, har en ofantlig slagsida åt kvalitativa metoder, både vad det gäller den lilla metodutbildning som ges samt i de examensarbeten som produceras i utbildningen. Jag är inget undantag.

Detta problem har uppmärksammats både i en studie från Högskoleverket samt i Lärarutbildningsutredningen (HUT 07, se avsnitt 6.3). Högskoleverket skriver (s.52):

”Hur ser då en typisk uppsats inom lärarprogrammet ut? Den har författats av två kvinnor och omfattar drygt 30 sidor. Uppsatsen bygger på så kallad kvalitativ metod, och data har insamlat genom intervjuer. Utgångspunkter och referenser till teori och forskning avser i första hand olika former av sekundärlitteratur, som till exempel kurslitteratur på svenska. Vid redovisning av resultat förekommer sällan tabeller och figurer. Många av de godkända uppsatserna har av de externa granskarna fått både lägre och högre helhetsomdömen, men det förra dominerar och det är en relativt stor andel av uppsatserna som tilldelats omdömet Med tvekan godkänd. […]

Däremot finns tillkortakommanden framför allt i relation till teorirelaterade aspekter samt vad gäller kritisk förmåga och självständighet. Det är heller inte ovanligt att uppsatserna har ett visst inslag av normativitet där resultat mer relateras till tyckanden av skilda slag än till vetenskapligt grundade argument. Det förefaller, vilket inte är givet, som om det skulle råda ett motsatsförhllande mellan yrkesrelevans och vetenskaplighet, och i den typiska uppsatsen inom lärarprogrammet ror till synes den förra hem spelet.”

Detta problem härstammar som sagt från den svenska pedagogiska och utbildningsvetenskapliga forskningen. Som en följd därav är den svenska pedagogiska och utbildningsvetenskapliga forskningen generellt sett dålig på att förklara vad som fungerar och inte samt belägga vad som har effekt och inte. Men för att ha något mer att skriva om framöver – och för att det är sent på kvällen – så ber jag att få återkomma till detta i något senare inlägg.

* Jag vet inte vem jag ska tillskriva exemplet men jag misstänker att det finns många statistiklärare där ute som använder sig av samma eller liknande exempel varför alla gemensamt får ta åt sig äran över exemplet.