Etikettarkiv: utbildningsvetenskaplig forskning

Gissa sambandet – hur var det nu då?

Det har blivit dags att avslöja resultaten från den gissningslek som inleddes i det förra inlägget samt delge det rätta svaret. Totalt har 73 personer lämnat en gissning vilket innebär att undersökningen haft ett stort bortfall givet hur många som läst inlägget. Gissningarna fördelade sig enligt följande:

andelsvarandeDen ”låga” svarsfrekvensen åsidosatt så var det ändå en majoritet som gissade rätt: Sambandet är starkast mellan föräldrarnas utbildningsnivå och elevernas betyg och svagast med resultaten på de nationella proven. Respektive samband beskrivs i dessa scatterplots:

samband_resultat

Ni som nu gissade på något annat än att sambandet är starkast för betygen ska inte misströsta härvidlag – detta var själva poängen med inlägget från början! För om man tänker efter så känns det väl som att man kan komma på sannolika förklaringar till varför samtliga påståenden skulle kunna vara sanna?

Det tycks plausibelt att föräldrar med högre utbildningsnivå i större utsträckning på olika sätt bidrar till barnens allmänbildning. Sociologer brukar försöka fånga olika aspekter av detta kulturella kapital genom att i enkäter fråga hur många böcker som finns i hemmet. Det skulle kanske också kunna mätas i hur mycket man tittar på nyheterna, läser dagstidningar, diskuterar aktuella händelser vid middagsbordet mm. Ur ett sådant perspektiv tycks det sannolikt att dessa barn skulle prestera bättre på DN:s nutidsorientering.

Samtidigt känns det inte osannolikt att föräldrar med högre utbildningsnivå i större utsträckning skulle kunna hjälpa till med läxor och annat skolarbete samt höja studiemotivationen mm, vilket skulle kunna leda till antingen högre betyg eller högre resultat på nationella proven i matematik (eller både och).

Den viktigaste slutsatsen att dra är att föräldrarnas utbildningsnivå – så som jag påtalade i det första inlägget – inte har en sprikrak kausal effekt på elevernas resultat som endast innebär att ”bildade föräldrar bidrar till bildade barn”. Måttet inrymmer så mycket mer. Detta ”så mycket mer” får större effekt på betygen i sin helhet än bara på de nationella proven.

Detta är en mycket intressant insikt. Man skulle kunna argumentera för att när vi tittar på föräldrapåverkan på elevresultaten på de nationella proven får vi fram en ”renare” bild av vad skolan bidrar med och vad föräldrarna bidrar med. Detta skulle kunna vara en intressant utgångspunkt för att diskutera skolors olika kompensatoriska effekt (se ett intressant inlägg på detta tema från Jonas Vlachos här).

Vad består då detta ”så mycket mer” av, som föräldrautbildning ger på elevernas betyg? Det finns bland annat en effekt av var man bor. Befolkning i storstäder har generellt högre utbildningsnivå (vilket korrelerar med högre betyg), större städer har oftare högre andel friskolor (vilket korrelerar med något högre betyg) vilket innebär att de också har en mer konkurrensutsatt skolmarknad (vilket korrelerar med högre betyg). Föräldrar med hög utbildningsnivå påverkar i större utsträckning elevernas så kallade ”icke-kognitiva” egenskaper, såsom uthållighet, planeringsförmåga, studiemotivation mm. Dessa egenskaper korrelerar starkt med högre betyg (se källor här och här).

Vilka avslutande slutsatser kan vi dra? Föräldrarnas utbildningsnivå är mycket betydelsefullt för elevernas resultat, men vi måste vara medvetna om att effekterna av densamma är komplexa och påverkar elevernas resultat på olika sätt. Dessutom kan det ha olika betydelse för olika elever (se studie här som visar att sambandet är starkare för elever med svensk bakgrund än för elever med utländsk). Detta får såklart också implikationer både på systemnivå och på skolnivå. Borde uppföljningssystemen riggas på något annat sätt för att minska ned betydelsen av ”det runt omkring”? Borde differentiering och variationen i systemet minskas för att minska betydelsen av bostadsort? Borde resursfördelningssystem med mera förändras för att öka skolans kompensatoriska effekt? Behöver skolor fundera över i vilka sammanhang föräldrarna får störst betydelse för elevresultat? Hur mycket förväntas föräldrarna bidra med i fråga om läxor med mera?

Det finns mycket att fundera över, minst sagt.

Den intresserade finner datasetet till detta inlägg här.

Taggad , , , , , , ,

Skrämseltaktik om evidensbaserade studier i skolan?

För någon tid sedan skrev Lars Pålsson Syll en artikel på debattsidan Skola och samhälle som handlade om den nutida fascinationen för evidensbaserade studier inom svensk skoldebatt och skolforskning. I artikeln redogör han för vissa centrala problem för evidensbaserade studier och konkluderar att det vore bättre om lärarna fick ägna sig åt det de gör bäst, nämligen att försöka undervisa eleverna på bästa tänkbara sätt efter deras behov. Förhoppningsvis, menar Syll, får inriktningen på evidensbaserade studier i skolforskningen inga effekter alls, i värsta fall kan det leda in på villospår.

Jag tänkte med det här inlägget låta mig själv breda ut texten lite och i några centrala punkter peka på sådant som jag själv uppfattar som brister i Sylls artikel samt försöka visa på, dels vad Syll (förmodligen medvetet) utelämnar i sin metodologiska diskussion, dels hur resonemanget gällande den evidensbaserade forskningen nästan i större grad är giltig för den pedagogiska forskningen i stort och inte specifikt för evidensbaserad forskning.

Låt oss börja med att reda ut vad som menas med ”evidensbaserad forskning”. Den grundläggande idén kommer från medicinsk forskning där evidensbaserade studier är ett viktigt redskap för att testa ut nya mediciner och behandlingsmetoder. Det centrala inslaget i evidensbaserade studiers metod är att de använder sig av randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Härigenom framkommer möjligheten att jämföra eventuella effekter grupperna emellan och de effektskillnader man som forskare uppmäter är (förhoppningsvis) ett resultat av interventionen. Om de uppmätta effekterna är stora på de områden man önskar kan det vara värt att fortsätta använda metoden. Att man kallar forskningen för ”evidensbaserad” är alltså för att markera att det ”finns evidens” för att den undersökta metoden (interventionen) har haft effekt.

Redan i denna beskrivning av evidensbaserade studier kan vi identifiera några av de delar som Syll kritiserar. Syll påpekar att det kan finnas en svårighet i att veta att det just är interventionen som har haft effekt, tänk om det var något annat? Om exemplet ovan handlar om utprövning av nya blodförtunnande mediciner är det rimligt att tänka sig att samtliga deltagares ålder, kondition, tidigare leverne, tidigare sjukdomar och så vidare påverkar effekterna av interventionen. Det vi tror är stora effekter av interventionen skulle egentligen, menar Syll, kunna vara en effekt av att ett gäng gubbar och gummor i studien helt plötsligt fått för sig att börja jogga igen, och därigenom uppvisar förbättrat hälsotillstånd.

Detta skulle kunna föranleda oss att göra politiska felsteg. Om vi, i villfarelsen att det var interventionen som hade stora effekter, börjar skriva ut den nya medicinen i stor skala så har vi missat vad vi verkligen borde ordinera – mer motion (paradoxalt nog är detta precis sådan kritik som också riktas mot icke-evidensbaserad forskning, se exempel på forskning.se).

Syll är dock finurlig när han lägger fram denna kritik. Detta är nämligen problem som länge har gäckat alla de som sysslar med kvantitativa metoder och han, i sin roll som nationalekonom, är väl medveten om hur man gör för att kontrollera för olika variabler i analysen (den som är intresserad av hur detta går till rekommenderas varmt att läsa denna exemplariska beskrivning i SPSS-akuten. Bilden intill är hämtad därifrån.).

Det finns dock ett djupare problem kopplat till detta, som faktiskt många kvantitativa studier inom flertalet discipliner – inte endast pedagogik och ämnesdidaktik – lider av. Det är att utforma studierna till att vara hypotesprövande. Att rigga studier till att vara just hypotesprövande slarvas det något alldeles otroligt med, trots att många av grundskolans lärare i naturvetenskapliga ämnen idogt tjatat på elevgeneration efter elevgeneration att de måste ställa upp en hypotes innan de kör igång med laborationerna (det gjorde i alla fall min NO-lärare, om du läser det här Anna – tack!).

Som det framgår av ordet i sig självt så handlar hypotesprövning om att först ställa upp en hypotes (givet att premiss A och B gäller så förväntar jag mig att X kommer att ske, eller översatt: Givet rätt atmosfäriskt tryck (A) och tillräckligt tillförd värme (B) så förväntar jag mig att vattnet kommer att koka (X)) och sedan via ett försök, en observation, en statistiskt undersökning eller annat undersöka om hypotesen stämmer eller ej.

Det som gör hypotesprövningen centralt för den här diskussionen, kopplat till Sylls artikel, är att om vi inte först ställer upp en hypotes, utan bara planlöst börjar söka efter samband mellan olika företeelser så är risken stor att vi råkar trilla över ett såkallat spuriöst samband, eller på ren svenska – ett nonsenssamband. Låt mig ge ett exempel: Anta att jag har ramlat över en spännande datauppsättning som innehåller drunkningsolyckor i Sverige för åren 1998-2008. Jag studerar variationen i statistiken och upptäcker att det finns ett visst mönster i variationen, i synnerhet mellan sommar och vinter. Detta måste bero på något! Glad i hågen söker jag planlöst runt på internet tills jag ramlar över statistik över GB:s glassförsäljning för tidsperiod. Spännande tänker jag och gör korrelations- och regressionsanalyser mellan drunkningsolyckor och glassförsäljning och döm av min förvåning när analysen svart på vitt visar att glassförsäljningen har ett mycket gott förklaringsvärde på antalet drunkningsolyckor; ökad glassförsäljning orsakar fler drunkningsolyckor! (den som vill fördjupa sig i detta rekommenderas att läsa den formidabla skriften ”Konsten att vara vetenskaplig” av filosofen och vetenskapsteoretikern Sven Ove Hansson. Gällande hypotesprövning mm, se i synnerhet s.75-80).

Det hypotesprövningen bidrar med är därför i stort att forskaren binder sin kommande studie till en viss teoribildning eller tidigare empiriska fynd som avser kunna förklara ett visst fenomen och resultaten i studien bedöms just efter om de belägger eller vederlägger hypotesen.

För att sammanfatta det jag har skrivit hittills: Ja, Syll för fram rättmätig kritik mot många evidensbaserade studiers metodik, men det är i stor grad möjligt att undvika dessa problem genom att alltid utgå från en noggrant formulerad hypotes som också försöker förutsäga vilka kontrollvariabler som kommer att vara betydelsefulla för analysen.

Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här).

För den läsare som vill skapa sig en egen uppfattning av skillnaderna mellan en nyare evidensbaserad studie och ett typexempel på svensk kvalitativ forskning kan jämföra dessa två finländska delstudier av Heikki Lyytinen m.fl samt denna svenska doktorsavhandling.

Min personliga slutsats av den evidensbaserade forskningens inträde i svensk utbildningsvetenskaplig forskning är att den har mycket att bidra med, både resultatmässigt men även som en metodologisk vitamininjektion. Jag tror personligen också att många av de farhågor som målas upp av Syll m.fl är överdrivna.

Men det kan jag förstås inte i strikt vetenskaplig mening vara helt säker på.

Taggad , , , , , , , , , , , , , ,

Vilka samband förklarar vår dåliga kunskap om samband?

Jag ska direkt säga att jag själv inte är någon statistiker, även om jag emellanåt verkligen önskar att jag var det. Det faller sig ju dock så att jag jobbar en del med statistik och har med tiden blivit bättre på det, men de ökade insikterna har i huvudsak bara lett mig rakt in i den Sokratiska paradoxen av att ju mer jag lärt mig desto mer har jag begripit att jag inget begriper.

En sak jag har blivit bättre på är att lära mig att inte falla i den statistiskt sett vanligaste statistikfallgropen, nämligen att förväxla samband med samvariation (eller kausalitet med korrelation). Nationalekonomen Andreas Bergh har på sin blogg uppmärksammat roliga (och ibland skrämmande) exempel på detta här och här. Ett av dessa exempel fick något i mitt huvud att snurra igång och fick mig att minnas ett roligt exempel på samma fel fast gällande ålder och bensinpris*, varför jag bara var tvungen undersöka hur min ålder har påverkat utvecklingen av bensinpriset (all data är hämtad från Svenska Petroleum & Biodrivmedel Institutet (SPBI)):

Som diagrammet visar tycks det finnas ett solklart samband mellan min ålder och bensinprisets nivå. Detta beläggs också med följande regressionsanalys:

Summa summarum lyckas alltså min ålder förklara 96,5 % av variationen i bensinpriset, inte illa!

Varför detta nonsensexempel om bensinpris? (den som fördjupar sig i SPBI:s data ser ganska snabbt att det som förklarar prisstegringen inte är min ålder utan snarare utvecklingen av drivmedelsskatten, råvarupriset samt tillkomsten av momsen) Jo därför att hela denna berättelse också berättar något specifikt om den utbildning jag har gått och om svensk pedagogisk och/eller utbildningvetenskaplig forskning i stort: Nämligen att lärarutbildningen, som en konsekvens av den svenska pedagogiska och utbildningsvetenskapliga forskningens inriktning, har en ofantlig slagsida åt kvalitativa metoder, både vad det gäller den lilla metodutbildning som ges samt i de examensarbeten som produceras i utbildningen. Jag är inget undantag.

Detta problem har uppmärksammats både i en studie från Högskoleverket samt i Lärarutbildningsutredningen (HUT 07, se avsnitt 6.3). Högskoleverket skriver (s.52):

”Hur ser då en typisk uppsats inom lärarprogrammet ut? Den har författats av två kvinnor och omfattar drygt 30 sidor. Uppsatsen bygger på så kallad kvalitativ metod, och data har insamlat genom intervjuer. Utgångspunkter och referenser till teori och forskning avser i första hand olika former av sekundärlitteratur, som till exempel kurslitteratur på svenska. Vid redovisning av resultat förekommer sällan tabeller och figurer. Många av de godkända uppsatserna har av de externa granskarna fått både lägre och högre helhetsomdömen, men det förra dominerar och det är en relativt stor andel av uppsatserna som tilldelats omdömet Med tvekan godkänd. […]

Däremot finns tillkortakommanden framför allt i relation till teorirelaterade aspekter samt vad gäller kritisk förmåga och självständighet. Det är heller inte ovanligt att uppsatserna har ett visst inslag av normativitet där resultat mer relateras till tyckanden av skilda slag än till vetenskapligt grundade argument. Det förefaller, vilket inte är givet, som om det skulle råda ett motsatsförhllande mellan yrkesrelevans och vetenskaplighet, och i den typiska uppsatsen inom lärarprogrammet ror till synes den förra hem spelet.”

Detta problem härstammar som sagt från den svenska pedagogiska och utbildningsvetenskapliga forskningen. Som en följd därav är den svenska pedagogiska och utbildningsvetenskapliga forskningen generellt sett dålig på att förklara vad som fungerar och inte samt belägga vad som har effekt och inte. Men för att ha något mer att skriva om framöver – och för att det är sent på kvällen – så ber jag att få återkomma till detta i något senare inlägg.

* Jag vet inte vem jag ska tillskriva exemplet men jag misstänker att det finns många statistiklärare där ute som använder sig av samma eller liknande exempel varför alla gemensamt får ta åt sig äran över exemplet.

Taggad , , , ,