Etikettarkiv: kontrollvariabler

Hur mycket bättre är de fristående skolorna?

För någon vecka sedan skrev Mats Edman, chefredaktör på SKL-tidningen Dagens Samhälle, en krönika i vilken han drog slutsatsen att fristående skolor är mycket bättre än de kommunala skolorna. Hans slutsats baserades delvis på den då nysläppta årsrapporten från Skolinspektionen som uppvisade vissa skillnader i vilken kritik olika huvudmän fått i tillsynen. Ett ännu större nummer gjorde han dock på att betygsstatistiken från Skolverket visar att de fristående skolorna levererar mycket högre betygsgenomsnitt än vad de kommunala gör. Bland annat visar han att de fristående skolornas elever i snitt har 18 poäng högre meritvärde än de som gått kommunala skolor. Han visar också att de kommunala skolorna är starkt överrepresenterade bland de skolor som presterar sämst och de fristående skolorna bland de som presterar bäst.

Kritiken har dock inte låtit vänta på sig. Tidigt ute var bland annat Per-Arne Andersson, avdelningschef på – just det – SKL. Han påpekar i sin debattartikel att det är en alldeles för banal analys som ligger till grund för Edmans slutsatser i och med att han inte kontrollerar dessa skillnader mot skolornas elevsammansättning. Detta är en angelägen synpunkt från Andersson och flertalet av de som kommenterat Edmans krönika på nätet gör just också denna anmärkning. Anmärkningsvärt nog är det ingen som reder ut hur det faktiskt ligger till.

Jag tänkte att jag skulle bistå på den punkten.

Det finns en uppsättning strategier man kan använda för att kontrollera resultatskillnaderna mot elevsammansättning, jag tänkte använda mig av regressionsanalys. För att göra detta har jag skapat ett dataset med betygsdata och data över elevsammansättning på skolnivå. All data är från Skolverkets totalfiler i SIRIS och den intresserade kan ladda ned datasetet här. Av totalt 1661 grundskolor med årskurs 9 i landet finns data för 1490 skolor (bortfallet beror på att vissa populationer är för små för att redovisa). Av dessa är 1154 kommunala skolor och 336 fristående.

Syftet med detta inlägg är primärt att visa hur stor del av denna ”friskoleeffekt” som kan förklaras av de fristående skolornas elevsammansättning. För att åstadkomma en analys med pedagogiska och förhållandevis lättbegripliga resultat har jag därför gjort en regressionsanalys som först bara mäter den ”rena” friskoleeffekten. Detta görs genom att använda en dikotom variabel för huvudman (dvs en variabel som bara kan anta värdet 1 eller 0 (1 = fristående)).

Den okontrollerade medelvärdesskillnaden mellan kommunala och fristående skolor var drygt 18 poäng och det är den skillnaden som framgår av modell 1 nedan (B-koefficienten). I min analys är denna skillnad några tiondelar högre pga av bortfall på några skolor då dessa saknat data för vissa ingående variabler (n=1329).

I modell 2 tillförs sedan ett antal bakgrundsvariabler. Det finns ett problem som ska nämnas redan nu, och det är att många av de oberoende variablerna korrelerar perfekt med varandra i och med att andel elever med svensk bakgrund, utländsk bakgrund och utlandsfödda summerar till 100 % av eleverna per skola. Detsamma gäller för föräldrarnas utbildningsnivå. Detta kan bland annat lösas genom att använda stegvisa regressioner och att någon variabel tas bort i analysen (vilket jag gjort för att kontrollera resultaten).

tabell_edman

Vad ser vi då i analysen? Störst effekt på betygsresultaten har andel elever vars föräldrar har eftergymnasial utbildning (standardiserad koefficient 1,128) och andel elever vars föräldrar har högst gymnasial utbildning (0,504). Dessa siffror kan tyckas svåra att förstå men de anger en standardiserad effekt som möjliggör jämförelser mellan olika variabler, men det är egentligen inte den intressanta frågan för detta inlägg – här är vi endast intresserade av att ta reda på hur ”friskoleffekten” förändras under kontroll för skolornas olika elevsammansättning.

Detta tar vi reda på genom att dividera den nya effektstorleken för huvudman (från modell 2) med den ursprungliga (från modell 1), därigenom kan vi se hur stor andel av den ursprungliga effekten som ”kontrollerats bort” av variablerna för elevsammansättning. I detta fall har alltså knappa 80 % av den ursprungliga effekten  kontrollerats bort (0,069/0,323 = 21,4%).

Som vi ser i B-koefficienten för huvudman i modell 2 återstår en oförklarad skillnad om ungefär 4 meritvärdespoäng, vilket mycket väl skulle kunna vara ett resultat av att fristående skolor är ”bättre” på det sätt Edman tänker sig. Samtidigt ska vi vara ödmjuka inför det faktum att det fortsatt finns en hel drös aspekter vi inte kontrollerat för även i dessa analyser, tex vilka lärare som arbetar på vilka skolor.

Notera att dessa analyser är gjorda med data på skolnivå, vilket innebär en skillnad mot att ha data på individnivå vilket många andra studier har. Total R2 i modell 2 är 57,2 % Läs mer om friskoleeffekter härhär och här.

Annonser
Taggad , , , , , , ,

Förbättrade skolresultat genom ökad konkurrens?

Under slutet av förra året släpptes en IFAU-rapport som har analyserat effekterna av friskolereformen avseende elevernas studieresultat. Rapporten var intressant i och med att det generellt har varit väldigt svältfött med svenska kvantitativa studier om effekterna av friskolereformen och de slutsatser folk har dragit gällande reformens effekter har därför ofta haft en mer ideologisk resonansbotten än vetenskaplig.

Det finns några saker att poängtera gällande IFAU-rapporten. Dels finns det de som har haft viss metodologisk kritik att framföra, dels måste den uppmätta effekten betraktas som mycket liten. Ett av huvudresultaten i studien var nämligen att en ökning i andelen friskoleelever i årskurs 9 med 10 procentenheter var att förknippa med cirka 3 procent högre resultat i grundskolan. Sett till det genomsnittliga meritvärdet för grundskolan i riket läsåret 2011/12 skulle alltså en 10-procentig ökning av andel friskoleelever höja snittet med 6,3 betygspoäng, från 211 till 217,3. Då ska man också ha i minnet att denna ”10-procentiga ökning” redan skett i riket, från att friskolereformen genomfördes fram till idag då cirka 10 procent av alla grundskoleelever går i en fristående skola.

En kritiker skulle milt uttryckt kunna påstå att den 3-procentiga förbättringen var en dyrköpt förbättring sett till segregation och minskad likvärdighet.

fölster1I dagarna har det kommit ytterligare en undersökning på detta tema. Bakom undersökningen står Stefan Fölster och Reforminstitutet (som huvudsakligen finansieras av Stiftelsen fritt näringsliv). Undersökningen (som finns här) presenterades också i en debattartikel i Expressen där Fölster påstår att konkurrens på skolmarknaden förbättrar skolresultaten och att de kommuner där friskolor inte förekommer har försämrat sina resultat i störst utsträckning.

Denna slutsats, och fler därtill, drar Fölster efter att ha jämfört resultatutvecklingen (avseende andel obehöriga till gymnasieskolan samt andel underkända i ett eller fler ämnen i årskurs 9) i de kommuner som inte har friskolor och de kommuner som har en eller flera. Den undersökta perioden är 1999 till 2012.

Den uppmärksamme läsaren av rapporten (och debattartikeln) reagerar nog över dessa resultat. Kan de stämma? Har det inte skett en väldigt olikartad utveckling i övriga förutsättningar mellan icke-friskolekommunerna och de andra?

För att skingra dessa tvivel beskrivs i rapporten vissa av de kontroller som har gjorts. Man beskriver till exempel hur man har tittat på förändringen i föräldrarnas utbildningsnivå och andelen elever med utländsk bakgrund och konstaterar att utvecklingen varit snarlik i icke-friskolekommunerna och friskolekommunerna.

Denna övning måste dock betraktas som ett spel för galleriet. Att kontrollera om förändringarna i medelvärden mellan åren varit desamma är inte samma sak som att införa kontrollvariabler i en statistisk analys. Ett exempel: Tittar man på betygsmedelvärdena i grundskolan ser man att betygssnittet i årskurs 9 i kommungruppen ”förortskommuner till storstäder” var högre läsåret 2011/12 (217p) än vad det var i kommungruppen ”glesbygdskommuner” (203p). Samtidigt visar Fölsters undersökning att föräldrarnas utbildningsnivå (som har högst förklaringsvärde) ökat likartat för de båda kommungrupperna. Fölsters slutsats är alltså att detta innebär att eleverna i förortskommunerna presterar bättre än de i glesbygdskommunerna och – enligt hans idé om det kausala sambandet – detta för att de har fler friskolor. Fölster tycks alltså mena att föräldrarnas utbildningsnivå kan bortses från i denna jämförelse.

Det Fölster dock missar är ju att föräldrarnas utbildningsnivå fortsatt är mycket högre i dessa förortskommuner (2,28) än i glesbygdskommunerna (2,13) (enligt SALSA-datat var dessa uppgifter är hämtade ifrån). Om föräldrarnas utbildningsnivå lades till som en kontrollvariabel i analysen skulle sannolikt friskoleeffekten minska alternativt försvinna helt.

Med detta sagt, vad borde Fölster och Reforminstitutet alltså ha gjort för att prestera en mer korrekt analys?

Ett sätt att angripa frågan är bedriva klassisk hypotesprövning. Vi utgår från Fölsters slutsats, att kommuner med konkurrensutsatt skolmarknad presterar bättre än icke-konkurrensutsatta kommuner, som hypotes. Om denna stämmer bör det innebära att vi i en statistisk analys, där vi kontrollerar för i huvudsak föräldrarnas utbildningsnivå och elevernas härkomst, ser signifikanta effekter av att skolmarknaden är konkurrensutsatt.

För att denna analys ska utgå från samma premisser som Fölsters undersökning använder vi samma utfallsvariabler som han gjorde, det vill säga andel elever som inte är behöriga till gymnasieskolan samt andel elever som är underkända i ett eller flera ämnen i årskurs 9.[1] Som förklarande variabler används andel pojkar, andel elever som själva är födda utomlands, andel elever med utländsk bakgrund men som är födda i Sverige och föräldrarnas sammanvägda utbildningsnivå. Dessutom används en dummyvariabel (en variabel som endast markerar förekomst (1) eller icke-förekomst (0) av något) efter Fölsters uppgifter om vilka kommuner har respektive inte har friskolor samt en variabel över andel elever i kommunen som går i fristående skola.[2] Det kompletta datasetet kan laddas ned här för den som vill göra egna analyser i det. All data är hämtad från Skolverkets SALSA-databas samt Databas för jämförelsetal.

Ett enkelt sätt att undersöka effekten av dels den kodade Fölstervariabeln (”friskole- eller icke-friskolevariabeln”) och dels variabeln över andel elever i kommunen som går i en fristående skola, är att först göra en analys av de övriga variablernas förklaringsvärde på resultaten (en utfallsvariabel i taget), för att sedan tillföra de andra variablerna (en i taget) för att se om de tillför någon förklaringskraft till modellen i sin helhet.

I tabellen nedan redovisas resultaten av en sådan analys för den första utfallsvariabeln (andel behöriga till yrkesprogram)[3]:

tabell

Analysen visar att variablerna dels tillför mycket litet förklaringskraft till modellen, dels att de med nöd och näppe är signifikanta. Enskolevariabeln (dvs att kommunen bara har kommunal skola eller ej) förklarar endast 0,95 % av variationen och andel friskoleelever i kommunen förklarar endast 0,88 %, att jämföra med föräldrarnas utbildningsnivå som förklarar 20,6 %.

Vad som yttermera är intressant att notera utifrån analysen av dessa data är att effekterna inte är renodlat positiva. Den skattade effekten enligt modellen, för en kommun som går från att endast ha kommunal skola till att ha friskolor (allt annat lika), är en förbättring om 1,7 procent. Paradoxalt nog är effekten av andelen friskoleelever av kommunens elever negativ. Modellen estimerar – tvärtemot IFAU:s studie[4] – en försämring i behörigheten till yrkesprogram om 1,5 procent om andelen friskoleelever ökar med 20 procent.

Det är mycket viktigt att påpeka att dessa resultat indikerar mycket små effekter. Till exempel är det orimligt att andelen friskoleelever i en kommun skulle öka med 20 procent hur som helst. I det sammanhanget är en negativ effekt på behörigheten om 1,5 procent mycket liten.

Den viktigaste slutsatsen är dock att Fölsters undersökning bör tas med några rejäla nypor salt; de kommuner som år 2012 endast hade kommunala grundskolor tycks inte alls ha presterat avsevärt sämre än friskolekommunerna. Den positiva kausala effekten av konkurrens som Fölster uttalar sig om tycks knappt finnas, åtminstone kan den inte beläggas i det data han använt i och med att de små effekterna tycks ta ut varandra (avseende 2012).[5]

Det finns ytterligare några resultat av denna nya analys som bör nämnas. För det första är resultaten snarlika för samtliga utfallsvariabler. För det andra indikerar analysen en liten förändring från 2004 till 2012 (hela Fölsters tidsserie har inte analyserats), där Fölster-variablen var signifikant redan 2004 och med svagt negativ effekt för att vara fortsatt signifikant men med positiv effekt 2012. Andelen elever i friskola var inte signifikant 2004, men signifikant och med negativ effekt 2012.

Dessutom ökar modellens förklaringskraft mellan 2004 till 2012, från att förklara cirka 20 procent av variationen år 2004 till cirka 35 procent för år 2012.

Detta inlägg har författats med benäget bistånd av statistikern Oskar Eriksson som genomfört viktiga tester av resultaten från regressionerna.

Uppdatering 2013-09-02: Ett fel har upptäckts i ursprungstexten, varför en uppdatering gjorts. Felet gällde beskrivningen av effekten av dummyvariablen över friskole- eller icke-friskolekommun.


[1] I denna analys gör vi tyvärr inga kontroller för betygsinflation, vilket den tidigare forskningen indikerar ett behov av. Se tex denna IFAU-studie.

[2] Denna variabel har tidigare använts tex Jonas Vlachos som mått på konkurrens på skolmarknaden.

[3] Notera att behörighetsreglerna förändrats iom GY2011, och den tidigare variabeln ”andel elever med grundläggande gymnasiebehörighet” utgått. I datasetet som använts till denna undersökning används dock den gamla variabeln, precis som Fölster gör, för de föregående åren.

[4] Se not 5!

[5] Det är viktigt att påpeka att de data som använts i denna analys gäller kommuner som resultatenheter. Det betyder att resultaten kan bli andra om tex individdata skulle användas, vilket den omnämnda IFAU-studien gjorde. Notera också att det gäller olika utfallsvariabler.

Taggad , , , , , ,

Skrämseltaktik om evidensbaserade studier i skolan?

För någon tid sedan skrev Lars Pålsson Syll en artikel på debattsidan Skola och samhälle som handlade om den nutida fascinationen för evidensbaserade studier inom svensk skoldebatt och skolforskning. I artikeln redogör han för vissa centrala problem för evidensbaserade studier och konkluderar att det vore bättre om lärarna fick ägna sig åt det de gör bäst, nämligen att försöka undervisa eleverna på bästa tänkbara sätt efter deras behov. Förhoppningsvis, menar Syll, får inriktningen på evidensbaserade studier i skolforskningen inga effekter alls, i värsta fall kan det leda in på villospår.

Jag tänkte med det här inlägget låta mig själv breda ut texten lite och i några centrala punkter peka på sådant som jag själv uppfattar som brister i Sylls artikel samt försöka visa på, dels vad Syll (förmodligen medvetet) utelämnar i sin metodologiska diskussion, dels hur resonemanget gällande den evidensbaserade forskningen nästan i större grad är giltig för den pedagogiska forskningen i stort och inte specifikt för evidensbaserad forskning.

Låt oss börja med att reda ut vad som menas med ”evidensbaserad forskning”. Den grundläggande idén kommer från medicinsk forskning där evidensbaserade studier är ett viktigt redskap för att testa ut nya mediciner och behandlingsmetoder. Det centrala inslaget i evidensbaserade studiers metod är att de använder sig av randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Härigenom framkommer möjligheten att jämföra eventuella effekter grupperna emellan och de effektskillnader man som forskare uppmäter är (förhoppningsvis) ett resultat av interventionen. Om de uppmätta effekterna är stora på de områden man önskar kan det vara värt att fortsätta använda metoden. Att man kallar forskningen för ”evidensbaserad” är alltså för att markera att det ”finns evidens” för att den undersökta metoden (interventionen) har haft effekt.

Redan i denna beskrivning av evidensbaserade studier kan vi identifiera några av de delar som Syll kritiserar. Syll påpekar att det kan finnas en svårighet i att veta att det just är interventionen som har haft effekt, tänk om det var något annat? Om exemplet ovan handlar om utprövning av nya blodförtunnande mediciner är det rimligt att tänka sig att samtliga deltagares ålder, kondition, tidigare leverne, tidigare sjukdomar och så vidare påverkar effekterna av interventionen. Det vi tror är stora effekter av interventionen skulle egentligen, menar Syll, kunna vara en effekt av att ett gäng gubbar och gummor i studien helt plötsligt fått för sig att börja jogga igen, och därigenom uppvisar förbättrat hälsotillstånd.

Detta skulle kunna föranleda oss att göra politiska felsteg. Om vi, i villfarelsen att det var interventionen som hade stora effekter, börjar skriva ut den nya medicinen i stor skala så har vi missat vad vi verkligen borde ordinera – mer motion (paradoxalt nog är detta precis sådan kritik som också riktas mot icke-evidensbaserad forskning, se exempel på forskning.se).

Syll är dock finurlig när han lägger fram denna kritik. Detta är nämligen problem som länge har gäckat alla de som sysslar med kvantitativa metoder och han, i sin roll som nationalekonom, är väl medveten om hur man gör för att kontrollera för olika variabler i analysen (den som är intresserad av hur detta går till rekommenderas varmt att läsa denna exemplariska beskrivning i SPSS-akuten. Bilden intill är hämtad därifrån.).

Det finns dock ett djupare problem kopplat till detta, som faktiskt många kvantitativa studier inom flertalet discipliner – inte endast pedagogik och ämnesdidaktik – lider av. Det är att utforma studierna till att vara hypotesprövande. Att rigga studier till att vara just hypotesprövande slarvas det något alldeles otroligt med, trots att många av grundskolans lärare i naturvetenskapliga ämnen idogt tjatat på elevgeneration efter elevgeneration att de måste ställa upp en hypotes innan de kör igång med laborationerna (det gjorde i alla fall min NO-lärare, om du läser det här Anna – tack!).

Som det framgår av ordet i sig självt så handlar hypotesprövning om att först ställa upp en hypotes (givet att premiss A och B gäller så förväntar jag mig att X kommer att ske, eller översatt: Givet rätt atmosfäriskt tryck (A) och tillräckligt tillförd värme (B) så förväntar jag mig att vattnet kommer att koka (X)) och sedan via ett försök, en observation, en statistiskt undersökning eller annat undersöka om hypotesen stämmer eller ej.

Det som gör hypotesprövningen centralt för den här diskussionen, kopplat till Sylls artikel, är att om vi inte först ställer upp en hypotes, utan bara planlöst börjar söka efter samband mellan olika företeelser så är risken stor att vi råkar trilla över ett såkallat spuriöst samband, eller på ren svenska – ett nonsenssamband. Låt mig ge ett exempel: Anta att jag har ramlat över en spännande datauppsättning som innehåller drunkningsolyckor i Sverige för åren 1998-2008. Jag studerar variationen i statistiken och upptäcker att det finns ett visst mönster i variationen, i synnerhet mellan sommar och vinter. Detta måste bero på något! Glad i hågen söker jag planlöst runt på internet tills jag ramlar över statistik över GB:s glassförsäljning för tidsperiod. Spännande tänker jag och gör korrelations- och regressionsanalyser mellan drunkningsolyckor och glassförsäljning och döm av min förvåning när analysen svart på vitt visar att glassförsäljningen har ett mycket gott förklaringsvärde på antalet drunkningsolyckor; ökad glassförsäljning orsakar fler drunkningsolyckor! (den som vill fördjupa sig i detta rekommenderas att läsa den formidabla skriften ”Konsten att vara vetenskaplig” av filosofen och vetenskapsteoretikern Sven Ove Hansson. Gällande hypotesprövning mm, se i synnerhet s.75-80).

Det hypotesprövningen bidrar med är därför i stort att forskaren binder sin kommande studie till en viss teoribildning eller tidigare empiriska fynd som avser kunna förklara ett visst fenomen och resultaten i studien bedöms just efter om de belägger eller vederlägger hypotesen.

För att sammanfatta det jag har skrivit hittills: Ja, Syll för fram rättmätig kritik mot många evidensbaserade studiers metodik, men det är i stor grad möjligt att undvika dessa problem genom att alltid utgå från en noggrant formulerad hypotes som också försöker förutsäga vilka kontrollvariabler som kommer att vara betydelsefulla för analysen.

Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här).

För den läsare som vill skapa sig en egen uppfattning av skillnaderna mellan en nyare evidensbaserad studie och ett typexempel på svensk kvalitativ forskning kan jämföra dessa två finländska delstudier av Heikki Lyytinen m.fl samt denna svenska doktorsavhandling.

Min personliga slutsats av den evidensbaserade forskningens inträde i svensk utbildningsvetenskaplig forskning är att den har mycket att bidra med, både resultatmässigt men även som en metodologisk vitamininjektion. Jag tror personligen också att många av de farhågor som målas upp av Syll m.fl är överdrivna.

Men det kan jag förstås inte i strikt vetenskaplig mening vara helt säker på.

Taggad , , , , , , , , , , , , , ,