Etikettarkiv: mats edman

Hur mycket bättre är de fristående skolorna?

För någon vecka sedan skrev Mats Edman, chefredaktör på SKL-tidningen Dagens Samhälle, en krönika i vilken han drog slutsatsen att fristående skolor är mycket bättre än de kommunala skolorna. Hans slutsats baserades delvis på den då nysläppta årsrapporten från Skolinspektionen som uppvisade vissa skillnader i vilken kritik olika huvudmän fått i tillsynen. Ett ännu större nummer gjorde han dock på att betygsstatistiken från Skolverket visar att de fristående skolorna levererar mycket högre betygsgenomsnitt än vad de kommunala gör. Bland annat visar han att de fristående skolornas elever i snitt har 18 poäng högre meritvärde än de som gått kommunala skolor. Han visar också att de kommunala skolorna är starkt överrepresenterade bland de skolor som presterar sämst och de fristående skolorna bland de som presterar bäst.

Kritiken har dock inte låtit vänta på sig. Tidigt ute var bland annat Per-Arne Andersson, avdelningschef på – just det – SKL. Han påpekar i sin debattartikel att det är en alldeles för banal analys som ligger till grund för Edmans slutsatser i och med att han inte kontrollerar dessa skillnader mot skolornas elevsammansättning. Detta är en angelägen synpunkt från Andersson och flertalet av de som kommenterat Edmans krönika på nätet gör just också denna anmärkning. Anmärkningsvärt nog är det ingen som reder ut hur det faktiskt ligger till.

Jag tänkte att jag skulle bistå på den punkten.

Det finns en uppsättning strategier man kan använda för att kontrollera resultatskillnaderna mot elevsammansättning, jag tänkte använda mig av regressionsanalys. För att göra detta har jag skapat ett dataset med betygsdata och data över elevsammansättning på skolnivå. All data är från Skolverkets totalfiler i SIRIS och den intresserade kan ladda ned datasetet här. Av totalt 1661 grundskolor med årskurs 9 i landet finns data för 1490 skolor (bortfallet beror på att vissa populationer är för små för att redovisa). Av dessa är 1154 kommunala skolor och 336 fristående.

Syftet med detta inlägg är primärt att visa hur stor del av denna ”friskoleeffekt” som kan förklaras av de fristående skolornas elevsammansättning. För att åstadkomma en analys med pedagogiska och förhållandevis lättbegripliga resultat har jag därför gjort en regressionsanalys som först bara mäter den ”rena” friskoleeffekten. Detta görs genom att använda en dikotom variabel för huvudman (dvs en variabel som bara kan anta värdet 1 eller 0 (1 = fristående)).

Den okontrollerade medelvärdesskillnaden mellan kommunala och fristående skolor var drygt 18 poäng och det är den skillnaden som framgår av modell 1 nedan (B-koefficienten). I min analys är denna skillnad några tiondelar högre pga av bortfall på några skolor då dessa saknat data för vissa ingående variabler (n=1329).

I modell 2 tillförs sedan ett antal bakgrundsvariabler. Det finns ett problem som ska nämnas redan nu, och det är att många av de oberoende variablerna korrelerar perfekt med varandra i och med att andel elever med svensk bakgrund, utländsk bakgrund och utlandsfödda summerar till 100 % av eleverna per skola. Detsamma gäller för föräldrarnas utbildningsnivå. Detta kan bland annat lösas genom att använda stegvisa regressioner och att någon variabel tas bort i analysen (vilket jag gjort för att kontrollera resultaten).

tabell_edman

Vad ser vi då i analysen? Störst effekt på betygsresultaten har andel elever vars föräldrar har eftergymnasial utbildning (standardiserad koefficient 1,128) och andel elever vars föräldrar har högst gymnasial utbildning (0,504). Dessa siffror kan tyckas svåra att förstå men de anger en standardiserad effekt som möjliggör jämförelser mellan olika variabler, men det är egentligen inte den intressanta frågan för detta inlägg – här är vi endast intresserade av att ta reda på hur ”friskoleffekten” förändras under kontroll för skolornas olika elevsammansättning.

Detta tar vi reda på genom att dividera den nya effektstorleken för huvudman (från modell 2) med den ursprungliga (från modell 1), därigenom kan vi se hur stor andel av den ursprungliga effekten som ”kontrollerats bort” av variablerna för elevsammansättning. I detta fall har alltså knappa 80 % av den ursprungliga effekten  kontrollerats bort (0,069/0,323 = 21,4%).

Som vi ser i B-koefficienten för huvudman i modell 2 återstår en oförklarad skillnad om ungefär 4 meritvärdespoäng, vilket mycket väl skulle kunna vara ett resultat av att fristående skolor är ”bättre” på det sätt Edman tänker sig. Samtidigt ska vi vara ödmjuka inför det faktum att det fortsatt finns en hel drös aspekter vi inte kontrollerat för även i dessa analyser, tex vilka lärare som arbetar på vilka skolor.

Notera att dessa analyser är gjorda med data på skolnivå, vilket innebär en skillnad mot att ha data på individnivå vilket många andra studier har. Total R2 i modell 2 är 57,2 % Läs mer om friskoleeffekter härhär och här.

Annonser
Taggad , , , , , , ,

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

”Friskolorna höjer betygen i de kommunala skolorna!” (?)

I förra veckans nummer av Dagens Samhälle* (nr 35 2012) var huvudnyheten att ”Friskolor lyfter kommunala”. Genom en ”unik undersökning” som Dagens Samhälle låtit göra kunde tidningen visa att ”elevernas betyg höjs mest på kommunala skolor när det finns friskolor i kommunen”. Det diagram som beskriver skillnaden återfanns också på tidningens framsida och syns i bilden här intill (Dagens Samhälle finns tyvärr inte i sin helhet tillgänglig gratis på internet, varför jag inte kan länka den).

Några torra utredariakttagelser med anledning av artikeln:

För det första: De konkurrensutsatta kommunala skolorna sätter visserligen högre betyg än icke-konkurrensutsatta, men hur kan Dagens Samhälle vara så säkra på att detta är en följd av att skolornas undervisning håller en högre kvalitet och att eleverna därigenom faktiskt presterar bättre? Om tidningen hade grävt lite djupare inför sin unika undersökning hade de funnit att många forskningsresultat tydligt visar att graden av konkurrens på en lokal skolmarknad bär ett viktigt förklaringsvärde på höga betyg (se återigen Jonas Vlachos studie ”Betygets värde” s.41 och framåt samt tidigare inlägg här) samt att forskningen rent generellt inte har kunnat belägga några större effektivitetsvinster med införandet av friskolor (se ett tidigare inlägg här med referens till SNS kunskapsöversikt ”Konkurrensens konsekvenser”).

För det andra: Artikeln slår verkligen på stora trumman och menar att det är en betydelsefull skillnad mellan konkurrensutsatta och icke-konkurrensutsatta kommuner i vilka resultat som nås. Men som vanligt när det gäller media så är det svårt att bedöma hur stora effekter som dessa är när ingen referenspunkt lämnas i artikeln. Av artikelns diagram framgår att skillnaden är cirka 5 meritvärdespoäng (209,..– 203,..), hur mycket är det på aggregerad nivå? Låt mig lämna en referens: Skillnaden mellan pojkars och flickors genomsnittliga meritvärden i år 9 på riksnivå uppgick läsåret 2010/11 till 22,5 meritvärdespoäng (222,1-199,6). Skillnaderna tycks alltså i sammanhanget mycket små.

För det tredje: Vilka motiv har egentligen Dagens Samhälle med sig redan när de går in i undersökningen? Låt mig som trogen läsare av Dagens Samhälle vittna om att en av de avreglerade marknadernas främste försvarare i Sverige återfinns i Dagens Samhälles chefredaktör Mats Edman, vilket borde säga något om tidningens inställning i frågan. Se även Edmans alldeles färska utspel på DN Debatt från den 15/10 2012.

——–

Noter

* Dagens Samhälle ägs av Sveriges Kommuner och Landsting (SKL) och har som syfte att utgöra en viktig nyhetstidning för ”beslutsfattarna på den offentliga marknaden”, såväl de i offentlig- som privatägda verksamheter.

Taggad , , , , , , ,