Kategoriarkiv: Utbildningsstatistik

Skolsegregation – en kommande studie och tre intressanta grafer

Frågan om skolsegregationens utveckling har varit en tvistefråga under en längre tid, bland annat för att det inte funnits studier som har kunnat ge definitiva empiriska besked om hur utvecklingen sett ut över tid (se tidigare inlägg här och här). Ett tvisteområde har gällt i vilken mån en eventuellt ökande skolsegregation beror på ökad boendesegregation eller om det också beror på det fria skolvalet. Nu har det kommit ett antal studier som ger vissa tydliga svar.

Grafen nedan är hämtad ur IFAU:s senaste tegelsten, ”Decentralisering, skolval och fristående skolor: resultat och likvärdighet i svensk skola” (s.96), och bygger på en analys av hur några olika faktorer bidrar till att förklara resultatvariationen (åk 9) i skolsystemet:

ifau_segregation

Som grafen visar följer segregeringseffekterna av bostadsområde och skola varandra fram till mitten av 1990-talet. Därefter ökar skolsegregationen mer än boendesegregationen, en effekt som sammanfaller i tid med att en allt större andel av eleverna väljer fristående skolor.

Detta är frågor som jag själv har intresserat mig för en del och jag har också genomfört en studie av effekter av förändrad elevsammansättning på skolor över tid. Förhoppningsvis kan den komma att publiceras snart.

Några analyser som jag aldrig tog med i den kommande artikeln handlar om vilka korrelationer som finns mellan hög mellanskolvariation inom kommuner och några strukturella faktorer. En del studier av skolsegregationen (tex Anders Trumbergs avhandling) har nämligen visat att det tycks vara en viss typ av elever som väljer bort skolor med en viss typ av elevsammansättning. Vanligen tycks det handla om så kallad White-flight, där elever ur majoritetsbefolkningen lämnar skolor där andelen elever ur synliga minoriteter ökar (se Östh mfl[1]). En hypotes är därför att denna effekt också borde synas på kommunnivå, där kommuner med en högre andel elever med utländsk bakgrund har en större sortering – och därigenom en högre mellanskolvariation i resultat – än kommuner med lägre andel elever med utländsk bakgrund.

I graferna nedan syns sambandet mellan intern spridning mellan skolor inom kommunerna (standardavvikelsen) och (i) andelen nyinvandrade elever samt (ii) föräldrarnas utbildningsnivå. Allt data är från Skolverket. Endast kommuner med minst 10 grundskolor ingår:

samband_migration samband_utbniv

Som diagrammen visar finns ett positivt samband mellan andelen nyinvandrade elever och resultatspridning mellan skolorna (dvs att ju högre andel nyinvandrade elever desto större resultatspridning mellan skolorna i kommunen) samt ett (svagare) negativt samband mellan föräldrarnas utbildningsnivå och spridningen (dvs att ju högre utbildningsnivå i snitt, desto lägre resultatspridning).

[1] Östh, John et al. (2012): “Travel-to-schooldistances in Sweden 2000-2006: Changing school geography with equality implications” i Journal of Transport Geography, (23) (SI), s.35-43.

Annonser
Taggad , , , , , , , , ,

Hur mycket bättre är de fristående skolorna?

För någon vecka sedan skrev Mats Edman, chefredaktör på SKL-tidningen Dagens Samhälle, en krönika i vilken han drog slutsatsen att fristående skolor är mycket bättre än de kommunala skolorna. Hans slutsats baserades delvis på den då nysläppta årsrapporten från Skolinspektionen som uppvisade vissa skillnader i vilken kritik olika huvudmän fått i tillsynen. Ett ännu större nummer gjorde han dock på att betygsstatistiken från Skolverket visar att de fristående skolorna levererar mycket högre betygsgenomsnitt än vad de kommunala gör. Bland annat visar han att de fristående skolornas elever i snitt har 18 poäng högre meritvärde än de som gått kommunala skolor. Han visar också att de kommunala skolorna är starkt överrepresenterade bland de skolor som presterar sämst och de fristående skolorna bland de som presterar bäst.

Kritiken har dock inte låtit vänta på sig. Tidigt ute var bland annat Per-Arne Andersson, avdelningschef på – just det – SKL. Han påpekar i sin debattartikel att det är en alldeles för banal analys som ligger till grund för Edmans slutsatser i och med att han inte kontrollerar dessa skillnader mot skolornas elevsammansättning. Detta är en angelägen synpunkt från Andersson och flertalet av de som kommenterat Edmans krönika på nätet gör just också denna anmärkning. Anmärkningsvärt nog är det ingen som reder ut hur det faktiskt ligger till.

Jag tänkte att jag skulle bistå på den punkten.

Det finns en uppsättning strategier man kan använda för att kontrollera resultatskillnaderna mot elevsammansättning, jag tänkte använda mig av regressionsanalys. För att göra detta har jag skapat ett dataset med betygsdata och data över elevsammansättning på skolnivå. All data är från Skolverkets totalfiler i SIRIS och den intresserade kan ladda ned datasetet här. Av totalt 1661 grundskolor med årskurs 9 i landet finns data för 1490 skolor (bortfallet beror på att vissa populationer är för små för att redovisa). Av dessa är 1154 kommunala skolor och 336 fristående.

Syftet med detta inlägg är primärt att visa hur stor del av denna ”friskoleeffekt” som kan förklaras av de fristående skolornas elevsammansättning. För att åstadkomma en analys med pedagogiska och förhållandevis lättbegripliga resultat har jag därför gjort en regressionsanalys som först bara mäter den ”rena” friskoleeffekten. Detta görs genom att använda en dikotom variabel för huvudman (dvs en variabel som bara kan anta värdet 1 eller 0 (1 = fristående)).

Den okontrollerade medelvärdesskillnaden mellan kommunala och fristående skolor var drygt 18 poäng och det är den skillnaden som framgår av modell 1 nedan (B-koefficienten). I min analys är denna skillnad några tiondelar högre pga av bortfall på några skolor då dessa saknat data för vissa ingående variabler (n=1329).

I modell 2 tillförs sedan ett antal bakgrundsvariabler. Det finns ett problem som ska nämnas redan nu, och det är att många av de oberoende variablerna korrelerar perfekt med varandra i och med att andel elever med svensk bakgrund, utländsk bakgrund och utlandsfödda summerar till 100 % av eleverna per skola. Detsamma gäller för föräldrarnas utbildningsnivå. Detta kan bland annat lösas genom att använda stegvisa regressioner och att någon variabel tas bort i analysen (vilket jag gjort för att kontrollera resultaten).

tabell_edman

Vad ser vi då i analysen? Störst effekt på betygsresultaten har andel elever vars föräldrar har eftergymnasial utbildning (standardiserad koefficient 1,128) och andel elever vars föräldrar har högst gymnasial utbildning (0,504). Dessa siffror kan tyckas svåra att förstå men de anger en standardiserad effekt som möjliggör jämförelser mellan olika variabler, men det är egentligen inte den intressanta frågan för detta inlägg – här är vi endast intresserade av att ta reda på hur ”friskoleffekten” förändras under kontroll för skolornas olika elevsammansättning.

Detta tar vi reda på genom att dividera den nya effektstorleken för huvudman (från modell 2) med den ursprungliga (från modell 1), därigenom kan vi se hur stor andel av den ursprungliga effekten som ”kontrollerats bort” av variablerna för elevsammansättning. I detta fall har alltså knappa 80 % av den ursprungliga effekten  kontrollerats bort (0,069/0,323 = 21,4%).

Som vi ser i B-koefficienten för huvudman i modell 2 återstår en oförklarad skillnad om ungefär 4 meritvärdespoäng, vilket mycket väl skulle kunna vara ett resultat av att fristående skolor är ”bättre” på det sätt Edman tänker sig. Samtidigt ska vi vara ödmjuka inför det faktum att det fortsatt finns en hel drös aspekter vi inte kontrollerat för även i dessa analyser, tex vilka lärare som arbetar på vilka skolor.

Notera att dessa analyser är gjorda med data på skolnivå, vilket innebär en skillnad mot att ha data på individnivå vilket många andra studier har. Total R2 i modell 2 är 57,2 % Läs mer om friskoleeffekter härhär och här.

Taggad , , , , , , ,

Obligatorisk gymnasieskola, ett alexanderhugg?

De som har följt den skolpolitiska debatten vet att socialdemokraterna för en tid sedan lanserade ett förslag om att göra gymnasieskolan obligatorisk. Ett förslag som nu ser ut att bli aktuellt sedan man tagit över regeringsmakten tillsammans med Miljöpartiet. Förslaget är ännu väldigt löst i konturerna, så det är svårt att veta vad det mer specifikt skulle innebära men jag vill ändå i det här inlägget skissera några tankar kring förslaget.

Den som har följt debatten vet att förslaget har fått vissa mothugg, både från andra politiska partier men även från vissa lärare. Utan att vara alltför politisk (jag är ju faktiskt tjänsteman) vill jag dock också skissera några problem som finns med förslaget. Eller snarare så här: Jag vill skissera en bild av vilka problem som inte kommer lösas via en obligatorisk gymnasieskola.

Grundproblemet återges i den infografik jag satt samman nedan. I denna följer jag kohorten född 1992[1], från det att de föds, till årskurs ett, genom grundskolan samt in och ut ur gymnasieskolan. Det grafiken illustrerar är att om vi menar allvar med att vi vill att alla elever ska fullfölja en gymnasieutbildning finns det första stora problemet att lösa redan i grundskolan. Att lite drygt var tionde elev inte klarar grundskolan är ett stort problem, i synnerhet som denna skolform redan är obligatorisk (att belägga en skolform med plikt tycks således inte garantera framgång). Eleverna är av lag tvungna att infinna sig där, men det allmänna lyckas för dessa elever inte fullfölja sitt åtagande att få eleverna godkända. Nästa problem ligger också i hur man klarar grundskolan. Elever med de lägsta meritvärdena löper cirka 7 gånger högre risk för avbrott än de med näst högst meritvärden från grundskolan.

Nästa problem är att endast en tredjedel tar sig vidare från de individuella programmen till ett nationellt gymnasieprogram. Många elever hoppar av gymnasiet efter ett eller två år på dessa program. Dessa elever får senare mycket stora problem att etablera sig på arbetsmarknaden.

Väl i gymnasieskolan finns nästa problem, som nämndes ovan. Knappt sju av tio elever fullföljer gymnasiet inom tre år och de andelar som lyckas fullfölja inom fyra och fem år är mycket små i jämförelse med den tredjedel av eleverna som aldrig fullföljer. Vi vet från tidigare studier att de som hoppade av har gjort det av flera skäl, men ett återkommande skäl är att de inte fått tillräckligt med stöd för att klara utbildningen.

oblgymnasieskola_infografik

I socialdemokraternas förslag ligger också att alla program ska leda till allmän högskolebehörighet. Det tidigare forskning har visat är att införandet av en godkäntgräns parat med den generella förlängningen av yrkesprogrammen från två- till treåriga slog hårt mot elever från i synnerhet arbetarhem och i synnerhet pojkar med låga meritvärden från grundskolan då deras avbrott ökade kraftigt. Utmaningen – om man menar allvar med att man också vill att alla elever ska klara sina utbildningar – ligger i hur man ska lyckas förmå dessa elever att fullfölja utbildningen med godkända resultat. Det räcker inte att bara göra gymnasieskolan obligatorisk, för 99 % av varje kohort börjar faktiskt gymnasieskolan redan, utan det krävs rejäla insatser ifråga om stöd och annat för att det ska gå vägen.

Inget politiskt parti har hittills beskrivit vilka åtgärder detta skulle vara och vilka resurser som skulle behövas för att åtgärderna ska lyckas. Desto mindre finns sådana förslag för grundskolan varför den enda pliktbelagda skolformen i Sverige fortsatt inte förmår tillförse att alla dess elever lämnar den med godkända betyg. Finns reformpengar att tillgå för den nya regeringen tycker därför jag personligen att grundskolan vore rätt ände att börja i.

Datakällor:

Skolverkets statistik, Grundskolan, ”Skolor och elever läsåret 1999/00”, Tabell 3.4

Skolverkets statistik, Gymnasieskolan, ”Betyg och studieresultat 2012/13”, Tabell 8 A-C

Noter:

[1] Notera att det finns vissa brister i denna sammanställning. Jag har tex inte haft tillgång till individdata för hela kohorten, vilket radikalt hade förbättrat precisionen i beräkningarna. Denna sammanställning bygger istället på Skolverkets officiella statistik vilket tex leder till problemet att det tillkommer andra nybörjarargymnasister hösten 2008 som inte är födda 1992. Dessa utgör något tusental elever. Felmarginalen i dessa beräkningar är därför någon procentenhet upp eller ner, men grafiken återger ändå en rättvis bild av den grundproblematik blogginlägget vill visa.

Taggad , , , , ,

Gissa sambandet – hur var det nu då?

Det har blivit dags att avslöja resultaten från den gissningslek som inleddes i det förra inlägget samt delge det rätta svaret. Totalt har 73 personer lämnat en gissning vilket innebär att undersökningen haft ett stort bortfall givet hur många som läst inlägget. Gissningarna fördelade sig enligt följande:

andelsvarandeDen ”låga” svarsfrekvensen åsidosatt så var det ändå en majoritet som gissade rätt: Sambandet är starkast mellan föräldrarnas utbildningsnivå och elevernas betyg och svagast med resultaten på de nationella proven. Respektive samband beskrivs i dessa scatterplots:

samband_resultat

Ni som nu gissade på något annat än att sambandet är starkast för betygen ska inte misströsta härvidlag – detta var själva poängen med inlägget från början! För om man tänker efter så känns det väl som att man kan komma på sannolika förklaringar till varför samtliga påståenden skulle kunna vara sanna?

Det tycks plausibelt att föräldrar med högre utbildningsnivå i större utsträckning på olika sätt bidrar till barnens allmänbildning. Sociologer brukar försöka fånga olika aspekter av detta kulturella kapital genom att i enkäter fråga hur många böcker som finns i hemmet. Det skulle kanske också kunna mätas i hur mycket man tittar på nyheterna, läser dagstidningar, diskuterar aktuella händelser vid middagsbordet mm. Ur ett sådant perspektiv tycks det sannolikt att dessa barn skulle prestera bättre på DN:s nutidsorientering.

Samtidigt känns det inte osannolikt att föräldrar med högre utbildningsnivå i större utsträckning skulle kunna hjälpa till med läxor och annat skolarbete samt höja studiemotivationen mm, vilket skulle kunna leda till antingen högre betyg eller högre resultat på nationella proven i matematik (eller både och).

Den viktigaste slutsatsen att dra är att föräldrarnas utbildningsnivå – så som jag påtalade i det första inlägget – inte har en sprikrak kausal effekt på elevernas resultat som endast innebär att ”bildade föräldrar bidrar till bildade barn”. Måttet inrymmer så mycket mer. Detta ”så mycket mer” får större effekt på betygen i sin helhet än bara på de nationella proven.

Detta är en mycket intressant insikt. Man skulle kunna argumentera för att när vi tittar på föräldrapåverkan på elevresultaten på de nationella proven får vi fram en ”renare” bild av vad skolan bidrar med och vad föräldrarna bidrar med. Detta skulle kunna vara en intressant utgångspunkt för att diskutera skolors olika kompensatoriska effekt (se ett intressant inlägg på detta tema från Jonas Vlachos här).

Vad består då detta ”så mycket mer” av, som föräldrautbildning ger på elevernas betyg? Det finns bland annat en effekt av var man bor. Befolkning i storstäder har generellt högre utbildningsnivå (vilket korrelerar med högre betyg), större städer har oftare högre andel friskolor (vilket korrelerar med något högre betyg) vilket innebär att de också har en mer konkurrensutsatt skolmarknad (vilket korrelerar med högre betyg). Föräldrar med hög utbildningsnivå påverkar i större utsträckning elevernas så kallade ”icke-kognitiva” egenskaper, såsom uthållighet, planeringsförmåga, studiemotivation mm. Dessa egenskaper korrelerar starkt med högre betyg (se källor här och här).

Vilka avslutande slutsatser kan vi dra? Föräldrarnas utbildningsnivå är mycket betydelsefullt för elevernas resultat, men vi måste vara medvetna om att effekterna av densamma är komplexa och påverkar elevernas resultat på olika sätt. Dessutom kan det ha olika betydelse för olika elever (se studie här som visar att sambandet är starkare för elever med svensk bakgrund än för elever med utländsk). Detta får såklart också implikationer både på systemnivå och på skolnivå. Borde uppföljningssystemen riggas på något annat sätt för att minska ned betydelsen av ”det runt omkring”? Borde differentiering och variationen i systemet minskas för att minska betydelsen av bostadsort? Borde resursfördelningssystem med mera förändras för att öka skolans kompensatoriska effekt? Behöver skolor fundera över i vilka sammanhang föräldrarna får störst betydelse för elevresultat? Hur mycket förväntas föräldrarna bidra med i fråga om läxor med mera?

Det finns mycket att fundera över, minst sagt.

Den intresserade finner datasetet till detta inlägg här.

Taggad , , , , , , ,

Gissa sambandet – om betydelsen av föräldrarnas utbildningsnivå för betyg, nationella prov och DN:s nutidsorientering

Bakom denna märkliga rubrik gömmer sig ett något oortodoxt blogginlägg i vilket jag tänkte mig att ni läsare skulle få gissa hur sambanden mellan föräldrarnas utbildningsnivå och olika typer av elevresultat ser ut i svensk skola. 

De av er som frekvent tar del av forskning som på olika sätt undersökt vad som påverkar elevernas resultat i skolan, vet att det finns ett mycket starkt samband mellan föräldrarnas utbildningsnivå och elevernas skolresultat. Det är dock viktigt att komma ihåg att den kausala effekten  (orsakssambandet) av föräldrarnas utbildningsnivå på elevernas skoltresultat inte alltid är en direkt följd av att ”bildade föräldrar bidrar till bildade elever”, det finns fler dimensioner som fångas i måttet ”föräldrarnas utbildningsnivå” som påverkar elevernas resultat. Man kan fråga sig vilka?

Denna övning – gissa sambandet! – ger en intressant utgångspunkt för att resonera om dessa typer av dimensioner och faktorer.

Nedan följer därför några påståenden. Klicka för det som du tror/vet/bedömer vara sannolikt (inget fusk nu!) och så kommer jag i ett kommande inlägg om några dagar att skriva ett inlägg som visar hur sambanden ser ut.[1]

Lycka till!


[1] Notera att det data jag använder är på kommunnivå, det har betydelse för hur sambanden kommer att se ut!

Taggad , , , , , ,

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

En skola med problem – en ögonblicksbild

Ett av den svenska skolans viktigaste problem att lösa är att en stor andel av eleverna varje år lämnar grundskolan utan behörighet till gymnasiestudier. Jag har skrvit om detta i tidigare inlägg här och här. I det senare reses frågan om grundskolan fullgör sin plikt gentemot de skolpliktiga eleverna.

Vissa elever är i stort behov av stöd för att kunna nå gymnasiebehörighet, frågan är om de får det i rätt tid, i rätt art och i rätt omfattning? Jag kan själv inte besvara dessa frågor, men anser att diagrammet nedan åtminstone ger en indikation till svar på en av frågorna; ges inte stödet i svensk grundskola för sent?

särskiltstöd

——

Statistik över särskilt stöd i grundskolan har nyligen börjat publiceras av Skolverket. Se nyhet och länkar till data här.

Taggad , , , , ,

Förbättrade skolresultat genom ökad konkurrens?

Under slutet av förra året släpptes en IFAU-rapport som har analyserat effekterna av friskolereformen avseende elevernas studieresultat. Rapporten var intressant i och med att det generellt har varit väldigt svältfött med svenska kvantitativa studier om effekterna av friskolereformen och de slutsatser folk har dragit gällande reformens effekter har därför ofta haft en mer ideologisk resonansbotten än vetenskaplig.

Det finns några saker att poängtera gällande IFAU-rapporten. Dels finns det de som har haft viss metodologisk kritik att framföra, dels måste den uppmätta effekten betraktas som mycket liten. Ett av huvudresultaten i studien var nämligen att en ökning i andelen friskoleelever i årskurs 9 med 10 procentenheter var att förknippa med cirka 3 procent högre resultat i grundskolan. Sett till det genomsnittliga meritvärdet för grundskolan i riket läsåret 2011/12 skulle alltså en 10-procentig ökning av andel friskoleelever höja snittet med 6,3 betygspoäng, från 211 till 217,3. Då ska man också ha i minnet att denna ”10-procentiga ökning” redan skett i riket, från att friskolereformen genomfördes fram till idag då cirka 10 procent av alla grundskoleelever går i en fristående skola.

En kritiker skulle milt uttryckt kunna påstå att den 3-procentiga förbättringen var en dyrköpt förbättring sett till segregation och minskad likvärdighet.

fölster1I dagarna har det kommit ytterligare en undersökning på detta tema. Bakom undersökningen står Stefan Fölster och Reforminstitutet (som huvudsakligen finansieras av Stiftelsen fritt näringsliv). Undersökningen (som finns här) presenterades också i en debattartikel i Expressen där Fölster påstår att konkurrens på skolmarknaden förbättrar skolresultaten och att de kommuner där friskolor inte förekommer har försämrat sina resultat i störst utsträckning.

Denna slutsats, och fler därtill, drar Fölster efter att ha jämfört resultatutvecklingen (avseende andel obehöriga till gymnasieskolan samt andel underkända i ett eller fler ämnen i årskurs 9) i de kommuner som inte har friskolor och de kommuner som har en eller flera. Den undersökta perioden är 1999 till 2012.

Den uppmärksamme läsaren av rapporten (och debattartikeln) reagerar nog över dessa resultat. Kan de stämma? Har det inte skett en väldigt olikartad utveckling i övriga förutsättningar mellan icke-friskolekommunerna och de andra?

För att skingra dessa tvivel beskrivs i rapporten vissa av de kontroller som har gjorts. Man beskriver till exempel hur man har tittat på förändringen i föräldrarnas utbildningsnivå och andelen elever med utländsk bakgrund och konstaterar att utvecklingen varit snarlik i icke-friskolekommunerna och friskolekommunerna.

Denna övning måste dock betraktas som ett spel för galleriet. Att kontrollera om förändringarna i medelvärden mellan åren varit desamma är inte samma sak som att införa kontrollvariabler i en statistisk analys. Ett exempel: Tittar man på betygsmedelvärdena i grundskolan ser man att betygssnittet i årskurs 9 i kommungruppen ”förortskommuner till storstäder” var högre läsåret 2011/12 (217p) än vad det var i kommungruppen ”glesbygdskommuner” (203p). Samtidigt visar Fölsters undersökning att föräldrarnas utbildningsnivå (som har högst förklaringsvärde) ökat likartat för de båda kommungrupperna. Fölsters slutsats är alltså att detta innebär att eleverna i förortskommunerna presterar bättre än de i glesbygdskommunerna och – enligt hans idé om det kausala sambandet – detta för att de har fler friskolor. Fölster tycks alltså mena att föräldrarnas utbildningsnivå kan bortses från i denna jämförelse.

Det Fölster dock missar är ju att föräldrarnas utbildningsnivå fortsatt är mycket högre i dessa förortskommuner (2,28) än i glesbygdskommunerna (2,13) (enligt SALSA-datat var dessa uppgifter är hämtade ifrån). Om föräldrarnas utbildningsnivå lades till som en kontrollvariabel i analysen skulle sannolikt friskoleeffekten minska alternativt försvinna helt.

Med detta sagt, vad borde Fölster och Reforminstitutet alltså ha gjort för att prestera en mer korrekt analys?

Ett sätt att angripa frågan är bedriva klassisk hypotesprövning. Vi utgår från Fölsters slutsats, att kommuner med konkurrensutsatt skolmarknad presterar bättre än icke-konkurrensutsatta kommuner, som hypotes. Om denna stämmer bör det innebära att vi i en statistisk analys, där vi kontrollerar för i huvudsak föräldrarnas utbildningsnivå och elevernas härkomst, ser signifikanta effekter av att skolmarknaden är konkurrensutsatt.

För att denna analys ska utgå från samma premisser som Fölsters undersökning använder vi samma utfallsvariabler som han gjorde, det vill säga andel elever som inte är behöriga till gymnasieskolan samt andel elever som är underkända i ett eller flera ämnen i årskurs 9.[1] Som förklarande variabler används andel pojkar, andel elever som själva är födda utomlands, andel elever med utländsk bakgrund men som är födda i Sverige och föräldrarnas sammanvägda utbildningsnivå. Dessutom används en dummyvariabel (en variabel som endast markerar förekomst (1) eller icke-förekomst (0) av något) efter Fölsters uppgifter om vilka kommuner har respektive inte har friskolor samt en variabel över andel elever i kommunen som går i fristående skola.[2] Det kompletta datasetet kan laddas ned här för den som vill göra egna analyser i det. All data är hämtad från Skolverkets SALSA-databas samt Databas för jämförelsetal.

Ett enkelt sätt att undersöka effekten av dels den kodade Fölstervariabeln (”friskole- eller icke-friskolevariabeln”) och dels variabeln över andel elever i kommunen som går i en fristående skola, är att först göra en analys av de övriga variablernas förklaringsvärde på resultaten (en utfallsvariabel i taget), för att sedan tillföra de andra variablerna (en i taget) för att se om de tillför någon förklaringskraft till modellen i sin helhet.

I tabellen nedan redovisas resultaten av en sådan analys för den första utfallsvariabeln (andel behöriga till yrkesprogram)[3]:

tabell

Analysen visar att variablerna dels tillför mycket litet förklaringskraft till modellen, dels att de med nöd och näppe är signifikanta. Enskolevariabeln (dvs att kommunen bara har kommunal skola eller ej) förklarar endast 0,95 % av variationen och andel friskoleelever i kommunen förklarar endast 0,88 %, att jämföra med föräldrarnas utbildningsnivå som förklarar 20,6 %.

Vad som yttermera är intressant att notera utifrån analysen av dessa data är att effekterna inte är renodlat positiva. Den skattade effekten enligt modellen, för en kommun som går från att endast ha kommunal skola till att ha friskolor (allt annat lika), är en förbättring om 1,7 procent. Paradoxalt nog är effekten av andelen friskoleelever av kommunens elever negativ. Modellen estimerar – tvärtemot IFAU:s studie[4] – en försämring i behörigheten till yrkesprogram om 1,5 procent om andelen friskoleelever ökar med 20 procent.

Det är mycket viktigt att påpeka att dessa resultat indikerar mycket små effekter. Till exempel är det orimligt att andelen friskoleelever i en kommun skulle öka med 20 procent hur som helst. I det sammanhanget är en negativ effekt på behörigheten om 1,5 procent mycket liten.

Den viktigaste slutsatsen är dock att Fölsters undersökning bör tas med några rejäla nypor salt; de kommuner som år 2012 endast hade kommunala grundskolor tycks inte alls ha presterat avsevärt sämre än friskolekommunerna. Den positiva kausala effekten av konkurrens som Fölster uttalar sig om tycks knappt finnas, åtminstone kan den inte beläggas i det data han använt i och med att de små effekterna tycks ta ut varandra (avseende 2012).[5]

Det finns ytterligare några resultat av denna nya analys som bör nämnas. För det första är resultaten snarlika för samtliga utfallsvariabler. För det andra indikerar analysen en liten förändring från 2004 till 2012 (hela Fölsters tidsserie har inte analyserats), där Fölster-variablen var signifikant redan 2004 och med svagt negativ effekt för att vara fortsatt signifikant men med positiv effekt 2012. Andelen elever i friskola var inte signifikant 2004, men signifikant och med negativ effekt 2012.

Dessutom ökar modellens förklaringskraft mellan 2004 till 2012, från att förklara cirka 20 procent av variationen år 2004 till cirka 35 procent för år 2012.

Detta inlägg har författats med benäget bistånd av statistikern Oskar Eriksson som genomfört viktiga tester av resultaten från regressionerna.

Uppdatering 2013-09-02: Ett fel har upptäckts i ursprungstexten, varför en uppdatering gjorts. Felet gällde beskrivningen av effekten av dummyvariablen över friskole- eller icke-friskolekommun.


[1] I denna analys gör vi tyvärr inga kontroller för betygsinflation, vilket den tidigare forskningen indikerar ett behov av. Se tex denna IFAU-studie.

[2] Denna variabel har tidigare använts tex Jonas Vlachos som mått på konkurrens på skolmarknaden.

[3] Notera att behörighetsreglerna förändrats iom GY2011, och den tidigare variabeln ”andel elever med grundläggande gymnasiebehörighet” utgått. I datasetet som använts till denna undersökning används dock den gamla variabeln, precis som Fölster gör, för de föregående åren.

[4] Se not 5!

[5] Det är viktigt att påpeka att de data som använts i denna analys gäller kommuner som resultatenheter. Det betyder att resultaten kan bli andra om tex individdata skulle användas, vilket den omnämnda IFAU-studien gjorde. Notera också att det gäller olika utfallsvariabler.

Taggad , , , , , ,

Om övergången till högskolan och hur debatten svänger

När jag var student pågick en intensiv debatt om högskolans fortsatta expansion. Den svenska högskolan hade sedan 1990-talet byggts ut kraftigt med fler utbildningsplatser och fler högskolor och universitet. Målet var – precis som för skolväsendets utbyggnad under hela efterkrigstiden – att tillgängliggöra utbildning för allt fler i befolkningen.

I graferna nedan illustreras den kraftiga utbyggnaden av den svenska högskolan dels mätt som antal studenter, dels mätt i andel av ungdomarna som inom tre år efter avslutade gymnasiestudier påbörjade högskolestudier:

antal platser

övergång_diagram

Uppgifter om antal platser är hämtade från Högskoleverkets årsredovisningar. Notera att man fram till år 1996 redovisade uppgifter per läsår för att sedan gå över till kalenderår. Uppgifter om övergång från gymnasie- till högskola är hämtade från Skolverkets databas för jämförelsetal.

Som graferna visar mattades utvecklingen av något under tidigt 2000-tal (som andel betraktat, elevkullarnas storlek varierar ju). Ungefär vid denna tidpunkt (jag minns inte exakt) formulerade den sittande socialdemokratiska regeringen det så kallade ”50-procentsmålet”, det vill säga att minst hälften av alla ungdomar ska ha påbörjat högskolestudier innan de fyllt 25 år.
Målet var ambitiöst men mötte också mycket kritik. Från studenternas håll kritiserade man målet för att man befarade att ytterligare expansion skulle innebär ytterligare kvalitetsförsämringar, försämringar man tyckte sig ha sett under en längre tid (med stöd ibland annat Högskoleverkets rapporter). Oppositionen motsatte sig målet på liknande grunder och de kommande stora elevkullarna vållade ytterligare problem för regeringen; de stora elevkullar som skulle börja lämna gymnasieskolan några år senare (2005 och framåt) skulle innebära enorma investeringar i ytterligare utbildningsplatser för att möjliggöra för hälften av ungdomarna att påbörja högskolestudier (här finns en uppsats som redogör för den högskolepolitiska debatten under perioden).

Övergångarna till högskolan är intressanta att studera ur flera perspektiv. Dels ur de perspektiv som angetts ovan, dels ur perspektivet vilka effekter vissa samtida regelförändringar har fått såsom att möjligheterna till konkurrenskompletteringar i Komvux begränsades via det nya kvotgruppssystemet samt slopandet av den så kallade 25:4-regeln. För den intresserade har jag sammanställt följande tabell med data från Skolverket där vissa effekter av nämnda förändringar kan tänkas skönjas:

övergång_tabell

Taggad , , , , , ,

Input och output i tidningen Dagens Samhälle

Jag har sedan innan skrivit om hur tidningen Dagens Samhälle granskar resultatskillnader i den svenska skolan. För den som återkommande läser tidningen framstår det tydligt att tidningens redaktion är väldigt intresserad av att göra olika input/output-analyser av den svenska skolan. Det syns inte minst i deras egenkonstruerade ”Kostnad per betygspoäng”-mått som de ofta använder för att beskriva olika skolhuvudmäns (främst kommuners) kostnadseffektivitet.

ds2Ett återkommande problem med Dagens Samhälles granskningar är att de i sina analyser inte gör riktiga kontroller för olika bakgrundsvariabler. Ur detta perspektiv är det inte konstigt att till exempel Danderyd och Lidingö m.fl i analyserna alltid framstår som de mest kostnadseffektiva kommunerna som får ut högst betyg för pengarna.

I ett av de senaste numren av tidningen gör man en ny ranking där kommunerna listas efter deras effektivitet samt vilket politiskt styre de har. Inlägget har rönt uppmärksamhet i annan media, men har lyckligtvis också väckt ett akademiskt intresse. Läs till exempel Anders Sundells välformulerade blogginlägg om saken på Politologerna, ”Leder alliansens politik till bättre skolresultat? Orsak och verkan i politiken”, samt Jonas Vlachos inlägg på Ekonomistas, ”Flash! Billigare att utbilda barn till högutbildade!”.

Uppdatering 16/5 2013:

Läs också det uppföljande inlägget på Politologerna om kommunrankingar i allmänhet, ett inlägg som ligger till grund för författarnas artikel på DN Debatt.

Taggad , , , , , , ,