Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

Om PISA 2012, att styra skolan samt att ställa rätt frågor till rätt instans

Idag släpptes resultaten av 2012 års PISA-undersökning och debatten har redan dragit igång. För den oinvigde är PISA-undersökningen en stor mätning av 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap. Dessutom genomförs en enkät där elever får svara på allt från deras hemförhållanden till hur saker och ting fungerar i skolan. Både OECD-länder och partnerländer deltar, men det är frivilligt för eleverna att delta. Totalt deltar cirka en halv miljon elever i undersökningen som genomförs vart tredje år.

Det blir alltid en stor nyhet i Sverige när dessa resultat släpps. Detta beror inte främst på att det är så himla kul att veta hur svenska 15-åringar presterar i matematik i jämförelse med Sloveniens dito, utan det främsta skälet är att det svenska uppföljningssystemet inte är konstruerat för att kunna följa kunskapsutveckling i skolsystemet över tid. Det går inte via det svenska betygsystemet eller de nationella proven att uttala sig om huruvida nuvarande årskull elever upnådde bättre eller sämre kunskaper än föregående. Detta går att göra via de internationella undersökningarna, som PISA, i och med att de innehåller tydligare så kallade ”ankaruppgifter” som mäter samma typ av förmågor och färdigheter från undersökning till undersökning och gör resultaten jämförbara över tid.

pisa20002012Det är via de internationella undersökningarna som vi i huvudsak har kunskap om att de svenska elevernas kunskaper har försämrats över tid. I grafen här intill beskrivs utvecklingen sedan den första undersökningen år 2000.

När detta skrivs är debatten redan igång kring vad som behöver göras och vem som ska lastas för utvecklingen. Jan Björklund kommer sannolikt – med rätta – att bli hårt ansatt i och med att utvecklingen inte har vänt trots att han nu varit skol/utbildningsminister i snart åtta år. Björklund å sin sida kommer sannolikt – också med rätta – hävda att den fortsatta nedgången ligger utanför hans kontroll i och med att de reformer regeringen genomfört inte börjat gälla förrän sommaren 2011. Det vill säga, de elever som gjorde detta PISA-test har inte gått i en grundskola som präglats av regeringens reformer.

Tråkigt nog för de som gillar den typ av politisk polemik som nu följer, så är det nog så att båda sidor har rätt. Regeringen hade kunnat göra mer, men mycket lite av det regeringen har gjort har ännu fått effekt, men kommer att få effekt, sannolikt också positiv sådan (men först om flera år, såsom behörighetsregler för lärare mm).

Det finns dock en sak som är mycket märklig med den debatt som nu startar (igen), och dessa märkligheter framträdde tydligt redan vid Björklunds pressträff. När frågan släpptes fri bland de samlade journalisterna var de frågor som ställdes om ”ni [regeringen] kommer att tillföra mer resurser till skolan?” eller om ”ni [regeringen] kommer att anställa fler lärare?”.

Det som är det märkliga med dessa frågor är att de som ställer dem ställer dem till helt fel instans. Staten är inte huvudman för Sveriges barn- och ungdomsskola. Det är inte staten som bestämmer vilka resurser skolan ska få eller vilka eller hur många lärare som ska anställas. Det är kommunerna som bestämmer över skolans resurser och det är kommunerna och de fristående huvudmännen som bestämmer vilka och hur många lärare som ska anställas.

Frågan borde alltså snarare riktas till skolans huvudmän, såsom exempelvis Timrå kommun. Vad gör ni för att vända resultaten i er grundskola?

Timrå är nämligen ett mycket intressant exempel att studera. Tittar man i statistiken framträder nämligen en dyster bild för Timrås elever. Av landets 290 kommuner så faller Timrå ut bland de sämsta sett till meritvärden i grundskolan (plats 255). De har en högre andel elever som inte når grundläggande gymnasiebehörighet än rikssnittet och endast 70 % av eleverna lämnade år 2013 grundskolan med godkända betyg i samtliga ämnen (77 % i riket).[1]

timraBland vissa kommunpolitiker i Timrå tycks det finnas en viss krismedvetenhet. Några manar till ett skoluppror och kräver förbättring. Föräldrar och elever tycks instämma. Men vad görs? Jodå, en extra satsning har gjorts på skolan om 42 miljoner kronor över tre år, men kommunen har ju också andra problem att tampas med. Timrå IK (hockeylaget) har ju åkt ur Elitserien (ve och fasa!) och har (återigen) hamnat i akut ekonomisk kris, vilket kommunen såklart måste styra upp.

Kommunen satsar därför, utöver de 81 miljoner som redan satsats de senaste tio åren, och utöver att man redan efterskänkt den nybyggda arenan till klubben, ytterligare 4,5 miljoner kronor per år i minst tio år framåt för att rädda klubben.

Den totala kostnaden för undervisningen i Timrå kommuns grundskolor uppgick år 2012 till 76 miljoner kronor. Hockeylagets kommande tillskott om 4,5 miljoner kronor per år motsvarar alltså 6 % av denna årliga kostnad.

Vad hade Timrå kommun kunnat göra för dessa pengar istället? Anställt fler speciallärare? Anställt fler lärare? Ökat skolpengen för elever med behov av särskilt stöd? Minskat klasstorlekarna i de tidiga årskurserna? Varför ställer ingen journalist dessa frågor till Timrå kommuns ledning i samband med nyhetsrapporteringen om de försämrade kunskaperna i svensk skola?

Mina personliga slutsatser är (trots att jag faktiskt finner visst nöje i att titta på hockey):

  • att det inte är rimligt att Timrås grundskoleelever ska konkurrera om samma pengar som Timrå IK, vilket de gör i dagsläget i och med att kommunfullmäktige både styr över hur de egeninhämtade skattemedlen ska användas samt de medel som tillförs från statens kommunala skatteutjämning. (Det lustiga med detta är alltså att det finns ett helt gäng Danderydbor som inte endast medfinansierar Timrås grundskola och äldreboenden, utan att de även just bidragit med en efterskänkt ishall och verksamhetsbidrag till Timrå IK. De kanske borde erbjudas någon form av rabatt på matchbiljetter?)
  • att Timrå kommuns agerande tydligt visar att skolan just nu är fången i ett dubbelkommando där de två styrande instanserna inte drar åt samma håll – Björklund vill se mer lärarledd undervisning i svensk skola och Timrå kommun mer elitseriehockey i sin, nej ursäkta: Timrå IK:s, ishall.
  • att Timrå kommuns prioriteringar mellan grundskolelevernas kunskaper och ett mediokert hockeylags fortlevnad på ett tydligt sätt illustrerar varför staten borde få styra skolan

 


[1] All data hämtat från SIRIS-databasen.

Taggad , , , , , , , , ,

Märkliga undersökningar, märklig journalistik och märklig spridning

Då och då plingar det till i mobilen och inboxen med Skolportens veckobrev. Ett helt ok nyhetsbrev som ofta kan innehålla intressanta nyheter som man ibland kan ha missat i nyhetsbruset. I veckobrevet från den 19/11 föll jag för en rubrik som var mycket intressant. En unik enkät visade nämligen att ”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”. Oj tänkte jag, det var intressant utifrån den (ofta mycket mediokra) läxdebatt som rullat ett tag.

Tyvärr visade det sig att det här inte ens var läsvärt, vilket jag främst anser är något som Skolporten borde fundera över (snarare än journalisten på UNT). De har nämligen en hel del förtroendekapital investerad i sin rapportering kring forskning, undersökningar mm, så de borde läsa de nyheter de ska sprida lite noggrannare innan de skrider till verket.

20131121-104423.jpg

Vad var då problemet med undersökningen? Som rubriken antyder så ska detta handla om en undersökning vars resultat rimligen bör kunna generaliseras till hela rektorskåren, rubriken gör ju sådana anspråk. När man sedan läser artikeln på UNT.se uppstår ett under av förvirring. Den ”unika” enkäten har haft 40 svarande rektorer, ingenstans nämns vilket bruttourval man har haft, vilket bortfall som funnits eller vilken målgrupp enkäten haft. Sannolikt är det väl som så att UNT har låtit enkäten gå ut till samtliga rektorer i Uppsala kommun, men det är en gissning, det framgår ingenstans. Om så, så kanske resultatet kan generaliseras till rektorerna i Uppsala, jag har tyvärr ingen uppgift om hur stor denna population är (och står och bloggar på en kaffepaus mitt i en konferens, så jag kan inte kolla upp det heller).

Om enkäten gått ut till rektorer över hela landet så tycks det snarare vara en ”bedrövlig” enkät än en ”unik” dito. Och även om vi håller oss kvar i Uppsala, hur många friskolerektorer till antalet är det egentligen som har svarat? Om vi gissar att 10 % av eleverna i Uppsala går i friskola, och att skolandelen är ungefär densamma, så innebär det att kanske fyra friskolerektorer besvarat enkäten. Det skulle innebära att ”en tredjedel” av friskolerektorerna motsvararas av EN svarande rektor.

Om denna gissning stämmer tycks det vara ett ganska magert underlag för de typ av anspråk som görs i rubriken.

Rättelse 2013-11-22

Skolportens redaktör John Miller har för mig påpekat att nyheten inte gick ut i Skolportens nyhetsbrev (som nämndes i det första blogginlägget), utan i deras veckobrev under rubriken ”Ledarskap”. Enligt Miller var det främsta syftet att delge veckobrevsläsarna några rektorers syn på läxdebatten, vilket såklart är lovvärt. Jag ber om ursäkt för misstaget och sammanblandningen, men skulle gärna se att en viktig aktör som Skolporten ser över hur nyheter beskrivs i de brev som går ut. Som inlägget beskriver var ingressen till denna nyhet (”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”) mycket missvisande. Jag kommer dock fortsätta läsa Skolportens nyhetsbrev för den som undrar.

Taggad , , , , ,

En skola med problem – en ögonblicksbild

Ett av den svenska skolans viktigaste problem att lösa är att en stor andel av eleverna varje år lämnar grundskolan utan behörighet till gymnasiestudier. Jag har skrvit om detta i tidigare inlägg här och här. I det senare reses frågan om grundskolan fullgör sin plikt gentemot de skolpliktiga eleverna.

Vissa elever är i stort behov av stöd för att kunna nå gymnasiebehörighet, frågan är om de får det i rätt tid, i rätt art och i rätt omfattning? Jag kan själv inte besvara dessa frågor, men anser att diagrammet nedan åtminstone ger en indikation till svar på en av frågorna; ges inte stödet i svensk grundskola för sent?

särskiltstöd

——

Statistik över särskilt stöd i grundskolan har nyligen börjat publiceras av Skolverket. Se nyhet och länkar till data här.

Taggad , , , , ,

Ska vi studera kommunskillnader? – Ett granskat pressmeddelande från SKL

I början av september släppte Lärarnas Riksförbund en ny undersökning i samband med den av förbundet instiftade Skolans dag. Ett intressant resultat från undersökningen handlade om vilken betydelse det har att bo i ”rätt” kommun för att kunna nå skolans mål. I rapporten visades detta bland annat genom tabellen nedan, där andelen elever vars föräldrar högst har förgymnasial utbildning som nått grundläggande gymnasiebehörighet redovisas för ett antal kommungrupper (efter SKL:s kommungruppsuindelning):

kommunskillnader

Tabellen visar exempelvis att det tycks vara betydelsefullt att bo i ”rätt” kommun om man också har utländsk bakgrund. De elever i denna elevgrupp som bodde i förortskommuner till större städer (dvs förorter till typ Örebro, Linköping, Umeå mfl) har uppnått mycket högre behörighetsgrader än de i kommuner i glesbefolkade regioner. Tabellen tycks också indikera en ökad betydelse över tid, i och med att endast 57 % av eleverna i den senare kommungruppen nådde grundläggande behörighet år 2011, jämfört med fortsatta ca 80 % i förortskommunerna till de större städerna.

Sveriges kommuner och landsting (SKL) var snabbt ute med ett pressmeddelande där de kommenterade detta på sedvanligt vis, nämligen att det är fel att fokusera på variationen mellan kommuner och skolor i och med att ”variationen är störst mellan elever inom samma skola!”

Enligt SKL är det alltså där vi ska lägga vårt fokus – i det som händer i klassrummen. För om vi gör detta, och ser till att alla eleverna i klassen och på skolan når målen, då ökar likvärdigheten.

SKL:s budskap låter både sympatiskt och trovärdigt, och det är det också – variationen mellan eleverna är de facto större än variationen mellan skolor och kommuner. Men visst är det ändå något som känns märkligt med deras nedtoning av kommunskillnaderna? Håller logiken?

Det grundläggande problemet i SKL:s analys är att variationen mellan eleverna alltid har varit större än variationen mellan skolor och kommuner – och kommer sannolikt alltid att vara det – men det som beläggs både av Lärarnas Riksförbund och andra instanser, är en ökande skillnad mellan eleverna beroende på vilken skola eller kommun de bor i.

Det vill säga, alla olika huvudmän är olika bra på att skapa förutsättningar för att få allt det där bra att hända i klassrummen som SKL efterlyser.

I Skolverkets kunskapsöversikt ”Vad påverkar resultaten i svensk grundskola?” åskådliggörs detta på ett mycket tydligt sätt av Jan-Eric Gustafsson och Kajsa Yang-Hansen från Göteborgs universitet:[1]

gustafsson

Grafen visar hur dessa variablers förklaringskraft på variationen i elevernas meritvärden utvecklats över tid. Grafen visar alltså hur kommuntillhörigheten numer kan förklara cirka 3,5 % av den totala variationen och skoltillhörigheten ca 9 % (notera att detta gäller 2007, ber om ursäkt för ouppdaterad graf). En intressant sak att notera är alltså att kommuntillhörigheten förklarade en lika stor andel av variationen år 2007 som skoltillhörigheten gjorde 1989!

Några andra slutsatser som kan dras:

  • Det har alltid spelat roll vilken skola en elev går i, både före och efter kommunaliseringen och valfrihetsreformerna, men betydelsen har ökat.
  • Det har alltid spelat roll vilken kommun en elev bor i, både före och efter kommunaliseringen och valfrihetsreformerna, men betydelsen har ökat.
  • Det har alltid spelat stor roll vilken bakgrund en elev har, både före och efter kommunaliseringen och valfrihetsreformerna. Sett till förklaringskraft är betydelsen ungefär densamma över tid. Sett till skillnader mellan elever så har det ökat något.
  • Det har alltid funnits, och kommer alltid att finnas, en stor oförklarad variation mellan elevers resultat. Skolverksamhet är nämligen inte statisk tillverkning av pappersmuggar, det är dynamisk process med många oförutsedda inslag.

För eleverna har det alltså betydelse vilken kommun de bor i samt i vilken skola de bor. Betydelsen har också ökat över tid. Olika kommuner och olika skolor är olika bra på att skapa goda förutsättningar för den magi lärare kan skapa i ett klassrum. Menar verkligen SKL att sådana systematiska skillnader inte ska läggas i dagen, beskrivas och debatteras? Om man anser att det ligger i hela landets intresse att alla elever får tillgång till god utbildning i bra skolor, oavsett var i landet de bor och vilka föräldrar de har, bör man då inte intressera sig för dessa systematiska skillnader och de studier som belägger dem?

Det tycker i alla fall jag att man bör göra.


[1] Gustavsson och Yang-Hansen i Skolverket (2009 a) s. 54.

Taggad , , , , , , , , , ,

Förbättrade skolresultat genom ökad konkurrens?

Under slutet av förra året släpptes en IFAU-rapport som har analyserat effekterna av friskolereformen avseende elevernas studieresultat. Rapporten var intressant i och med att det generellt har varit väldigt svältfött med svenska kvantitativa studier om effekterna av friskolereformen och de slutsatser folk har dragit gällande reformens effekter har därför ofta haft en mer ideologisk resonansbotten än vetenskaplig.

Det finns några saker att poängtera gällande IFAU-rapporten. Dels finns det de som har haft viss metodologisk kritik att framföra, dels måste den uppmätta effekten betraktas som mycket liten. Ett av huvudresultaten i studien var nämligen att en ökning i andelen friskoleelever i årskurs 9 med 10 procentenheter var att förknippa med cirka 3 procent högre resultat i grundskolan. Sett till det genomsnittliga meritvärdet för grundskolan i riket läsåret 2011/12 skulle alltså en 10-procentig ökning av andel friskoleelever höja snittet med 6,3 betygspoäng, från 211 till 217,3. Då ska man också ha i minnet att denna ”10-procentiga ökning” redan skett i riket, från att friskolereformen genomfördes fram till idag då cirka 10 procent av alla grundskoleelever går i en fristående skola.

En kritiker skulle milt uttryckt kunna påstå att den 3-procentiga förbättringen var en dyrköpt förbättring sett till segregation och minskad likvärdighet.

fölster1I dagarna har det kommit ytterligare en undersökning på detta tema. Bakom undersökningen står Stefan Fölster och Reforminstitutet (som huvudsakligen finansieras av Stiftelsen fritt näringsliv). Undersökningen (som finns här) presenterades också i en debattartikel i Expressen där Fölster påstår att konkurrens på skolmarknaden förbättrar skolresultaten och att de kommuner där friskolor inte förekommer har försämrat sina resultat i störst utsträckning.

Denna slutsats, och fler därtill, drar Fölster efter att ha jämfört resultatutvecklingen (avseende andel obehöriga till gymnasieskolan samt andel underkända i ett eller fler ämnen i årskurs 9) i de kommuner som inte har friskolor och de kommuner som har en eller flera. Den undersökta perioden är 1999 till 2012.

Den uppmärksamme läsaren av rapporten (och debattartikeln) reagerar nog över dessa resultat. Kan de stämma? Har det inte skett en väldigt olikartad utveckling i övriga förutsättningar mellan icke-friskolekommunerna och de andra?

För att skingra dessa tvivel beskrivs i rapporten vissa av de kontroller som har gjorts. Man beskriver till exempel hur man har tittat på förändringen i föräldrarnas utbildningsnivå och andelen elever med utländsk bakgrund och konstaterar att utvecklingen varit snarlik i icke-friskolekommunerna och friskolekommunerna.

Denna övning måste dock betraktas som ett spel för galleriet. Att kontrollera om förändringarna i medelvärden mellan åren varit desamma är inte samma sak som att införa kontrollvariabler i en statistisk analys. Ett exempel: Tittar man på betygsmedelvärdena i grundskolan ser man att betygssnittet i årskurs 9 i kommungruppen ”förortskommuner till storstäder” var högre läsåret 2011/12 (217p) än vad det var i kommungruppen ”glesbygdskommuner” (203p). Samtidigt visar Fölsters undersökning att föräldrarnas utbildningsnivå (som har högst förklaringsvärde) ökat likartat för de båda kommungrupperna. Fölsters slutsats är alltså att detta innebär att eleverna i förortskommunerna presterar bättre än de i glesbygdskommunerna och – enligt hans idé om det kausala sambandet – detta för att de har fler friskolor. Fölster tycks alltså mena att föräldrarnas utbildningsnivå kan bortses från i denna jämförelse.

Det Fölster dock missar är ju att föräldrarnas utbildningsnivå fortsatt är mycket högre i dessa förortskommuner (2,28) än i glesbygdskommunerna (2,13) (enligt SALSA-datat var dessa uppgifter är hämtade ifrån). Om föräldrarnas utbildningsnivå lades till som en kontrollvariabel i analysen skulle sannolikt friskoleeffekten minska alternativt försvinna helt.

Med detta sagt, vad borde Fölster och Reforminstitutet alltså ha gjort för att prestera en mer korrekt analys?

Ett sätt att angripa frågan är bedriva klassisk hypotesprövning. Vi utgår från Fölsters slutsats, att kommuner med konkurrensutsatt skolmarknad presterar bättre än icke-konkurrensutsatta kommuner, som hypotes. Om denna stämmer bör det innebära att vi i en statistisk analys, där vi kontrollerar för i huvudsak föräldrarnas utbildningsnivå och elevernas härkomst, ser signifikanta effekter av att skolmarknaden är konkurrensutsatt.

För att denna analys ska utgå från samma premisser som Fölsters undersökning använder vi samma utfallsvariabler som han gjorde, det vill säga andel elever som inte är behöriga till gymnasieskolan samt andel elever som är underkända i ett eller flera ämnen i årskurs 9.[1] Som förklarande variabler används andel pojkar, andel elever som själva är födda utomlands, andel elever med utländsk bakgrund men som är födda i Sverige och föräldrarnas sammanvägda utbildningsnivå. Dessutom används en dummyvariabel (en variabel som endast markerar förekomst (1) eller icke-förekomst (0) av något) efter Fölsters uppgifter om vilka kommuner har respektive inte har friskolor samt en variabel över andel elever i kommunen som går i fristående skola.[2] Det kompletta datasetet kan laddas ned här för den som vill göra egna analyser i det. All data är hämtad från Skolverkets SALSA-databas samt Databas för jämförelsetal.

Ett enkelt sätt att undersöka effekten av dels den kodade Fölstervariabeln (”friskole- eller icke-friskolevariabeln”) och dels variabeln över andel elever i kommunen som går i en fristående skola, är att först göra en analys av de övriga variablernas förklaringsvärde på resultaten (en utfallsvariabel i taget), för att sedan tillföra de andra variablerna (en i taget) för att se om de tillför någon förklaringskraft till modellen i sin helhet.

I tabellen nedan redovisas resultaten av en sådan analys för den första utfallsvariabeln (andel behöriga till yrkesprogram)[3]:

tabell

Analysen visar att variablerna dels tillför mycket litet förklaringskraft till modellen, dels att de med nöd och näppe är signifikanta. Enskolevariabeln (dvs att kommunen bara har kommunal skola eller ej) förklarar endast 0,95 % av variationen och andel friskoleelever i kommunen förklarar endast 0,88 %, att jämföra med föräldrarnas utbildningsnivå som förklarar 20,6 %.

Vad som yttermera är intressant att notera utifrån analysen av dessa data är att effekterna inte är renodlat positiva. Den skattade effekten enligt modellen, för en kommun som går från att endast ha kommunal skola till att ha friskolor (allt annat lika), är en förbättring om 1,7 procent. Paradoxalt nog är effekten av andelen friskoleelever av kommunens elever negativ. Modellen estimerar – tvärtemot IFAU:s studie[4] – en försämring i behörigheten till yrkesprogram om 1,5 procent om andelen friskoleelever ökar med 20 procent.

Det är mycket viktigt att påpeka att dessa resultat indikerar mycket små effekter. Till exempel är det orimligt att andelen friskoleelever i en kommun skulle öka med 20 procent hur som helst. I det sammanhanget är en negativ effekt på behörigheten om 1,5 procent mycket liten.

Den viktigaste slutsatsen är dock att Fölsters undersökning bör tas med några rejäla nypor salt; de kommuner som år 2012 endast hade kommunala grundskolor tycks inte alls ha presterat avsevärt sämre än friskolekommunerna. Den positiva kausala effekten av konkurrens som Fölster uttalar sig om tycks knappt finnas, åtminstone kan den inte beläggas i det data han använt i och med att de små effekterna tycks ta ut varandra (avseende 2012).[5]

Det finns ytterligare några resultat av denna nya analys som bör nämnas. För det första är resultaten snarlika för samtliga utfallsvariabler. För det andra indikerar analysen en liten förändring från 2004 till 2012 (hela Fölsters tidsserie har inte analyserats), där Fölster-variablen var signifikant redan 2004 och med svagt negativ effekt för att vara fortsatt signifikant men med positiv effekt 2012. Andelen elever i friskola var inte signifikant 2004, men signifikant och med negativ effekt 2012.

Dessutom ökar modellens förklaringskraft mellan 2004 till 2012, från att förklara cirka 20 procent av variationen år 2004 till cirka 35 procent för år 2012.

Detta inlägg har författats med benäget bistånd av statistikern Oskar Eriksson som genomfört viktiga tester av resultaten från regressionerna.

Uppdatering 2013-09-02: Ett fel har upptäckts i ursprungstexten, varför en uppdatering gjorts. Felet gällde beskrivningen av effekten av dummyvariablen över friskole- eller icke-friskolekommun.


[1] I denna analys gör vi tyvärr inga kontroller för betygsinflation, vilket den tidigare forskningen indikerar ett behov av. Se tex denna IFAU-studie.

[2] Denna variabel har tidigare använts tex Jonas Vlachos som mått på konkurrens på skolmarknaden.

[3] Notera att behörighetsreglerna förändrats iom GY2011, och den tidigare variabeln ”andel elever med grundläggande gymnasiebehörighet” utgått. I datasetet som använts till denna undersökning används dock den gamla variabeln, precis som Fölster gör, för de föregående åren.

[4] Se not 5!

[5] Det är viktigt att påpeka att de data som använts i denna analys gäller kommuner som resultatenheter. Det betyder att resultaten kan bli andra om tex individdata skulle användas, vilket den omnämnda IFAU-studien gjorde. Notera också att det gäller olika utfallsvariabler.

Taggad , , , , , ,

School’s out – och betygen satta (på rätt grunder?)

Sommarlovstider är här, vilket betyder att lärarnas betygsättningstider börjar närma sig slutet för denna termin. I och med att förändringar har gjorts i betygsystemet har det varit extra turbulent nu ett tag, både i den allmänna skolpolitiska debatten och bland lärarna själva. Att betygskalan har förändrats från G-MVG-skalan till den nya A-F-skalan är egentligen ovidkommande, sånär som på att de nya mellanbetygen B och D saknar kriterier vilket skapat (och säkert kommer fortsätta skapa) viss irritation. Det här är dock en svår nöt att knäcka. Det har sedan lång tid tillbaka alltid funnits en politisk beställning på ett betygsystem med fler steg. Inför beredningen av det förra systemet, inför Lpo94, vill jag minnas att den politiska beställningen i direktiven var sex godkända steg. Lösningen nu, med en skala med fem godkända steg, men endast med nationella kriterier för tre av dem är en kompromisslösning. Inte så mycket en kompromisslösning mellan olika politiska idéer, utan en kompromisslösning mellan vad politiker vill och vad som är görligt inom ramen för ett kriterierelaterat betygsystem.

srThe short version av problemet är detta: Ju fler kriterierelaterade steg man vill införa i skalan, desto svårare blir att formulera distinkta skillnader mellan kriterierna som gör de tydligt skiljda från varandra. Betygsberedningen lyckades inte inför G-MVG-systemet, Skolverket lyckades inte nu inför A-F-systemet. För att skapa ett så rättsäkert system som möjligt är det egentligen enklast att bara ha två steg – ett godkänt och ett underkänt, som i fallet med uppkörning för körkort till exempel; antingen kan du köra bil (tillräckligt bra) eller så inte. Problemet är dock att vi tycks vara fast beslutna att vi ska använda betygsystemet för urval till högre studier, vilket kräver differentiering av eleverna efter resultat.

Att vi nu har en skala med fem godkända steg men med endast nationella kriterier för tre av stegen är kanske ändå inte det som diskuteras mest. Ur ett lärarperspektiv har ändå själva förändringen av kriterierna, till de nya kunskapskraven, varit det som diskuteras mest. Hur bör man bedöma skillnaden mellan att ”redogöra översiktligt” eller ”redogöra utförligt” för något? I jämförelse med detta, vad bör jag (och förhoppningsvis vi i kollegiet) kräva för att anse att det också görs ”nyanserat”?

Frågor av detta slag får redas ut i något annat forum än i denna blogg, men låt oss enas om två saker: Det kommer att dröja ett tag innan systemet sätter sig och det ÄR svårt att sätta rättvisa, rättssäkra och likvärdiga betyg. Apropå det sista så läste jag en mycket intressant artikel i Metro på vägen till jobbet för någon vecka sedan (23/5 2013, s.16). Artiklen handlade om hur förtvivlat svårt det är det här med bedömningar och betygsättning och i artikeln intervjuas en professor med inblick i det hela:

”- Det här är mycket svåra bedömningar eftersom det inte finns några säkra kriterier [för hur bedömningen ska gå till, mitt tillägg]. Dessutom är många kriterier kopplade till ett stort tolkningsutrymme. Två personer tittar på en och samma sak men ser helt olika saker.
– Det ska dock sägas att man från professionens sida blivit betydligt mer öppna för att ta till sig vetenskpalig kunskap på området de senaste tio åren. Men detta är inget för lekmän och min uppfattning är att de utanför professionen inte borde göra sådana här bedömningar”

(Ja just ja, jag kanske ska tillägga att artikeln handlade om juristers olikartade bedömningar och värderingar av förhör och hur det skapar ett rättsäkerhetsproblem inom rätssväsendet, och inte om lärare.)

Taggad , , , , , , ,

Om övergången till högskolan och hur debatten svänger

När jag var student pågick en intensiv debatt om högskolans fortsatta expansion. Den svenska högskolan hade sedan 1990-talet byggts ut kraftigt med fler utbildningsplatser och fler högskolor och universitet. Målet var – precis som för skolväsendets utbyggnad under hela efterkrigstiden – att tillgängliggöra utbildning för allt fler i befolkningen.

I graferna nedan illustreras den kraftiga utbyggnaden av den svenska högskolan dels mätt som antal studenter, dels mätt i andel av ungdomarna som inom tre år efter avslutade gymnasiestudier påbörjade högskolestudier:

antal platser

övergång_diagram

Uppgifter om antal platser är hämtade från Högskoleverkets årsredovisningar. Notera att man fram till år 1996 redovisade uppgifter per läsår för att sedan gå över till kalenderår. Uppgifter om övergång från gymnasie- till högskola är hämtade från Skolverkets databas för jämförelsetal.

Som graferna visar mattades utvecklingen av något under tidigt 2000-tal (som andel betraktat, elevkullarnas storlek varierar ju). Ungefär vid denna tidpunkt (jag minns inte exakt) formulerade den sittande socialdemokratiska regeringen det så kallade ”50-procentsmålet”, det vill säga att minst hälften av alla ungdomar ska ha påbörjat högskolestudier innan de fyllt 25 år.
Målet var ambitiöst men mötte också mycket kritik. Från studenternas håll kritiserade man målet för att man befarade att ytterligare expansion skulle innebär ytterligare kvalitetsförsämringar, försämringar man tyckte sig ha sett under en längre tid (med stöd ibland annat Högskoleverkets rapporter). Oppositionen motsatte sig målet på liknande grunder och de kommande stora elevkullarna vållade ytterligare problem för regeringen; de stora elevkullar som skulle börja lämna gymnasieskolan några år senare (2005 och framåt) skulle innebära enorma investeringar i ytterligare utbildningsplatser för att möjliggöra för hälften av ungdomarna att påbörja högskolestudier (här finns en uppsats som redogör för den högskolepolitiska debatten under perioden).

Övergångarna till högskolan är intressanta att studera ur flera perspektiv. Dels ur de perspektiv som angetts ovan, dels ur perspektivet vilka effekter vissa samtida regelförändringar har fått såsom att möjligheterna till konkurrenskompletteringar i Komvux begränsades via det nya kvotgruppssystemet samt slopandet av den så kallade 25:4-regeln. För den intresserade har jag sammanställt följande tabell med data från Skolverket där vissa effekter av nämnda förändringar kan tänkas skönjas:

övergång_tabell

Taggad , , , , , ,

Input och output i tidningen Dagens Samhälle

Jag har sedan innan skrivit om hur tidningen Dagens Samhälle granskar resultatskillnader i den svenska skolan. För den som återkommande läser tidningen framstår det tydligt att tidningens redaktion är väldigt intresserad av att göra olika input/output-analyser av den svenska skolan. Det syns inte minst i deras egenkonstruerade ”Kostnad per betygspoäng”-mått som de ofta använder för att beskriva olika skolhuvudmäns (främst kommuners) kostnadseffektivitet.

ds2Ett återkommande problem med Dagens Samhälles granskningar är att de i sina analyser inte gör riktiga kontroller för olika bakgrundsvariabler. Ur detta perspektiv är det inte konstigt att till exempel Danderyd och Lidingö m.fl i analyserna alltid framstår som de mest kostnadseffektiva kommunerna som får ut högst betyg för pengarna.

I ett av de senaste numren av tidningen gör man en ny ranking där kommunerna listas efter deras effektivitet samt vilket politiskt styre de har. Inlägget har rönt uppmärksamhet i annan media, men har lyckligtvis också väckt ett akademiskt intresse. Läs till exempel Anders Sundells välformulerade blogginlägg om saken på Politologerna, ”Leder alliansens politik till bättre skolresultat? Orsak och verkan i politiken”, samt Jonas Vlachos inlägg på Ekonomistas, ”Flash! Billigare att utbilda barn till högutbildade!”.

Uppdatering 16/5 2013:

Läs också det uppföljande inlägget på Politologerna om kommunrankingar i allmänhet, ett inlägg som ligger till grund för författarnas artikel på DN Debatt.

Taggad , , , , , , ,

Skolval och segregation – forskningen och debatten därom

Inför Socialdemokraternas kongress i början av april blossade en debatt om det svenska friskolesystemet upp, detta som en följd av de många motionerna om vinstförbud i skattefinansierad välfärd som inkommit till kongressen. Vid sidan av frågan om vinster överhuvudtaget ska få tas ut eller inte handlade debatten också om vilka effekter friskolereformen har haft. Sidorna tycks vara lika oense i båda frågorna.

Vinstfrågan åsidosatt tycks motståndssidans huvudargument vara att friskolereformen har haft en starkt segregerande effekt på den svenska skolan. Segregerande i betydelsen att elevsammansättningen på skolnivå över tid har blivit alltmer homogen där elever med likartad bakgrund, likartade förutsättningar och ambitioner i allt större utsträckning går tillsammans. Förespråkarna å sin sida menar att skolsegregationen till störst del, fortsatt, förklaras av boendesegregationen (vilken vissa också menar har ökat) samt att friskolereformens största förtjänst är att den erbjuder elever en väg bort från skolor som de inte vill gå i. Newsmilldebatten mellan den tidigare chefredaktören för DN och sedermera friskoleintressenten docent Hans Bergström och den tidigare chefredaktören för Lärarförbundets medlemstidning Lärarnas Tidning Sten Svensson, utgör ett gott exempel på debatten. (Se Bergströms inlägg här, Svenssons här, Bergströms här och Svenssons här. Se också Cecilia Nykvist, vd Friskolornas Riksförbund här). Debatten har också fortsatt, se exempel här och här.

Parallellt med – eller som en följd av – denna debatt diskuteras också vilka effekter friskolereformen (och valfrihetsreformerna i stort) har haft på elevernas kunskapsutveckling, spridningen eleverna mellan samt likvärdigheten.

Det kan tyckas märkligt att de kan vara så oense om vilka effekter friskolereformen har haft, i synnerhet som det finns forskning på området. Problemet är dock att de olika studier som refereras ofta har olika utgångspunkter, grundar sig på olika antaganden och använder olika metoder (Friskolornas Riksförbund släppte en rapport inför s-kongressen som gör en genomgång av viss forskning på området, se här). Kännetecknande för debatten är också att det ofta saknas nyansering om vilka skillnader det är man pratar om, att man använder sig av statistiska jämförelser och analyser som inte alltid gör tillräckliga kontroller för till exempel elevbakgrund samt att man utgår från teoretiska antaganden om kausala samband mellan reformer (i detta fall ökad valfrihet på skolområdet) och utfall. Detta gäller både forskningen om eventuell skolsegregation samt den om likvärdighet och skolresultat.

Det sistnämnda – antaganden om kausala samband – är ett fenomen som ofta syns bland de som förespråkar friskolereformen och som vill tona ned eventuella segregerande effekter av densamma. Genom att hävda att friskolereformen möjliggör för alla elever att aktivt söka sig ifrån skolor de inte vill gå i – som de kanske hade hamnat i om närhetsprincipen gällde allena – så kommer en sådan reform inte att ha segregerande effekter (detta är den argumentation Cecilia Nykvist återkommit till).

Detta framstår minst sagt som en röra och man undrar ju stillsamt om det är något vi har tydlig kunskap om?

En hel del frågetecken i denna debatt rätas förtjänstfullt ut av Jonas Vlachos i ett tidigare inlägg på ekonomistas.se, allt med referenser till tidigare studier. Vlachos har också sedan innan bidragit till viktig nyansering i debatten om vilka segregerande effekter friskolereformen har haft i Sverige. Detta består främst i en indelning av fristående skolor i två grupper, en för skolor som drivs som aktiebolag (vinstdrivande) och en för skolor som drivs som stiftelser eller ideellt (icke-vinstdrivande).

Följande tabell från Vlachos kapitel om skolan i SNS kunskapsöversikt ”Konkurrensens konsekvenser” visar en uppdelning av detta slag:

tabell_vlachos

Tabellen visar tydligt hur de fristående skolorna som drivs som aktiebolag numer tydligt liknar de kommunala skolorna avseende elevsammansättning samt att det främst är i de ideella skolorna som en kraftig selektion sker (notera andelen flickor i dessa skolor).

I Skolverkets Lägesbedömning för 2013 så gör myndigheten en sammanfattning av den skillnad i elevsammansättning som vuxit fram och som indikerar varför det fortsatt är svårt att nå klarhet på området:

Rapporten visar att endast en del av de ökade resultatskillnaderna mellan skolor kan förklaras med en ökad skolsegregation med avseende på skolornas socioekonomiska elevsammansättning. Skolorna verkar däremot bli mer och mer segregerade efter egenskaper som inte visar sig i den vanliga statistiken, till exempel att mer studiemotiverade elever i större utsträckning tenderar att utnyttja det fria skolvalet och söka sig till skolor där det finns många andra studiemotiverade elever. På så sätt delas eleverna upp efter resultat och dolda egenskaper snarare än efter traditionella mått på socioekonomisk bakgrund. (s.34)

Detta citat blir också aktuellt kring frågan vad som orsakar skolsegregationen – är det elevernas skolval eller är det boendesegregationen? Skolverkets analys indikerar att de i viss mån är inne på valet. Detta stämmer också överens med Bo Malmberg mfl forskning som indikerar att boendesegregationen inte ökat i sådan grad att det kan förklara ökad skolsegregation. Malmberg mfl pekar snarare mot skolvalet. Detta är dock inte klarlagt, utan en diskussion om detta pågår fortfarande (se också kommentarerna till inlägget som länkades ovan).

I detta sammanhang är det också viktigt att påpeka vilken historik Sverige har i detta sammanhang. Sverige som land har en lång historia av att en mycket låg mellanskolvariation i resultat och vi har fortsatt – internationellt sett – en heterogen elevsammansättning på skolnivå. Vi har rört oss långt ifrån de tidigare låga nivåerna och har nu både en större mellanskolvariation än någonsin tidigare, kommunvariation och skillnader på individnivå.

Det finns många studier som visar på denna utveckling och jag har refererat en del i detta och tidigare inlägg. Jag tänkte avslutningsvis visa några av förändringarna med en del deskriptiv statistik. Viktigt att notera är att detta inte utgör några belägg för vad orsaken är till förändringarna – om det till exempel är skolvalet eller boendesegregationen – utan det beskriver endast en del av den utveckling som skett.

För det första kan man av statistiken konstatera att spridningen i elevsammansättningen har ökat. I följande tabell redovisas standardavvikelsen för några variabler (på skolnivå) för respektive år:

segr1

Källa: Egna bearbetningar av data från SIRIS. Antal skolor i analysen är 1248 år 2000 och 1657 år 2012. Notera att ett visst bortfall skett därefter som en följd av saknade uppgifter för vissa skolor.

En större standardavvikelse innebär att det råder större ”avstånd” åt båda håll från medelvärdet, dvs större spridning. Spridningen av elever med olika bakgrund har alltså ökat. Däremot har spridningen av andelen elever vars föräldrar högst har förgymnasial utbildning minskat något.

För att exemplifiera utvecklingen ännu tydligare har jag utgått från några helt subjektivt valda mått på elevsammansättning och tittat hur stor andel av skolorna som har vilken typ av elevsammansättning:

segr2

Tabellen visar några intressanta tendenser. Bland annat syns det att friskolorna tidigt särskiljde sig från genomsnittet avseende andel skolor som hade en elevsammansättning som nästan uteslutande bestod av elever med svensk bakgrund. 31 % av de fristående skolorna hade år 2000 en elevsammansättning som bestod till 99 % eller mer av elever med svensk bakgrund (av de kommunala skolorna var det 10 % av skolorna, snittet var 12 % som framgår av tabellen). Denna snedfördelning har minskat för de fristående skolorna, men är fortfarande högre än snittet. Samma utveckling syns avseende andel elever med utländsk bakgrund.

En intressant skillnad är också att andelen skolor där minst 60 % av eleverna har utländsk bakgrund (men själva är födda i Sverige) har mer än fördubblats under perioden.

Tabellen visar också, i synnerhet vad det gäller genomsnittet, att det tycks ske en viss förtätning av elever med föräldrar med eftergymnasial utbildning. Andelen skolor där en tredjedel eller fler av eleverna har föräldrar med eftergymnasial utbildning har fördubblats från år 2000 till 2012.[1]

För den ivrige uppsatsstudenten tycks det finnas möjligheter att öva sig i kvantitativ metod på detta område, exempelvis genom att studera elevsammansättningen i en kommuns skolor – både de kommunala och fristående – och hur eleverna bedömer respektive skolors status, kvalitet samt hur de skattar sin egen studiemotivation mm.

————

Vidare läsning för den intresserade via dessa länkar:

Skolverket – Likvärdig utbildning i svensk grundskola?
Skolverket – Vad påverkar resultaten i svensk grundskola?
Sahlgren, Gabriel – Skolval, segregation och likvärdighet – vad säger forskningen?
Kallstenius, Jenny – De mångkulturella innerstadsskolorna – Om skolval, segregation och utbildningsstrategier i Stockholm


[1] Notera att inga kontroller har gjorts i tabellen för hur föräldrarnas utbildningsnivå ökat generellt i landet samt hur andel elever med utländsk bakgrund utvecklats under tidsperioden.

Taggad , , , , , , ,