Månadsarkiv: december 2013

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

Om PISA 2012, att styra skolan samt att ställa rätt frågor till rätt instans

Idag släpptes resultaten av 2012 års PISA-undersökning och debatten har redan dragit igång. För den oinvigde är PISA-undersökningen en stor mätning av 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap. Dessutom genomförs en enkät där elever får svara på allt från deras hemförhållanden till hur saker och ting fungerar i skolan. Både OECD-länder och partnerländer deltar, men det är frivilligt för eleverna att delta. Totalt deltar cirka en halv miljon elever i undersökningen som genomförs vart tredje år.

Det blir alltid en stor nyhet i Sverige när dessa resultat släpps. Detta beror inte främst på att det är så himla kul att veta hur svenska 15-åringar presterar i matematik i jämförelse med Sloveniens dito, utan det främsta skälet är att det svenska uppföljningssystemet inte är konstruerat för att kunna följa kunskapsutveckling i skolsystemet över tid. Det går inte via det svenska betygsystemet eller de nationella proven att uttala sig om huruvida nuvarande årskull elever upnådde bättre eller sämre kunskaper än föregående. Detta går att göra via de internationella undersökningarna, som PISA, i och med att de innehåller tydligare så kallade ”ankaruppgifter” som mäter samma typ av förmågor och färdigheter från undersökning till undersökning och gör resultaten jämförbara över tid.

pisa20002012Det är via de internationella undersökningarna som vi i huvudsak har kunskap om att de svenska elevernas kunskaper har försämrats över tid. I grafen här intill beskrivs utvecklingen sedan den första undersökningen år 2000.

När detta skrivs är debatten redan igång kring vad som behöver göras och vem som ska lastas för utvecklingen. Jan Björklund kommer sannolikt – med rätta – att bli hårt ansatt i och med att utvecklingen inte har vänt trots att han nu varit skol/utbildningsminister i snart åtta år. Björklund å sin sida kommer sannolikt – också med rätta – hävda att den fortsatta nedgången ligger utanför hans kontroll i och med att de reformer regeringen genomfört inte börjat gälla förrän sommaren 2011. Det vill säga, de elever som gjorde detta PISA-test har inte gått i en grundskola som präglats av regeringens reformer.

Tråkigt nog för de som gillar den typ av politisk polemik som nu följer, så är det nog så att båda sidor har rätt. Regeringen hade kunnat göra mer, men mycket lite av det regeringen har gjort har ännu fått effekt, men kommer att få effekt, sannolikt också positiv sådan (men först om flera år, såsom behörighetsregler för lärare mm).

Det finns dock en sak som är mycket märklig med den debatt som nu startar (igen), och dessa märkligheter framträdde tydligt redan vid Björklunds pressträff. När frågan släpptes fri bland de samlade journalisterna var de frågor som ställdes om ”ni [regeringen] kommer att tillföra mer resurser till skolan?” eller om ”ni [regeringen] kommer att anställa fler lärare?”.

Det som är det märkliga med dessa frågor är att de som ställer dem ställer dem till helt fel instans. Staten är inte huvudman för Sveriges barn- och ungdomsskola. Det är inte staten som bestämmer vilka resurser skolan ska få eller vilka eller hur många lärare som ska anställas. Det är kommunerna som bestämmer över skolans resurser och det är kommunerna och de fristående huvudmännen som bestämmer vilka och hur många lärare som ska anställas.

Frågan borde alltså snarare riktas till skolans huvudmän, såsom exempelvis Timrå kommun. Vad gör ni för att vända resultaten i er grundskola?

Timrå är nämligen ett mycket intressant exempel att studera. Tittar man i statistiken framträder nämligen en dyster bild för Timrås elever. Av landets 290 kommuner så faller Timrå ut bland de sämsta sett till meritvärden i grundskolan (plats 255). De har en högre andel elever som inte når grundläggande gymnasiebehörighet än rikssnittet och endast 70 % av eleverna lämnade år 2013 grundskolan med godkända betyg i samtliga ämnen (77 % i riket).[1]

timraBland vissa kommunpolitiker i Timrå tycks det finnas en viss krismedvetenhet. Några manar till ett skoluppror och kräver förbättring. Föräldrar och elever tycks instämma. Men vad görs? Jodå, en extra satsning har gjorts på skolan om 42 miljoner kronor över tre år, men kommunen har ju också andra problem att tampas med. Timrå IK (hockeylaget) har ju åkt ur Elitserien (ve och fasa!) och har (återigen) hamnat i akut ekonomisk kris, vilket kommunen såklart måste styra upp.

Kommunen satsar därför, utöver de 81 miljoner som redan satsats de senaste tio åren, och utöver att man redan efterskänkt den nybyggda arenan till klubben, ytterligare 4,5 miljoner kronor per år i minst tio år framåt för att rädda klubben.

Den totala kostnaden för undervisningen i Timrå kommuns grundskolor uppgick år 2012 till 76 miljoner kronor. Hockeylagets kommande tillskott om 4,5 miljoner kronor per år motsvarar alltså 6 % av denna årliga kostnad.

Vad hade Timrå kommun kunnat göra för dessa pengar istället? Anställt fler speciallärare? Anställt fler lärare? Ökat skolpengen för elever med behov av särskilt stöd? Minskat klasstorlekarna i de tidiga årskurserna? Varför ställer ingen journalist dessa frågor till Timrå kommuns ledning i samband med nyhetsrapporteringen om de försämrade kunskaperna i svensk skola?

Mina personliga slutsatser är (trots att jag faktiskt finner visst nöje i att titta på hockey):

  • att det inte är rimligt att Timrås grundskoleelever ska konkurrera om samma pengar som Timrå IK, vilket de gör i dagsläget i och med att kommunfullmäktige både styr över hur de egeninhämtade skattemedlen ska användas samt de medel som tillförs från statens kommunala skatteutjämning. (Det lustiga med detta är alltså att det finns ett helt gäng Danderydbor som inte endast medfinansierar Timrås grundskola och äldreboenden, utan att de även just bidragit med en efterskänkt ishall och verksamhetsbidrag till Timrå IK. De kanske borde erbjudas någon form av rabatt på matchbiljetter?)
  • att Timrå kommuns agerande tydligt visar att skolan just nu är fången i ett dubbelkommando där de två styrande instanserna inte drar åt samma håll – Björklund vill se mer lärarledd undervisning i svensk skola och Timrå kommun mer elitseriehockey i sin, nej ursäkta: Timrå IK:s, ishall.
  • att Timrå kommuns prioriteringar mellan grundskolelevernas kunskaper och ett mediokert hockeylags fortlevnad på ett tydligt sätt illustrerar varför staten borde få styra skolan

 


[1] All data hämtat från SIRIS-databasen.

Taggad , , , , , , , , ,