Kategoriarkiv: Gnäll

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

Märkliga undersökningar, märklig journalistik och märklig spridning

Då och då plingar det till i mobilen och inboxen med Skolportens veckobrev. Ett helt ok nyhetsbrev som ofta kan innehålla intressanta nyheter som man ibland kan ha missat i nyhetsbruset. I veckobrevet från den 19/11 föll jag för en rubrik som var mycket intressant. En unik enkät visade nämligen att ”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”. Oj tänkte jag, det var intressant utifrån den (ofta mycket mediokra) läxdebatt som rullat ett tag.

Tyvärr visade det sig att det här inte ens var läsvärt, vilket jag främst anser är något som Skolporten borde fundera över (snarare än journalisten på UNT). De har nämligen en hel del förtroendekapital investerad i sin rapportering kring forskning, undersökningar mm, så de borde läsa de nyheter de ska sprida lite noggrannare innan de skrider till verket.

20131121-104423.jpg

Vad var då problemet med undersökningen? Som rubriken antyder så ska detta handla om en undersökning vars resultat rimligen bör kunna generaliseras till hela rektorskåren, rubriken gör ju sådana anspråk. När man sedan läser artikeln på UNT.se uppstår ett under av förvirring. Den ”unika” enkäten har haft 40 svarande rektorer, ingenstans nämns vilket bruttourval man har haft, vilket bortfall som funnits eller vilken målgrupp enkäten haft. Sannolikt är det väl som så att UNT har låtit enkäten gå ut till samtliga rektorer i Uppsala kommun, men det är en gissning, det framgår ingenstans. Om så, så kanske resultatet kan generaliseras till rektorerna i Uppsala, jag har tyvärr ingen uppgift om hur stor denna population är (och står och bloggar på en kaffepaus mitt i en konferens, så jag kan inte kolla upp det heller).

Om enkäten gått ut till rektorer över hela landet så tycks det snarare vara en ”bedrövlig” enkät än en ”unik” dito. Och även om vi håller oss kvar i Uppsala, hur många friskolerektorer till antalet är det egentligen som har svarat? Om vi gissar att 10 % av eleverna i Uppsala går i friskola, och att skolandelen är ungefär densamma, så innebär det att kanske fyra friskolerektorer besvarat enkäten. Det skulle innebära att ”en tredjedel” av friskolerektorerna motsvararas av EN svarande rektor.

Om denna gissning stämmer tycks det vara ett ganska magert underlag för de typ av anspråk som görs i rubriken.

Rättelse 2013-11-22

Skolportens redaktör John Miller har för mig påpekat att nyheten inte gick ut i Skolportens nyhetsbrev (som nämndes i det första blogginlägget), utan i deras veckobrev under rubriken ”Ledarskap”. Enligt Miller var det främsta syftet att delge veckobrevsläsarna några rektorers syn på läxdebatten, vilket såklart är lovvärt. Jag ber om ursäkt för misstaget och sammanblandningen, men skulle gärna se att en viktig aktör som Skolporten ser över hur nyheter beskrivs i de brev som går ut. Som inlägget beskriver var ingressen till denna nyhet (”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”) mycket missvisande. Jag kommer dock fortsätta läsa Skolportens nyhetsbrev för den som undrar.

Taggad , , , , ,

Input och output i tidningen Dagens Samhälle

Jag har sedan innan skrivit om hur tidningen Dagens Samhälle granskar resultatskillnader i den svenska skolan. För den som återkommande läser tidningen framstår det tydligt att tidningens redaktion är väldigt intresserad av att göra olika input/output-analyser av den svenska skolan. Det syns inte minst i deras egenkonstruerade ”Kostnad per betygspoäng”-mått som de ofta använder för att beskriva olika skolhuvudmäns (främst kommuners) kostnadseffektivitet.

ds2Ett återkommande problem med Dagens Samhälles granskningar är att de i sina analyser inte gör riktiga kontroller för olika bakgrundsvariabler. Ur detta perspektiv är det inte konstigt att till exempel Danderyd och Lidingö m.fl i analyserna alltid framstår som de mest kostnadseffektiva kommunerna som får ut högst betyg för pengarna.

I ett av de senaste numren av tidningen gör man en ny ranking där kommunerna listas efter deras effektivitet samt vilket politiskt styre de har. Inlägget har rönt uppmärksamhet i annan media, men har lyckligtvis också väckt ett akademiskt intresse. Läs till exempel Anders Sundells välformulerade blogginlägg om saken på Politologerna, ”Leder alliansens politik till bättre skolresultat? Orsak och verkan i politiken”, samt Jonas Vlachos inlägg på Ekonomistas, ”Flash! Billigare att utbilda barn till högutbildade!”.

Uppdatering 16/5 2013:

Läs också det uppföljande inlägget på Politologerna om kommunrankingar i allmänhet, ett inlägg som ligger till grund för författarnas artikel på DN Debatt.

Taggad , , , , , , ,

Den ökande andelen elever som är obehöriga till gymnasieskolan

Igår (28/1) kunde man i Aftonbladet läsa om hur andelen elever som lämnar grundskolan utan behörighet till ett nationellt gymnasieprogram ökat under Jan Björklunds tid som skolminister. Uppgifterna i artikeln är hämtade från en utredning som Socialdemokraterna beställt från Riksdagens utredningstjänst, och i den tillhörande artikeln använder Socialdemokraterna uppgifterna för att kritisera den förda skolpolitiken. Jag har också ramlat över bloggare som skrivit om artikeln med samma ingång.

Att en större andel elever lämnar grundskolan utan behörighet till ett nationellt gymnasieprogram är i alla avseenden en ödesfråga för svensk skola – den viktigaste framtidsfrågan om du frågar mig. Jag har sedan innan skrivit ett inlägg som handlar om vilket svek detta är mot de elever som lämnar grundskolan utan de kunskaper som de har rätt att få.

Jag kan dock inte läsa nämnd artikel eller blogginlägg som det som länkades ovan utan att undra hur det är ställt med detta egentligen? Är Jan Björklund verkligen ensamt skyldig för denna utveckling? Som vanligt visar sig den mediala logiken inte vilja hantera mer komplexa verkligheter än det som kan beskrivas i svart och vitt. I diagrammet nedan har jag sammanställt motsvarande data (all data hämtad från Skolverket) över andelen obehöriga under hela det mål- och kriterierelaterade systemets tid i grundskolan (från 1997 och framåt) och trenden är tydlig: Andelen obehöriga elever har i princip ökat konstant över tid, oavsett regering.

obehöriga

Några försiktiga slutsatser:

  • Den som på allvar vill hitta orsaken till att andelen obehöriga elever som lämnar grundskolan fortsätter att öka bör inte enkom skylla på den förda skolpolitiken, utan även söka förklaringar på annat håll.
  • Det är bara dumheter att jämföra två år med varandra (2006 och 2010), som Socialdemokraternas uppdrag till RUT varit, när den utveckling man vill beskriva är del av en längre trend.
  • Den verkligt intressanta frågan, för att kunna utvärdera Björklunds tid som skolminister, är om denna trend bryts om ytterligare några år (2020? 2025?), när de första elevkullarna som endast haft legitimerade lärare, läst enligt Lgr11, omfattats av nya skollagen mm börjar gå över till gymnasieskolan. Då om någon gång går det att utvärdera de reformer som genomförts.
Taggad , , , , , , , ,

Om ”att skapa framtidens skola”

Det stora brittiska bolaget Pearson släppte för ett tag sedan en rapport från deras projekt ”The learning curve”. Hela projektet bygger på insamlingen och upprättandet av en databas där intresserade kan sysselsätta sig med att göra komparativa undersökningar med olika variabler för en stor uppsättning länder.

I deras rapport ramlade jag dock över en slutsats som jag ofta möter i mitt arbete och som jag tycker är lika märklig varje gång. Det är slutsatsen att vi måste utforma skolan för ”framtidens utmaningar” eller för ”de framtida kraven som kommer att ställas på dagens ungdomar” (nummer 5 i bilden). I svensk kontext är detta slagord som många gärna använder i sin retorik mot många av de reformer som Jan Björklund och Alliansregeringen initierat sedan makttillträdet 2006.

Alldeles oavsett vad man tycker om de reformer som genomförs så undrar jag hur mycket tanke det ligger bakom uttalanden av detta slag, att vi måste ”skapa framtidens skola” efter ”framtidens utmaningar”? Vad menar folk egentligen med det?

Initialt kan det låta vettigt och det är svårt att tänka sig varför man skulle argumentera emot idén, men min frågeställning i detta inlägg är om det överhuvudtaget är möjligt att skapa en ”framtidens skola efter framtidens utmaningar”.

Problemet ligger nämligen i att vi för att kunna skapa en skola idag, som långsiktigt bemöter de krav som framtiden (läs ‘det framtida samhället’ eller ‘den framtida arbetsmarknaden’ eller något liknande) kommer att ställa på de elever som genomgått den, måste kunna förutspå vilka specifika kompetenser som kommer att krävas av dessa elever i framtiden. Hur ska vi någonsin kunna förutspå det? Skulle utbildningsvetenskapen kunna förutspå det? Knappast.1

Min åsikt är därför att det bästa vi kan ägna oss åt i skolan är att förmedla sådana kunskaper som dels utgör själva fundamentet för de akademiska ämnena samt, i den grad som är möjligt, förmedla kunskaper om var forskningsfronten ligger i olika kunskapområden och vad vi inte har en blekaste aning om.

Låt mig hänge mig åt lite anekdotisk bevisföring. Min mamma och pappa började i den spirande unga svenska grundskolan 1965, gick ut därifrån 1974 för att sedan gå över till fyraårig teknisk linje och lämna denna som färdiga gymnasieingenjörer 1978. De som ivrigt påpekar att vi måste utforma ”en framtidens skola” bör rimligtvis anse att mina föräldrar därför gått i ”dåtidens skola”.

Och det är väl ett rimligt antagande att de också gjorde det? De gick i en skola som var uppbyggd av genomgående statliga regleringar. Deras grundskoletid styrdes av reglerade timplaner, regelstyrning av verksamheten (till skillnad från dagens tydligare målstyrning), behörighetsregleringar för lärare och rektorer, ett byråkratisk finansieringssystem som till och med reglerade klasstorlekar och så vidare. Mig veterligt stötte de aldrig på en dator under hela sin skoltid, de hade förvisso miniräknare men dessa kunde inte illustrera grafer med mera utan dessa fick ritas för hand under räkneoperationerna. Ritningar och konstruktionsplaner ritades för hand och hållfastheter beräknades manuellt.

Kunde skolmyndigheter, riksdagsmän, pedagogisk expertis och Svenskt näringsliv vid denna skolpolitiska tidpunkt förutspå vilka effekter internet skulle få på skola och arbetsliv? Knappast. Har mina föräldrar stått handfallna inför denna fullkomliga revolution av kommunikationsmöjligheter, förlamade av okunskap? Knappast!

Min mamma mötte aldrig begrepp som IKT, interaktiva mötesplattformar och presentationsteknik under sin skoltid, men idag jobbar hon med det till daglig dags och är en viktig spindel i nätet (!) i kommunkationskanalerna på hennes arbetsplats. Herregud, till och med pappa gör ju powerpointpresentationer då och då!

Är detta ett inlägg därför ett upprop mot att vi ska sluta prata om IKT, en-till-en-satsningar och betydelsen av varierande redovisningsformer för eleverna? Knappast. Ska vi aktivt ta avstånd för att ta in nya impulser i skolans undervisning? Absolut inte! Det är däremot ett inlägg som manar till lite sans, balans och eftertanke:

Skolan. Skapar. Inte. Kompletta. Och. Färdiga. Människor.

Människor fortsätter att utvecklas och lära sig saker genom hela livet, såsom mina föräldrar. Om skolan lyckas förmedla centrala kunskaper inom ämnesområden, som stått sig över tid och visat sig vara viktiga byggstener för våra fortsatta vetenskapliga framsteg, så räcker det långt. Om skolan dessutom lyckas ödmjuka eleverna som passerar genom systemet så pass mycket inför all den okunskap vi som människor fortfarande besitter, så är de rustade att ta emot och handskas med de utvecklingssprång som komma skall.

Precis som mina föräldrar har gjort.

Noter

1. Se exempel på liknande debatt på ekonomistas tidigare här och här gällande huruvida geologi och nationalekonomi ”är vetenskaper” eller ej).

Taggad , , ,