Etikettarkiv: PISA

Leder hög likvärdighet till höga resultat?

Allmänhetens medvetenhet om PISA-undersökningarna har vi det här laget nog blivit väldigt god, i och med att i princip alla debattartiklar om skolan, politiker mfl refererar till resultat från desamma. I takt med att resultaten från undersökningarna blivit allmängods så har många resultat också börjat leva sina egna liv. Det är lite som i viskleken – man har läst och hört andra tala om resultaten så mycket att man tycker att man själv kan återge dem utan att behöva kolla upp dem noggrannare, vilket såklart leder fram till vissa vantolkningar.

Ett sådant exempel gäller sambandet mellan höga kunskapsresultat och likvärdighet. Det har nämligen visat sig i PISA-undersökningarna att många av de mest framgångsrika skolsystemen lyckas kombinera höga kunskapsresultat och hög likvärdighet. Detta har OECD-forskarna lyft fram i sina rapporter, framförallt för att påpeka att resultaten visar att det inte behöver finnas något motsatsförhållande mellan höga resultat och hög likvärdighet; det finns skolsystem som när de satsar på att lyfta kunskapsnivån hos elever med ogynnsamma förutsättningar lyckas göra det utan att hämma de med mycket gynnsamma förutsättningar (se tex Education Today (2013), kap 7).

I den svenska debatten har dessa resultat börjat leva ett eget liv då vissa, med hänvisning till ”PISA”, vill mena att hög likvärdighet leder till höga kunskapsresultat, det vill säga att det skulle finnas ett kausalt samband mellan likvärdighet och goda resultat.

I vissa fall kan det såklart vara sant. Ett skolsystem som har en viss andel högpresterande, men som inte är likvärdigt, skulle såklart höja sina resultat (medelvärdet) om de lyckas ”lyfta botten” utan att hämma toppen. Men samtidigt, ett system som i sina försök att bli mer likvärdigt skulle hämma den högpresterande andelen, utan att lyckas höja den svagpresterande, skulle få ett mediokert snittresultat men högre likvärdighet.

Varför är detta viktigt? Jo, i Sverige vill ju samtliga debattörer höja både likvärdigheten och kunskapsresultaten. Då är det synnerligen viktigt att vi studerar vad det är som gör att vissa länder lyckas med just både och.

Diagrammet nedan baseras på OECD-data som visar ”ursprungssambandet” mellan PISA-resultat i läsförståelse och ett av de likvärdighetsmått OECD använder i sina studier. Som diagrammet visar finns ett visst positivt samband mellan variablerna, men diagrammet visar också att spännvidden är stor. Längs OECD-snittet om 500 poäng finns till exempel 16 länder samlade men med helt olika nivåer av likvärdighet:

samband likvärdighet och resultat

Måttet för likvärdighet mäter hur stor andel av variationen i elevresultaten som kan förklaras av PISA-undersökningarnas socioekonomiska index. Skalan uttrycks i procent. Sverige ligger i princip i mitten av diagrammet.

Annonser
Taggad , , , , ,

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

Betyder begåvningen betydligt mindre (än vad vi trott)?

”Motivation, ansträngning, uthållighet och positiv självbild hos eleverna. Stöd, stimulans och höga förväntningar från kunniga och engagerade lärare i skolan. Det är faktorer som bidrar till höga skolprestationer. Betydelsen av medfödd begåvning behöver tonas ner. Det är en viktig slutsats i en ny rapport från Skolverket.”

Så inledde Skolverket sitt pressmeddelande från i onsdags (5/12) när de släppte rapporten ”Högpresterande elever, höga prestationer och undervisningen”.

Studien handlar om det som inom forskningen kommit att kallas för ”icke-kognitiva förmågor”, det vill säga sådana egenskaper och förmågor som personer har och som påverkar dels deras studieframgång och men dels också deras framgång i yrkeslivet med mera. Dessa förmågor – flit, engagemang, uthållighet, förmåga att planera mm – skiljer sig från de traditionella ”kognitiva” förmågorna (terminologin är lite skum, jag vet) i det avseendet att de inte mäts med vanliga IQ-test eller liknande. Internationell forskning har visat att dessa förmågor i stor utsträckning påverkar sannolikheten att en elev lyckas i skolan, utöver att eleven bara skulle ha rätt kognitiva förutsättningar.

högpresterandeAtt Skolverket sedan innan intresserat sig för dessa förmågor och deras förklaringsvärde på skolframgång har jag skrivit om tidigare, då i skepnad av en konferens som handlade just om betydelsen av icke-kognitiva förmågor. Denna nysläppta studie tycks därför vara en logisk fortsättning på detta intresse.

Det var dock inte utan att vi var några på jobbet som hajjade till när vi först läste Skolverkets pressmeddelande och sedan rapporten. Hur belägger de egentligen påståendet att ”medfödd begåvning behöver tonas ned” för att det inte är så betydelsefullt som vi har trott? Det låter uppseendeväckande (och det tyckte nog också många av de tidningar som hakade på nyheten)!

Vid en närmre granskning är jag inte helt övertygad om att Skolverket belägger detta påstående. Skolverkets tillvägagångssätt är att de studerar skillnader i hur två resultatmässigt olika elevgrupper svarar på de elevenkäter som också görs i samband med de stora internationella studierna PIRLS, PISA och TIMSS (samt lärar- och föräldrasvar). De två elevgrupperna är de fem procent elever som presterar bäst på respektive test (95:e percentilen) och de fem procent som presterar runt det svenska medianvärdet (47,5:e-52,5:e percentilen). Skolverket studerar hur dessa elever presterar över tid på proven samt hur de svarar på dessa enkäter. Genom analysen av enkätsvaren finner de statistiskt signifikanta skillnader i de indikatorer de menar mäter icke-kognitiva förmågor och drar därigenom slutsatsen att dessa skillnader är mycket mer betydelsefulla än vad vi tidigare trott – de är till och med mer betydelsefulla än kognitiv begåvning.

Det är i synnerhet några saker som får i alla fall mig (och mina kollegor runt fikabordet imorse) att tveka inför slutsatserna. För det första har Skolverket inte kontrollerat för faktisk begåvning hos berörda elever. Ingenstans i studien finns någon indikation på huruvida man faktiskt har kontrollerat för om de högst presterande eleverna faktiskt också är mer begåvade än de medelpresterande och inte endast bättre på icke-kognitiva förmågor.

För det andra så gör Skolverket inte allvar av den fundering som man till och med lyfter i metodavsnittet. Där skriver man, apropå denna invändning, att:

Huruvida elevernas uppfattningar har att göra med individuella karakteristika, eller omständigheter i den omgivande miljön, framgår inte i analysen. Inte heller framgår det om elevernas uppfattningar föregår deras goda prestationer eller om de är en konsekvens av dem.

I slutsatserna är också detta något Skolverket återkommer till, nämligen att de högst presterande genomgående har högutbildade föräldrar som också tycks vara väldigt aktiva och deltagande i sina barns skolgång. Det tycks inte alls osannolikt att dessa elever både har ärvt goda kognitiva förmågor av sina föräldrar och lärt sig en uppsättning framgångsrika icke-kognitiva beteenden och förmågor från dem.

Till dess att Skolverket presenterar en analys som faktiskt kontrollerar vad som är hönan och ägget i det här fallet, så tänker jag ta det säkra före det osäkra och försöka stimulera både mina barns kognitiva och icke-kognitiva förmågor.

Taggad , , , , , , ,

Hur ska vi förstå det här med PISA-undersökningarna egentligen?

Då och då är jag ute och föreläser om olika saker genom jobbet. Under hösten 2010 och våren 2011 handlade många föreläsningar om de kommande förändringarna i betygsystemet, i synnerhet de förändrade kunskapskraven. I en föreläsning som handlar om betyg, betygsystem och betygsättning är det oundvilkigt att också prata resultat- och betygsutveckling i svensk skola och i en sådan föreläsning är det nästan oundvilkigt att få frågor om vad de internationella undersöknignarna såsom PISA, TIMSS och PIRLS egentligen säger oss.

En föreställning om exempelvis PISA-undersökningarna som jag då och då stöter på är att de i grunden skulle vara ointressanta, detta i och med att de endast säger något om hur de svenska elevernas resultat placerar sig i relation till andra länders. För den som intar denna hållning betyder det alltså att en försämring i PISA-undersökningarna egentligen endast är en försämrad placering relativt andra länder, vilket lika gärna kan bero på förbättrade prestationer i andra länder som att det skulle bero på försämrade prestationer i Sverige.

En ytterligare annan ståndpunkt jag ibland möter är att PISA-undersökningarna är ointressanta för att de mäter sådana kunskaper som prioriteras i andra länder och som nödvändigtvis inte prioriteras i Sverige.

Båda dessa hållningar bedömer jag som rakt felaktiga och att bortse från de resultat som framkommer i exempelvis PISA-undersökningarna vore att blunda för viktiga fakta.

För det första mäter dessa undersökningar inte alls endast sådant som skulle vara ointressant för Sverige. De mäter visserligen inte elevernas förmåga att analysera och resonera om samhällsvetenskapliga frågor, men PISA-undersökningarna mäter bland annat elevernas läsförmåga vilket i många avseenden kan ses som ett nödvändigt villkor för det tidigare. För det andra erbjuder samtliga dessa undersökningar en möjlighet att studera svenska elevers faktiska kunskapsutveckling över tid, något som är rakt omöjligt genom exempelvis det svenska betygsystemet.

Vad visar då undersökningarna? Sammantaget visar undersökningarna att de svenska elevernas kunskaper på olika sätt försämrats från slutet av 1990-talet och fram till dags dato. Exempelvis visar TIMSS-studien från 2003 att de svenska eleverna i årskurs åtta 2003 presterade sämre än eleverna i årskurs sju 1995. Det är ett tapp på ett års matatematikkunskaper på mindre än tio år.

PISA-undersökningen från 2009 är också mycket intressant i och med att den presenterar viktiga resultat vad det gäller svenska elevers läsförmåga. Den visar att de svaga läsarna vuxit i andel samtidigt som de starka läsarna blivit färre. De redan svaga läsarna är också de vars förmågor försämrats i störst utsträckning. Ett exempel från rapporten:

Undersökningen visar också hur resultatvariationen ökat dels mellan skolor och dels inom skolor:

Resultaten från undersökningen ger också ytterligare en indikation på hur likvärdigheten i det svenska skolsystemet försämrats över tid. Skolverket anmärker också på det faktum att Sverige är ett av få länder som uppvisar samvarierande kunskapsförsämring och försämrad likvärdighet. Skolverket skriver (sammanfattning, s.8):

Det samlade intrycket, utifrån resultaten i PISA 2000 och 2009 är att Sverige inte längre intar en topposition när det gäller likvärdighet i skolsystemet. Med avseende på likvärdighetsaspekter är Sverige numera ett genomsnittsland. Denna relativa nedgång beror inte så mycket på att övriga länder kommit ikapp utan den främsta orsaken är att likvärdigheten i Sverige har försämrats under tidsperioden. Dels har skillnaderna mellan hög- och lågpresterande elever ökat, dels har skillnaderna mellan hög- och lågpresterande skolor ökat och dessutom har betydelsen av en elevs socioekonomiska bakgrund förstärkts. Sverige är ett av få länder där både de genomsnittliga resultaten och likvärdigheten försämrats samtidigt.

Att inte intressera sig för resultaten från de internationella undersökningarna framstår ur detta sken som ett allvarligt misstag enligt min mening.

Taggad , ,