Månadsarkiv: april 2012

Hur ska vi förstå det här med PISA-undersökningarna egentligen?

Då och då är jag ute och föreläser om olika saker genom jobbet. Under hösten 2010 och våren 2011 handlade många föreläsningar om de kommande förändringarna i betygsystemet, i synnerhet de förändrade kunskapskraven. I en föreläsning som handlar om betyg, betygsystem och betygsättning är det oundvilkigt att också prata resultat- och betygsutveckling i svensk skola och i en sådan föreläsning är det nästan oundvilkigt att få frågor om vad de internationella undersöknignarna såsom PISA, TIMSS och PIRLS egentligen säger oss.

En föreställning om exempelvis PISA-undersökningarna som jag då och då stöter på är att de i grunden skulle vara ointressanta, detta i och med att de endast säger något om hur de svenska elevernas resultat placerar sig i relation till andra länders. För den som intar denna hållning betyder det alltså att en försämring i PISA-undersökningarna egentligen endast är en försämrad placering relativt andra länder, vilket lika gärna kan bero på förbättrade prestationer i andra länder som att det skulle bero på försämrade prestationer i Sverige.

En ytterligare annan ståndpunkt jag ibland möter är att PISA-undersökningarna är ointressanta för att de mäter sådana kunskaper som prioriteras i andra länder och som nödvändigtvis inte prioriteras i Sverige.

Båda dessa hållningar bedömer jag som rakt felaktiga och att bortse från de resultat som framkommer i exempelvis PISA-undersökningarna vore att blunda för viktiga fakta.

För det första mäter dessa undersökningar inte alls endast sådant som skulle vara ointressant för Sverige. De mäter visserligen inte elevernas förmåga att analysera och resonera om samhällsvetenskapliga frågor, men PISA-undersökningarna mäter bland annat elevernas läsförmåga vilket i många avseenden kan ses som ett nödvändigt villkor för det tidigare. För det andra erbjuder samtliga dessa undersökningar en möjlighet att studera svenska elevers faktiska kunskapsutveckling över tid, något som är rakt omöjligt genom exempelvis det svenska betygsystemet.

Vad visar då undersökningarna? Sammantaget visar undersökningarna att de svenska elevernas kunskaper på olika sätt försämrats från slutet av 1990-talet och fram till dags dato. Exempelvis visar TIMSS-studien från 2003 att de svenska eleverna i årskurs åtta 2003 presterade sämre än eleverna i årskurs sju 1995. Det är ett tapp på ett års matatematikkunskaper på mindre än tio år.

PISA-undersökningen från 2009 är också mycket intressant i och med att den presenterar viktiga resultat vad det gäller svenska elevers läsförmåga. Den visar att de svaga läsarna vuxit i andel samtidigt som de starka läsarna blivit färre. De redan svaga läsarna är också de vars förmågor försämrats i störst utsträckning. Ett exempel från rapporten:

Undersökningen visar också hur resultatvariationen ökat dels mellan skolor och dels inom skolor:

Resultaten från undersökningen ger också ytterligare en indikation på hur likvärdigheten i det svenska skolsystemet försämrats över tid. Skolverket anmärker också på det faktum att Sverige är ett av få länder som uppvisar samvarierande kunskapsförsämring och försämrad likvärdighet. Skolverket skriver (sammanfattning, s.8):

Det samlade intrycket, utifrån resultaten i PISA 2000 och 2009 är att Sverige inte längre intar en topposition när det gäller likvärdighet i skolsystemet. Med avseende på likvärdighetsaspekter är Sverige numera ett genomsnittsland. Denna relativa nedgång beror inte så mycket på att övriga länder kommit ikapp utan den främsta orsaken är att likvärdigheten i Sverige har försämrats under tidsperioden. Dels har skillnaderna mellan hög- och lågpresterande elever ökat, dels har skillnaderna mellan hög- och lågpresterande skolor ökat och dessutom har betydelsen av en elevs socioekonomiska bakgrund förstärkts. Sverige är ett av få länder där både de genomsnittliga resultaten och likvärdigheten försämrats samtidigt.

Att inte intressera sig för resultaten från de internationella undersökningarna framstår ur detta sken som ett allvarligt misstag enligt min mening.

Annonser
Taggad , ,

Om den pedagogiska forskningens problem (#2)

För några veckor sedan deltog jag i en konferens anordnad av Skolverket under rubriken ”What matters for success?”. Konferensen handlade om de framgångsfaktorer som i traditionell mening inte omfattas av skolans kunskapsuppdrag, såsom socio-emotionella faktorer, attityder och annat. Dessa förmågor sorteras ofta i forskningen under samlingsnamnet ”icke-kognitiva förmågor” (ett samlingsnamn som man kan fundera över hur lämpligt det är, på vilket sätt skulle mänskliga attityder till saker och ting inte vara kognitiva i något avseende?).

Huvudnumret under konferensen var professor Henry Levin från Teachers college, Columbia university USA, vars forskning i stor utsträckning handlat om dessa faktorers förklaringsvärde på elevers senare framgång i livet.

Föredragen var självklart mycket intressanta, i synnerhet de som senare hölls av svenska forskare som fick kommentera Levins föredrag ur ett svenskt perspektiv och utifrån svenska förutsättningar. Det som jag däremot tyckte var mest intressant var att spana ut i konferenslokalen och se vilka som var där, vilka forskare respresenterar Sverige i ett sådant här sammanhang? Resultatet av min spaning styrker det som jag skrev om i ett tidigare inlägg, nämligen att det är få svenska forskare som på olika sätt sysslar med effektutvärderingar på detta sätt, både i stort och i smått.

Vilka var då representerade? Ja, förutom personer från Skolverket så var det Jan-Eric Gustafsson med entourage från Göteborgs universitet. Den forskarmiljö dessa representerar är väl den forskarmiljö i Sverige som i störst utsträckning sysslar med effektutvärderingar och kvantitativ metod. Därefter var det skralt med forskare inom pedagogik eller utbildningsvetenskaplig forskning. Istället representeras Sverige av vad vi kan kalla IFAU-ligan, dvs i huvudsak nationalekonomer som Anders Björklund, Peter Fredriksson, Björn Öckert m.fl. Dessa – och kanske i synnerhet Jonas Vlachos – har tagit ett mycket större utrymme i forskningen om svensk skola. Sannolikt för att deras forskning har kunnat fylla ett tomrum som svensk pedagogisk forskning inte kunnat fylla.

Fenomenet beläggs också av Knut Sundell vid Socialstyrelsen som tidigare har varit projektledare för en stor undersökning där man kartlagt i vilken omfattning effektutvärderingar (olika typer av effektutvärderingar, i synnerhet större metastudier, är det som ibland brukar benämnas evidensbaserad forskning. Se ett inlägg här) förekommit i sju olika discipliner inom svensk forskning. Totalt har 1 402 avhandlingar granskats, varav 288 i pedagogik, mellan åren 1997-2006. Resultaten visar att endast 6 procent av avhandlingarna i pedagogik har varit effektutvärderingar i någon form (diagrammen är hämtade från Sundells studie, länkad ovan):

Ett annat problem som Sundell m.fl identifierar är att en försvinnande liten andel av avhandlingarna inom pedagogik är skrivna på engelska, vilket omöjliggör internationell granskning av resultaten:

Förhoppningsvis har en förändring börjat ske, dels genom IFAU-ligans rika publicering, dels genom att det kommer mer och mer pedagogiska studier som är effektutvärderande. Nu senast från Malmö högskola.

Taggad , , , ,

Oönskad lärarlegitimation?

På nätupplagan av Svenska dagbladets Brännpunkt publicerades häromdagen en debattartikel signerad Patricia Kimondo och förmedleningsföretaget Lärarförmedlarna. Utgångspunkten för artikeln är den här undersökningen gjord bland företagets ”lärarpanel”, bestående av 220 ”högt kvalificerade och behöriga lärare” enligt egen utsago.

Resultaten från undersökningen visar att endast 3 procent av de svarande lärarna (hur hög svarsfrekvens hade de förresten, det framgick aldrig?) anser att den kommande lärarlegitimationen kommer att höja yrkets status. Däremot anser hela 75 procent att lönen har den största betydelsen för yrkets status. Lärarförmedlarnas slutsats? Lärarlegitimationen är bara en kosmetisk åtgärd som saknar betydelse.

Jag slås av några saker när jag läser detta, låt mig lista dem:

  1. Hur kan en hyfsat respektabel tidning som Svenska dagbladet ens publicera sån här nonsens? Lektion 1 A i enkättillverkning är att inte manipulera frågor så att svaren blir missvisande. Låt mig ge ett exempel: ”Vad skulle göra dig lyckligast?” (A) Att få ha hälsan livet ut, (B) Bli ekonomiskt oberoende eller, (C) Resa till Thailand. Hur tolkar vi svarsfrekvensen (A) 75 %, (B) 20 % och (C) 5 %? Att svenskarna inte längre är intresserade av Thailand som resmål?
  2. När lärarna väl svarar lön före legitimationen så drar de ju den slutsatsen utifrån hur verkligheten ser ut. Både läkaryrket och sjuksköterskeyrket är exempelvis legitimationsyrken, så det tycks inte vara legitimationen som avgör statusfrågan till läkaryrkets favör. Undra vad det kan vara?
  3. Vilka är egentligen lärarförmedlarnas motiv? De hämtar exempel i artikeln från höglönebranchen reklam och pr, och den saknar både behörighetsregler och starka fack. Där konkurrerar individerna ”enbart med sin talang och kompetens”. Det kanske skulle vara en enklare vardag för Kimondo då, att slippa turordningsregler, ämnesbehörigheter och annat krafs som står ivägen för att få ut folk och få sin förmedlarersättning?
Taggad , ,

Vilka samband förklarar vår dåliga kunskap om samband?

Jag ska direkt säga att jag själv inte är någon statistiker, även om jag emellanåt verkligen önskar att jag var det. Det faller sig ju dock så att jag jobbar en del med statistik och har med tiden blivit bättre på det, men de ökade insikterna har i huvudsak bara lett mig rakt in i den Sokratiska paradoxen av att ju mer jag lärt mig desto mer har jag begripit att jag inget begriper.

En sak jag har blivit bättre på är att lära mig att inte falla i den statistiskt sett vanligaste statistikfallgropen, nämligen att förväxla samband med samvariation (eller kausalitet med korrelation). Nationalekonomen Andreas Bergh har på sin blogg uppmärksammat roliga (och ibland skrämmande) exempel på detta här och här. Ett av dessa exempel fick något i mitt huvud att snurra igång och fick mig att minnas ett roligt exempel på samma fel fast gällande ålder och bensinpris*, varför jag bara var tvungen undersöka hur min ålder har påverkat utvecklingen av bensinpriset (all data är hämtad från Svenska Petroleum & Biodrivmedel Institutet (SPBI)):

Som diagrammet visar tycks det finnas ett solklart samband mellan min ålder och bensinprisets nivå. Detta beläggs också med följande regressionsanalys:

Summa summarum lyckas alltså min ålder förklara 96,5 % av variationen i bensinpriset, inte illa!

Varför detta nonsensexempel om bensinpris? (den som fördjupar sig i SPBI:s data ser ganska snabbt att det som förklarar prisstegringen inte är min ålder utan snarare utvecklingen av drivmedelsskatten, råvarupriset samt tillkomsten av momsen) Jo därför att hela denna berättelse också berättar något specifikt om den utbildning jag har gått och om svensk pedagogisk och/eller utbildningvetenskaplig forskning i stort: Nämligen att lärarutbildningen, som en konsekvens av den svenska pedagogiska och utbildningsvetenskapliga forskningens inriktning, har en ofantlig slagsida åt kvalitativa metoder, både vad det gäller den lilla metodutbildning som ges samt i de examensarbeten som produceras i utbildningen. Jag är inget undantag.

Detta problem har uppmärksammats både i en studie från Högskoleverket samt i Lärarutbildningsutredningen (HUT 07, se avsnitt 6.3). Högskoleverket skriver (s.52):

”Hur ser då en typisk uppsats inom lärarprogrammet ut? Den har författats av två kvinnor och omfattar drygt 30 sidor. Uppsatsen bygger på så kallad kvalitativ metod, och data har insamlat genom intervjuer. Utgångspunkter och referenser till teori och forskning avser i första hand olika former av sekundärlitteratur, som till exempel kurslitteratur på svenska. Vid redovisning av resultat förekommer sällan tabeller och figurer. Många av de godkända uppsatserna har av de externa granskarna fått både lägre och högre helhetsomdömen, men det förra dominerar och det är en relativt stor andel av uppsatserna som tilldelats omdömet Med tvekan godkänd. […]

Däremot finns tillkortakommanden framför allt i relation till teorirelaterade aspekter samt vad gäller kritisk förmåga och självständighet. Det är heller inte ovanligt att uppsatserna har ett visst inslag av normativitet där resultat mer relateras till tyckanden av skilda slag än till vetenskapligt grundade argument. Det förefaller, vilket inte är givet, som om det skulle råda ett motsatsförhllande mellan yrkesrelevans och vetenskaplighet, och i den typiska uppsatsen inom lärarprogrammet ror till synes den förra hem spelet.”

Detta problem härstammar som sagt från den svenska pedagogiska och utbildningsvetenskapliga forskningen. Som en följd därav är den svenska pedagogiska och utbildningsvetenskapliga forskningen generellt sett dålig på att förklara vad som fungerar och inte samt belägga vad som har effekt och inte. Men för att ha något mer att skriva om framöver – och för att det är sent på kvällen – så ber jag att få återkomma till detta i något senare inlägg.

* Jag vet inte vem jag ska tillskriva exemplet men jag misstänker att det finns många statistiklärare där ute som använder sig av samma eller liknande exempel varför alla gemensamt får ta åt sig äran över exemplet.

Taggad , , , ,

Elevökningen i gymnasiesärskolan

På nära 20 år har andelen elever av varje årskull som skrivs in i gymnasiesärskolan fördubblats, detta trots att en motsvarande ökning av andel elever i grundsärskolan inte syns från tidigt 2000-tal. Utvecklingen beskrivs med följande diagram i gymnasiesärskoleutredningen (som lade fram sitt slutbetänkande i början av förra året (diagram från sida 153)):

Variationen mellan olika kommuner är mycket stor gällande hur stor andel av de i kommunen folkbokförda eleverna som är inskrivna i antingen den egna gymnasiesärskolan eller någon annan kommuns. Läsåret 2009/10 varierade andelen inskrivna från ingen elev alls i vissa kommuner till det mångdubbla rikssnittet i andra. Enligt utredningen är det i huvudsak i de små kommunerna som de höga andelarna återfinns. Stora och medelstora kommuner är överrepresenterade bland de med låga andelar. Andelen elever med utländsk bakgrund är dessutom starkt överrepresenterade (detta kartläggs ytterligare i Skolinspektionens riktade tillsyn).

Utredningen belägger inte vad den kraftiga ökningen beror på, men viss forskning refereras och vissa tänkbara orsaker diskuteras. Det kan sammanfattas i följande punkter (allt hämtat från avsnitt 3.1 i utredningen):

  • Det kan vara så att den större andelen elever i gymnasiesärskolan än i grundsärskolan beror på svårigheter att hänga med när undervisningen når högre abstraktionsnivåer och svårighetsgrad.
  • Det mål- och kriterierelaterade betygsystemet innebär att elever som tidigare kunde komma igenom systemet med 1:or och 2:or numer blir underkända och därigenom ”uppmärksammade” på ett annat sätt.
  • Det är möjligt att kommunernas övertagande av ansvaret för särskolan från landstingen (vilket fullbordades 1996) har haft betydelse. Utredningen skriver att ”Den erfarenhet och kunskap som behövs för att fatta beslut om mottagande i särskolan fanns knappast i alla kommuner när kommunaliseringen skedde.” (se återigen Skolinspektionen)
  • Viss forskning kopplar samman utvecklingen med 1990-talets ekonomiska nedskärningar och menar att det fått stor betydelse för elever med lindrig utvecklingsstörning som då inte längre fått det stöd och den hjälp de behöver (vilket skulle kunna förklara den kraftiga ökningen av elever med autismspektrumdiagnoser (AST)).
  • Det kan vara så att utvecklingen är en effekt av att det är vanligare med utredningar och diagnoser idag, detta skulle återigen kunna ha störst betydelse för AST-elever.

Vilka är de viktigaste förklaringarna? Skiljer det sig mellan olika kommuner? Vad säger gymnasiesärskolelärarna som funnits i verksamheten under motsvarande period? Vad kan grävas fram ur kommunernas egna rullor? Går ytterligare aspekter på utvecklingen att finna i Skolverkets statistik?

Här tycks finnas en hel del uppslag för den nyfikne studenten. Den som tar sig an uppgiften får gärna höra av sig med resultat!

Taggad ,

Om att sätta betyg

Jonas Vlachos skriver på bloggen Ekonomistas om betygsättningen i matematik i Stockholm, där han påvisar att betygsättningen är generösare vid skolor som har ett lägre modellberäknat meritvärde enligt SALSA än de med högre. Det tycks alltså, menar Vlachos, som att lärarna vid dessa skolor kompenserar för elevernas bakgrund vid betygsättningen.1

Att lärares betygsättning också utgår från annat än betygskriterierna, trots att det enligt styrdokumenten inte ska göra det, får anses vara välbelagt. Det framgår exempelvis av Skolinspektionens granskning av betygsättningen i gymnasieskolan och tidigare avhandlingar (se ex Bengt Selghed eller Helena Korp).

Med sitt inlägg väcker dock Vlachos också liv i en fråga som har varit aktuell i olika omgångar. Han för nämligen ett kort resonemang om att detta egentligen inte behöver vara av ondo, det vill säga att det ur vissa perspektiv kan anses vara helt riktigt att lärare kompenserar för elevernas bakgrund, trots att det kan missgynna de som studerar vid skolor med högre modellberäknade meritvärden. I och med att Vlachos är nationalekonom så hämtar han såklart skäl som talar för det ur den presumtiva samhällsekonomiska nyttan med ett sådant system.

Intressant nog har också filosofen Roger Fjellström vädrat dessa tankar innan, fast med i viss mån andra bevekelsegrunder (dess filosofiska grund återfinns i Nel Noddings Omsorgsetik, se spännande bok här). I en antologi utgiven av Skolverket lägger han i sin artikel Betygsättandets etik fram idén att lärarna som moraliska agenter bör överväga vilken effekt olika betyg får för olika elever då de ska sätta betyg, detta i och med att betygsättningen också är ”en stöt i en orsakskedja, vilken påverkar elevens framtida kunnande”. Han konstruerar sedan ett exempel med en elev och en lärare där läraren tror att ett underkänt betyg i svenska skulle kunna vara förödande för elevens studielust. Därför borde läraren alltså se mellan fingrarna och sätta ett snäll-G.

Frågan är hur vi ska se på detta?2 Det exempel som Roger Fjellström konstruerat är i vissa avseenden inte tillräckligt tillspetsat i och med att den tänkta eleven går i år åtta och ska till att få sitt första betyg. Så som systemet var utformat när denna artikel skrevs så betydde i själva verket inte höstterminsbetygen i år åtta något, annat än möjligtvis för den interna rättviseuppfattningen i klassen samt för den prognos betygen i år åtta skulle utgöra kontra betygskriterierna i år nio. Men om eleven gick sista terminen i år nio då? Hur ska vi se på det?

I ett sådant läge innebär ett snäll-G att eleven otillbörligen stärker sin position i konkurrensen med andra om attraktiva gymnasieutbildningsplatser och de effekter detta får tycks inte stämma överens med de meritokratiska principer som urvalssystemet vilar på (högst betyg ger tillträde till de mest åtråvärda utbildningarna).

Det finns också ett annat perspektiv att ta hänsyn till och det är hur det kommer att gå för eleven i fråga i gymnasiet? Det är möjligt att ett godkänt i svenska från grundskolan är ett nödvändigt villkor för att klara de kommande kurserna i gymnasieskolan. Ur ett sådant perspektiv så innebär ett snäll-G att eleven ifråga inte har fått de kunskaper som elever har rätt till i den obligatoriska pliktbelagda grundskolan. Det tycks inte heller rätt.

Och dessutom, hur ska vi tänka kring likvärdighetsprincipen om betygen sätts på olika grunder?

 

Noter 

1. Generaliserbarheten i dessa resultat måste dock bekräftas i större studier innan det dras för stora växlar av resultaten. Exempelvis visar tidigare studier (här och här) från Skolverket att det är svårt att finna systematiska skillnader mellan resultat på nationella prov och kurs- eller ämnesbetyg mellan skolor, kommuner, elever och huvudmän. Det enda sambandet som kan påvisas i dessa studier är att elever som läser naturvetenskapligt program tycks få något högre betyg än vad de presterat på de nationella proven, vilket tycks gå lite på tvärs med Vlachos resultat. Samtidigt finns studier som bekräftar den gynnsamma effekten för de elever som ingår i Vlachos resultat. Resultaten mellan Skolverket och Vlachos spretar nog just på grund av att skälen till att betygen sätts olika är så väldigt olika och mer komplext än vad dessa tre exempel lyckas beskriva.

2. Se också Lärarnas Riksförbunds rapport Betygsättning under påverkan där viss empiri presenteras kring varför och varför inte lärare gjort på olika sätt.

Taggad ,

Skolans huvudmannaskap – en statlig eller kommunal angelägenhet?

För några veckor sedan tillkännagav Skolverkets förre generaldirektör Per Thullberg på DN Debatt att han anser att staten borde ta över huvudmannaskapet för den svenska grundskolan. Thullberg skriver:

”… [S]jälva motivet för kommunalt huvudmannaskap är lokal variation och skillnader i prioriteringar och utförande. Därför menar jag att grundskolan ska vara statlig. Vi bör aldrig acceptera att det är elevernas bakgrund och bostadsort som blir avgörande för hur väl skolan – och eleverna – lyckas!”

Thullberg menar också att det är rimligt att ställa sig frågan om ett kommunalt huvudmannaskap ens är fortsatt meningsfullt, i och med den reformperiod som skolan nu genomgår med start i alliansregeringens tillträde 2006? Vad kvarstår för kommunerna att besluta om när staten nu ökar sitt grepp om skolan via regleringar och inspektion?1

Sveriges kommuner och landsting (SKL) var snabbt ute med en replik. De menar att det är ologiskt att flytta beslut som fattas ”i verksamheten och nära medborgarna, till statliga tjänstemän på centrala ämbetsverk” och det vore dessutom att underkänna den intensiva skolutveckling som sker runtom i landet. De fortsätter:

”Skillnader i elevernas resultat är oftare större mellan två klasser på samma skola, jämfört med skolor i samma kommun eller i olika kommuner. Återigen, lärarnas skicklighet, ledningens kompetens och hur resurser används utifrån de lokala förutsättningarna är nyckeln till goda resultat.”

Enligt min mening är SKL:s påstående väldigt fiffigt formulerat. Vi får för det första (1) underförstått veta att vi ska rikta sökljuset bort från resultatskillnader mellan kommuner, i och med att skillnaderna är större mellan skolor, klasser och elever. För det andra (2) får vi sedan veta att det är just användningen av resurserna på lokal nivå efter lokala förutsättningar (skillnader mellan skolor, klasser och elever lokalt alltså) som är nyckeln till problemens lösning.

Nå, hur förhåller sig det då med detta? Är skillnaderna mellan kommunerna försumbara (1)? Och hur används resurserna lokalt i kommunerna (2)?

Skillnader mellan kommuner (1)
I mitt tidigare inlägg om effekt av föräldrars utbildningsnivå refererades Jan-Eric Gustavssons och Kajsa Yang-Hansens forskning om utvecklingen av gruppskillnader över tid. De har i samma studier också visat hur resultatskillnader utvecklats mellan skolor och kommuner (dessa resultat sammanfattas också förtjänstfullt av Camilo von Greiff i en ESO-studie):

Som framgår av grafen så är skolvariationen mycket riktigt större än kommunvariationen, men det är också tydligt att kommunvariationen ökat markant från dess att kommunaliseringsreformen och avregleringarna av de tidigare regelverken (exempelvis lärarbehörigheter, statsbidragssystemet osv.2) nått effekt kring 1996-1997 (minns Thullberg ovan: ’Själva motivet är variation!’). Gustavsson och Yang-Hansen skriver:

”Under perioden 1994 till 1997 ökade betygsvariationen år från år, vilket kan vara en kombinerad effekt av att kommunerna under denna tid fick ökad beslutsrätt avseende bland annat resurstilldelning till skolan, och att skolpengen infördes med ty ökad valfrihet för eleverna mellan både kommunala och fristående skolor.” (s.54)

Hur ser då resultatskillnaderna mellan kommuner ut? Låt mig exemplifiera dem med dels en tabell från von Greiffs ESO-studie, dels med data för år 2010, hämtad ur Skolverkets SALSA-databas (se noten för beskrivning av mått etc).3

Följande tabell visar spridningsmåtten för Sveriges kommuner 2007/08:

Som framgår av tabellen så är spridningen stor mellan kommunerna. I den sämst presterande kommunen var exempelvis var fjärde elev inte behörig att börja gymnasieskolan, i den bäst presterande kommunen var samtliga behöriga.

Hur ser då detta ut om vi tar hänsyn till elevernas olika bakgrund? I följande tabell redovisas spridningsmåtten för residualvärden 2010, dvs skillnaden mellan kommunernas faktiska genomsnittliga meritvärden och deras modellberäknade (där hänsyn tagits till effekt av elevbakgrund, se not 3 nedan):

Den kommun som år 2010 presterade bäst presterade 38 betygpoäng högre än sitt modellberäknade värde och den som presterade sämst presterade 40 poäng lägre. Det är i genomsnitt åtta Godkända betyg till förmån för åtta underkända alternativt åtta Mycket väl godkända till förmån för Godkända (då U = op, G = 10p, VG = 15p, MVG = 20p).

Ser vi till de övriga spridningsmåtten, som är mer rättvisande än max- och minvärdena, så tycks sprdningen inte vara så stor, vilket så klart är bra. Exempelvis så skiljer det bara tio betygspoäng mellan den övre och den nedre kvartilen. Två saker måste man dock komma ihåg beträffande detta. Det ena är att det kan handla om vitt skilda kommuner som har positiv eller negativ residual. Det kan såklart handla om en kommun som har ett högre modellberäknat meritvärde (Piteå, MV 213) men som har en negativ residual (-6), och en kommun som har ett lägre modellberäknat meritvärde (Uppvidinge, MV 192) men med positiv residual (+5). Detta innebär ju att Uppvidinge i någon mån lyckas ha viss kompensatorisk effekt för sina elever. Det kan dock också handla om motsatsen, där avståndet alltså blir ännu större mellan vissa kommuner:

Som framgår av tabellen så presterar redan gynnade elever i Danderyd ännu bättre tack vare sin kommunhemvist medan redan missgynnade elever i Älvkarleby presterar sämre.

Ytterligare en aspekt ska belysas innan vi lämnar frågan om skillnader mellan kommuner och det är att det också finns exempel på kommuner som systematisk presterar bättre och sämre än sina modellberäknade värden. Här är ett exempel:

Under hela den undersökta tioårsperioden har inte Sundsvall lyckats lyfta sina resultat utan presterar fortsatt på samma nivå (Lund har inte lyckats förbättra sig heller ska påpekas). (För en smula sjäklvkritik från min sida, se noten nedan.)4

Hur används då resurserna i kommunerna (2)?
Använder kommunerna möjligheten att själva styra de ekonomiska resurserna dit de behövs som mest? Nej, det är ju tyvärr inte så. Skolverket har undersökt hur det förhåller sig med resursfördelningssystemen i kommunerna och det är dyster läsning:

Det finns fler undersökningar som behandlar detta, bland annat Skolverkets rapport om skolans huvudmannaskap samt Lärarnas Riksförbunds rapport om finansieringssystemet.

Vilka slutsatser kan vi dra av detta?
Mina slutsatser av denna genomgång är att man som skolpolitiker eller som röstberättigad person i Sverige har två alternativ.

Antingen förordar man ett statligt huvudmannaskap för skolan som bland annat tar ett grepp om skolans resursfördelningssystem och benar ut vilka principer detta ska vila på samt att man i det nya huvudmannaskapet fortsätter på den inslagna vägen med att åter reglera vissa centrala delar av skolverksamheten, såsom lärarbehörigheter och liknande.

Det andra alternativet är att fortsatt förorda ett kommunalt huvudmannaskap där man antingen litar på att kommunerna kan lösa detta själva (som SKL menar i sin debattartikel) eller där staten griper in och reglerar fler delar av skolan. Den senare vägen har exempelvis socialdemokraterna varit inne på då de föreslagit att man ska tvinga kommunerna att fördela resurserna efter elevers behov.

Men vips, så återkommer Thullbergs ursprungliga fråga: Om vi väljer den vägen, vad är det då för mening att ens ha ett kommunalt huvudmannskap om vi inte tillåter kommunerna att bestämma något själva? Ska vi ha ett system som bygger på idén om lokal variation efter lokala prioriteringar, men samtidigt förbjuda lokal variation och lokala prioriteringar?

Det tycks motsägelsefullt.

———————————
Noter

1. Thullbergs historikerkollega Hans Albin Larsson sätter i sin senaste bok Mot bättre vetande (2011) (länk) på ett mycket förtjänstfullt sätt in den nuvarande reformperioden av svensk skola i sitt utbildningshistoriska sammanhang. Enligt Larsson är nuvarande reformperiod den svenska skolans tredje dito, där de två föregående är grund- och enhetsskolans uppgyggnad under 1960-talet och avregleringarna under 1990-talet (främst kommunaliseringen och friskolereformerna). Ur ett statligt styrningsperspektiv kan dessa tre reformperioder ses som varandras tes (1960), antites (1990) och syntes (2011) där vi gått från hög grad av statlig styrning (1960) till näst intill obefintlig (1990) och slutligen till en mittenposition (2011).

2. Läs boken Skola eller kommunal ungdomsomsorg? (2002) (länk) av Hans Albin Larsson (igen), den gör en mycket god genomlysning av kommunaliseringen av skolan.

3. I denna databas presenteras kommunvisa betygsmedelvärden (faktiskt meritvärde) för valt år tillsammans med bakgrundsdata om eleverna (föräldrars utbildningsnivå, andel pojkar och andel elever födda utomlands). Utifrån dessa data har sedan Skolverket beräknat ett modellberäknat meritvärde för varje kommun som visar vilka meritvärden kommunen skulle nå om dessa variabler hade samma effekt i föreliggande kommun som i andra undersökte kommuner, allt annat lika. Differensen mellan faktiskt meritvärde och det modellberäknade meritvärdet ger residualen (R). Detta är inte helt okontroversiellt, kritik har riktats mot Skolverket för att detta sänker förväntningarna på skolor och elever. Se exempel här, Skolverkets svar här samt akademisk kritik här.

4. Är denna bevisföring tillräcklig, att endast uppvisa några spridda exempel på kommuner som inte lyckas? Det finns ju de kommuner som verkligen lyckas skulle en kritiker av mitt inlägg kunna påpeka! Det är självklart så, men vi måste också fråga oss om vi stillsamt ska acceptera att det finns en handfull kommuner (eller fler) där eleverna är direkt missgynnade av att bo i kommunen de bor? Hur rimmar det med skollagens stadga om en likvärdig och kompensatorisk skola? Ur ett sådant perspektiv borde bevisföringen vara tillräcklig, men det är upp till läsaren att bilda sin egen uppfattning om det.

Taggad , , ,

Lärarnas historia och uppsatstips

Idag har jag spenderat hela arbetsdagen i TAM-arkivet och botaniserat bland historiska dokument och annat spännande. För den som inte har tid eller möjlighet att själv besöka arkivet och göra egna sökningar så rekommenderas arkivets sida för lärarnas historia. På denna sida finns tidslinjer, dokument, utdrag ur böcker och liknande. Allt väldigt lättillgängligt och väl sammanställt. Det finns också en sökfunktion för visst material som digitaliserats.

20120410-185035.jpg

Mitt intryck av dagen är också att TAM-arkivet bjuder stora möjligheter för den uppsatsskrivande studenten. Här finns exempelvis en komplett samling av Lärarnas Riksförbunds medlemstidning, från dess ursprung som Tidning för Sveriges Läroverk (1901) till Skolvärlden (dags dato), material från samtliga avtalsrörelser inklusive de stora konflikterna samt fascinerande cirkulär och liknande från förbundets tidigaste historia i slutet av 1800-talet. Kort sagt möjligheterna är många!

Get busy!

Om faran att uttala sig alltför självsäkert

Under en slösurfning* för någon vecka sedan ramlade jag över ett gammalt men ändock mycket intressant blogginlägg. Inlägget är skrivet under Almedalsveckan 2010 och handlar om Lärarnas Riksförbunds rapport ”Rika barn lära bäst?” som släpptes under ett seminarium med stor mediebevakning som följd.

Det som gör inlägget så intressant är, för det första, att bloggförfattaren inte skräder orden när han ska beskriva hur undermålig rapporten är. Rapporten skulle enligt honom inte ”hålla för någon mer djupgående vetenskaplig granskning”, främst för att resultaten är fabricerade.

De ”fabricerade resultat” som han hänvisar till framgår av följande diagram från rapporten:

Den ”intellektuella ohederligheten” (inlägget publicerat därefter) består enligt bloggförfattaren i att år 1990 är valt som utgångspunkt för tidsserien, dvs året innan kommunaliseringen av skolan träder i kraft efter riksdagsbeslutet 1989. Han sammanfattar det hela med att ”de [Lärarnas Riksförbund] hade sett en liknande utveckling även under perioden 1960-1990 (eller annan valfri mätperiod).”

Detta leder fram till det andra som gör inlägget så intressant och det är med vilken säkerhet han uttalar sig om rapportens fel och brister, när han i själva verket inte själv har rätt. Följande punkter förklarar hur diagrammet – och rapporten – ska läsas och förstås:

  1. Den nollpunkt vid år 1990 som tidsserien utgår ifrån ska inte förstås som en punkt då skolan var totalt jämlik och likvärdig. Det var skolan aldrig innan 1990 och kommer med stor sannolikhet aldrig heller helt att bli det därefter. Nollpunkten i diagrammet är snarare ställningen vid avspark i en uppföljande Championsleaguematch mellan två lag; i föreliggande match (match 2) står det 0-0 även fast lag B vann den första matchen med 2-1. Lag A måste således vinna den andra matchen med minst två mål om de vill vinna matchserien mot lag B. Inom nollpunkten finns alltså redan skillnader mellan grupperna men diagrammet uttrycker hur dessa skillnader utvecklats därefter.
  2. Detta diagram uppvisar likt de övriga i rapporten att något händer kring 1998. Detta är dock endast övergången till det mål- och kriterierelaterade betygsystemet som syns. I det tidigare normrelaterade betygsystemet kunde inte en årskull elever få högre meritvärde (i teorin) än föregående, i och med att normen var samtliga elever i en årskull. Först i och med det mål- och kriterierelaterade systemet kunde en årskull få högre meritvärde än föregående.
  3. De dramatiska skillnader som syns 1998 döljer något som hänt innan, något som syns tydligt i diagrammet över meritvärdesutveckling efter föräldrarnas nettoinkomst. Denna förändring startar några år tidigare och effekten är störst bland de elever vars föräldrar tjänar mest pengar (därav rapportens titel). Förändringen är friskolereformen vilken möjliggör att främst välutbildade (och ofta välavlönade) föräldrar får – och tar – möjligheten att sätta sina barn i en och samma skola. Fram till tidigt 2000-tal driver detta på en betygsinflation som i det omtalade kommundiagrammet syns som att elever i storstadskommuner får högre betygmedelvärden än elever i andra kommuner (vilket de också får)(betygsinflationsfrågan ska jag avhandla i något kommande inlägg).

Bloggförfattarens största felsteg ligger alltså i punkt 1 och 3. I punkt 1 för att han ser det som en jämlik nollpunkt, i punkt 3 för att han tänker sig att utvecklingen illustrerad i kommundiagrammet beror på kommunaslieringen i sig självt när det i själva verket, i huvudsak, är ett uttryck för att storstadskommuner har en högre andel friskolor och därigenom mer konkurrensutsatt skolmarknad vilket förklarar de högre betygen.

Vad det gäller metoden i Lärarnas Riksförbunds undersökning så är det samma metod (standardiserade medelvärdesdifferenser – Choens’ d) som Jan-Eric Gustavsson och Kajsa Yang-Hansen använder i sitt avsnitt i Skolverkets kunskapsöversikt ”Vad påverkar resultaten i svensk grundskola?” samt som John Hattie använder i ”Visable Learning”. Undersökningen borde således klara en närmre vetenskaplig granskning.

* ‘Slösurfa’, verb, att planlöst söka information på internet.

Föräldrarnas utbildningsnivå och barnens skolframgång

Premiärinlägget på bloggen får handla om vilken betydelse föräldrarnas utbildningsnivå har för elevernas resultat i grundskolan och hur effekten av densamma har utvecklats över tid. Det är nog förhållandevis få som förnekar betydelsen av föräldrarnas utbildningsnivå, men jag tycker mig då och då stöta på uppfattningen att (1) denna effekt inte är så stor och att (2) den inte ökat nämnvärt över tid.

I jämförelse med andra bakgrundsfaktorer så är föräldrarnas sammanvägda utbildningsnivå den faktor som påverkar betygen mest, dess förklaringsvärde är ungefär dubbelt så stort som elevens kön eller etnicitet (se exempelvis Skolverkets kunskapsöversikt ”Vad påverkar resultaten i svensk grundskola?”). I nämnd kunskapsöversikt refereras också forskning som visar att ”sambandet mellan föräldrarnas utbildningsnivå och elevernas resultat är ungefär dubbelt så starkt på skolnivå som på individnivå och att sambandet har förstärkts över tid” (s.19).

Citatet ovan besvarar i viss mån också en rimlig fråga att ställa gällande effekten av föräldrarnas utbildningsnivå: Har dessa elever reellt bättre kunskaper än andra elever eller är det utslag av att dessa föräldrar gör mer välinformerade skolval (och väljer ”rätt” skola)? Som citatet antyder så består nog sanningen av en mix av de båda.

Utöver att ha betydande effekt på individ- och skolnivå så har också föräldrarnas sammanvägda utbildningsnivå effekt på kommunnivå. Följande diagram beskriver utbildningsnivåns förklaringsvärde på elevernas meritvärden på kommunnivå för åren 2001-2010:1

Som framgår av diagrammet så har förklaringsvärdet nära fördubblats under den undersökta tioårsperioden, från att förklara 20 procent av variansen år 2001 till nära 40 procent 2010. Detta ger en tydlig antydan om att den svenska grundskolans kompensatoriska effekt har minskat avsevärt under perioden och därigenom också skolans likvärdighet i och med att olika kommuner och olika huvudmän är olika framgångsrika i att kompensera för elevers olika bakgrund.

Den som är intresserad rekommenderas Skolverkets kunskapsöversikt ”Vad påverkar resultaten i svensk grundskola?” (2009) och den som är intresserad av metodfrågor kopplat till denna typ av kunskapsöversikter bör med fördel ta del av denna debatt med repliker här och här.

 

1. Diagrammet baseras på resultat av regressionsanalyser för vart och ett av de undersökta åren med data från SALSA-databasen. Läs om SALSA under fliken ”Databaser”.