Månadsarkiv: juni 2012

Samband mellan kvalitetsarbete och betyg?

Nyligen släpptes en artikel i Skolportens tidsskrift Leda och styra som studerar om det finns något samband mellan skolors kvalitetsarbete och elevernas resultat. Undersökningen visar att skolor som bedriver ett ”avancerat” kvalitetsarbete har ett högre genomsnittligt meritvärde bland eleverna än de som inte har det. Sambandet tycks enligt Skolportens artikel om undersökningen och dess resultat också ha överraskat författaren Marie Johansson genom att det var så tydligt.

Det låter inte osannolikt att det skulle kunna finnas ett sådant samband i och med att förbättrad måluppfyllelse säkerligen är avsikten med det kvalitetsarbete skolor bedriver och att det säkert också går att lyckas med det (konstigt och desillusionerande vore det kanske annars?). Men det är inte utan att jag direkt blir intresserad av att gräva lite djupare när jag ramlar över rubriker som dessa. Precis som jag har påpekat innan vid flera tillfällen så är det lite si och så med svensk pedagogisk forskning som studerar samband mellan olika variabler. Denna undersökning tycks inte vara något undantag.

Problemet med denna undersökning är för det första att empirin är mycket begränsad, endast nio grundskolor i en kommun studeras (undersökningen är förvisso en totalundersökning i kommunen i och med att samtliga kommunala grundskolor i kommunen undersöks). Det andra problemet är att inga sambandsanalyser egentligen görs i undersökningen (för att mäta samband eller förklaringsvärde), utan det är endast analyser av det slag nedan som görs i undersökningen:

Det skulle vara orättvist att gå för hårt åt undersökningen som sådan i och med att det är svårt att finna tydliga indikatorer i skolornas kvalitetsredovisningar som är både lättmätbara och jämförbara med varandra. Undersökningens ansats är därigenom både god och intressant på sitt sätt. Det som snarare kan, och bör, kritiseras är vilka slutsatser som dras om hur det här sambandet ser ut, i synnerhet hur starkt det är.

Det mest uppenbara problemet i detta är såklart den bristande empirin som gör att resultaten inte tillnärmelsevis är generaliserbara. Det andra är att författaren till undersökningen inte diskuterar alternativa tolkningar av vad som är bärande i sambandet. Det kan ju exempelvis vara som så att det inte är det ”avancerade” kvalitetsarbetet i sig självt som leder till högre meritvärdena utan kvalitetsarbetet kanske snarare är en vanlig följd av god och närvarande skolledning vilket är det som egentligen genererar framgången. Det finns också ytterligare andra tänkbara förklaringar på detta tema (se intressant inlägg på ekonomistas.se gällande hälsa och utbildning).

Den sista kritiken som måste riktas mot undersökningen är en fortsättning på kritiken om den bristande empirin. I och med att endast nio skolor undersökts dras studien med urvalsproblem av typen att man kan fråga sig om skolorna är representativa och om man hade fått samma resultat om fler eller andra skolor hade studerats. Det vet vi inget om och författaren nämner det för att i nästa andetag prata om styrkan ni sambandet. Låt mig ge ett vetenskapligt ohederligt exempel på hur fel det kan bli.

I tabellen nedan redovisas uppgifter om föräldrarnas sammanvägda utbildningsnivå samt genomsnittliga meritvärden från grundskolans år nio i sju ”slumpvist” utvalda kommuner:

Som det framgår av tabellen så tycks det finnas ett solklart samband mellan variablerna: Ju lägre utbildningsnivå föräldrarna har, desto högre meritvärden presterar eleverna. Detta är som sagt ett ohederligt nonsensexempel men det sätter ändå fingret på hur fel det kan bli när man (medvetet eller omedvetet) gör ett icke-representativt urval (jag har skrivit om sambandet mellan dessa variabler tidigare, se inlägg här).

Annonser
Taggad , , , , , ,

Besked om förväntad framgång, tack!

I början av juni utsåg regeringen Skolverkets förre generaldirektör Per Thullberg till ny utredare för utredningen ”Förbättrade resultat i grundskolan”. Enligt direktiven (dir 2012:53) ska utredaren:

  • bedöma när de åtgärder som har vidtagits från 2007 och framåt för att höja kunskapsnivån och öka måluppfyllelsen i grundskolan och motsvarande skolformer kan förväntas få avsedd effekt.
  • utreda vilka relevanta data som behövs för att i ökad utsträckning kunna utvärdera reformer inom de obligatoriska skolformerna, dvs. grundskolan, grundsärskolan, specialskolan och sameskolan,
  • om det behövs, lämna författnings- eller andra förslag för att öka tillgången till sådana data, och
  • belysa hur reformer inom de obligatoriska skolformerna bör genomföras för att underlätta utvärdering av reformerna.

För det första så är upplägget av hela utredningen lite lustigt. Det finns de som riktat kritik mot den av Björklund och regeringen förda skolpolitiken för att den inte lett till resultat snabbare, främst med näring hämtat från Mckinsey-rapporterna som visar att effekter av förändringar kan uppnås inom sex år, givet att det är rätt förändringar som genomförs. Ur detta perspektiv framstår utredningen som ett beställningsjobb för att dels tysta denna kritik, och dels för att faktiskt försöka belägga att reformerna kommer att få positiva effekter.

Det andra som är anmärkningsvärt med utredningen är något som jag påpekat i tidigare inlägg, nämligen hur svensk praxis kring uppföljning och utvärdering av reformer har förändrats över tid. Denna utredning är ett nytt exempel på detta genom att man, långt i efterhand, börjar fundera över hur man ska följa upp och utvärdera de reformer som genomförts och dessutom – till råga på allt! – i efterhand funderar över vad man överhuvudtaget behöver för att kunna följa upp och utvärdera reformerna (punkterna 2-4). Alla chanser att bedöma effekter genom kontrollgrupper är som bekant förlorade i och med att försöksverksamhet inte genomförts.

För det tredje – och avslutningsvis – så finns det sedan tidigare en mycket gedigen och läsvärd genomgång av samtliga skolpolitiska reformer som är på gång sedan 2006 tillsammans med en bedömning av vilka effekter dessa reformer kan förväntas få avseende de centrala problem som svensk skola brottas med. (Se Peter Fredrikssons och Jonas Vlachos rapport till Finanspolitiska rådet från 2011 här).

Taggad , ,

Lärarresurser och skolresultat – vilka samband råder (i Kristianstad)?

För några veckor sedan snurrade en artikel från Kristianstadsbladet runt på Facebook (enligt tidningens webbplats hade artikeln delats av 1 072 personer när detta skrevs) som handlade om hur kommunens vice ordförande i utbildningsnämnden, Jonas Fasth, ledde i bevis att en högre lärartäthet och högre lärarbehörighet leder till sämre resultat för eleverna. Slutsatserna drar han efter att ha genomfört en egen studie på 595 grundskolor i Skåne med data från Skolverkets databaser (Skolverkets databaser länkas till här). Tyvärr tillgängliggjorde Fasth aldrig studien, varför det är svårt att granska den utan det enda som står att finna är hans pressmeddelande som föranledde artikeln. I pressmeddelandet redovisas de centrala resultaten i punktform:

  1. Det råder negativt samband mellan antalet lärare och studieresultaten, dvs   ju fler lärare desto sämre resultat.
  2. Det råder ett negativt samband mellan antalet utbildade lärare och   studieresultaten, dvs ju fler utbildade lärare desto sämre resultat.
  3. Det är ett mycket svagt samband mellan skolans storlek (antal årskurser,   antal elever och antal elever i aktuell årskurs) och studieresultaten.
  4. De skolstrukturella faktorerna kan endast förklara 7 % av variansen i studieresultaten.

Det behöver knappast påpekas att hans uttalanden inte stod oemotsagda, i synnerhet inte eftersom hans slutsatser står i bjärt kontrast till resultat från tidigare studier som visar att det finns vissa viktiga samband här emellan (i synnerhet gällande lärarbehörighet).1

Det här inlägget är dock inte alls tänkt att raljera över Fasths slutsatser eller tvärsäkra uttalanden om sakernas tillstånd (även om det känns lockande, man undrar ju exempelvis om han bemödade sig att gå igenom den tidigare forskningen som kunde ha fått honom att uttala sig lite försiktigare?). Inlägget är snarare tänkt att försöka skissera några tänkbara förklaringar till varför det gick så snett för Fasth i hans undersökning (detta går ju inte heller att verifiera i och med att hans undersökning inte finns tillgänglig).

Låt oss börja i rätt ände: Den data Fasth använt har han hämtat från Skolverkets databaser, förmodligen från SIRIS i och med att han har data på skolnivå. Därefter har han lagt in allt detta i sitt program och kört igång med sina korrelations- och regressionsanalyser.

Redan här stöter vi på några av de centrala problem som ger eko i Fasths slutsatser. För det första är den variabel som Fasth med största sannolikhet använt för lärarbehörighet otroligt trubbig. I Skolverkets statistik redovisas nämligen denna variabel som ”andelen lärare med pedagogisk högskoleexamen”. Ett sådant mått innebär i realiteten att en person med en förskollärarexamen i statistiken räknas som behörig även om personen undervisar i gymnasieskolan (och vice versa). Enligt den nya behörighetsförordningen skulle denna förskollärare också mycket riktigt betraktas som obehörig för undervisning i gymnasieskolan varför Skolverket sannolikt inom en snar framtid måste ändra variabelens definition.

För det andra så dras även måttet för lärartäthet med vissa problem. Dels för att problemet med lärarbehörigheten spiller över även på denna variabel; att ha 7,1 lärare per 100 elever som är utbildade för en annan skolform och andra ämnen än vilka de undervisar i kan inte vara jämförbart med att ha 6,9 lärare med rätt utbildning för skolform och ämne. Dels också för att måttet i sig självt inte kan parera för tillfällig halvklassundervisning och så vidare (se vidare i Gustafsson och Myrberg som refereras i noten nedan).

Givet detta kan vi sedan vända blicken åt vilka effekter vi ser när vi gör analyser av samma typ av data som Fasth använt. Låt mig exemplifiera några problem med data för 2009:

Om vi följer Fasths förfaringssätt så skulle vi kunna tänka oss att vi kan göra korrelations- och regressionsanalyser av sambandet mellan kommunernas undervisningskostnader och deras resultat. Följande tabell beskriver en sådan analys:

Vad ser vi i analysen? Ja, bland annat att undervisningskostnaden per elev inte uppvisar någon betydelsefull samvariation med variablerna (1)-(3), och detta tycks ju anmärkningsvärt i och med att den kommun som hade högst undervisningskostnad per elev 2009 satsade 72 444 kr/elev (Sorsele) och den som hade minst satsade 31 578 kr/elev (Ludvika). Men samtidigt visar nästa korrelationsanalys (4 – 6) att samvariationen mellan undervisningskostnad och lärartäthet endast är 56 %. En regression visar att undervisningskostnaden endast kan förklara 32 % av variationen i lärartäthet. Dessa resultat sätter fingret på något siginifikant, nämligen att olika insatta medel innebör olika saker i olika delar av landet. Och det är också denna insikt som är betydelsefull ur ett likvärdighetsperspektiv. Givet den invånardistans som finns i Sorsele kommun så borde de kanske satsa ännu mer än sina 72 444 kr/elev, precis som Älvkarleby av andra anledningar kanske borde satsa ännu mer än sina 39 407 kr/elev (2009) och kanske även på andra saker. Detta är också en bärande insikt i Lärarnas Riksförbunds förslag till finansieringsmodell för grundskolan.

Denna insikt borde också ha betytt vissa saker för Fasths undersökning. Han drar som bekant slutsatsen att högre lärartäthet leder till sämre studieresultat. En fråga han borde ha ställt sig är om det kan vara som så att skolor i kommuner som trots allt försöker kompensera för elevers olika bakgrund och förutsättningar, genom att exempelvis ha högre lärartähet (i linje med Gustafssons och Myrbergs resultat) slår igenom i hans undersökning som skolor med hög lärartäthet men med förhållandevis mediokra resultat detta till trots? För det kan mycket väl vara så att dessa skolor och kommuner trots lovvärda försök inte når över de tröskelvärden som krävs för att en högre lärartäthet verkligen ska ge resultat och därför syns i analysen som skolor med hög lärartäthet men låga resultat (se exempelvis Joanna Giotas och Olof Lundborgs studie av specialpedagogiska insatser där liknande problematik diskuteras).

Sedan kan vi också fråga oss vad som hade hänt om dessa skolor och kommuner hade haft radikalt annorlunda förutsättningar. Det är inte precis så att Fasth haft någon kontrollgrupp att jämföra med.

—–

1. Se exempelvis IFAU:s studier om betydelsen av klasstorlek, betydelsen av lärartäthet och lärarkvalitet samt betydelsen av resurser. Se också Jan-Eric Gustafssons och Eva Myrbergs kunskapsöversikt för Skolverkets räkning.

Taggad , , , , , , , ,

Att lära av Norge

Jag var i Norge i förra veckan på studiebesök. Det var allt igenom mycket intressant. Vi som åkte sammanfattade våra intryck genom att konstatera att Norge i vissa skolpolitiska avseenden ligger 10-20 år efter Sverige och i andra avseenden 10-20 år före.

Genomgående kan man konstatera att man i Norge varit mycket mer försiktig i sina skolpolitiska reformer i jämförelse med Sverige. En förklaring till detta som ges av norrmännen själva är att man i mycket större utsträckning haft en enig lärarkår som exempelvis motsatt sig en för långtgående decentralisering av ansvaret för skolan. Först år 2003 kommunaliserades lärarna i Norge, tillskillnad från de svenska som kommunaliserades redan 1989. Lärarna har dock inte varit nöjda med den utveckling som skett därefter och strejkar i skrivande stund för tredje gången sedan 2003.

Trots kommunaliseringen av lärarna är decentraliseringen i Norge inte lika långtgående som i Sverige. Ett nutida exempel på tydliga statliga ingripanden i den lokala friheten är att man nu beslutat om införande av lägstanivåer avseende lärartäthet. Man har även stoppat vinstuttag i friskolor och stoppat nyetablering av friskolor.

På andra områden syns det tydligt att de är på väg in i en utveckling där våra erfarenheter fått oss att genomföra ytterligare reformer. I och med det norska reformpaketet kallat Kunskapslyftet som initierades tidigt 2000-tal övergick man exempelvis till ett målstyrt system tillskillnad från det tidigare aktivitetsstyrda (att jämföra med vårt regelstyrda). Enligt egen utsago upplever de norska lärarna nu en viss osäkerhet och förvirring kring hur de förhållandevis otydliga målen skall tolkas och konkretiseras på lokal nivå och i skolorna. För den initierade svenska läraren ger detta flashbacks och deja vu-upplevelser utan motstycke. Diskrepansen i dessa tolkningar, och kritiken mot otydligheten, ledde till sist fram till den läroplans- och betygsreform som vi nu genomför. Just på detta område har vi en hel del erfarenheter att dela med oss av, vi kanske får skicka över ett litet paket med Leif Davidsons utredning om mål- och kriteriestrukturen i svensk grundskola samt, exempelvis, Jörgen Tholins avhandling Att kunna klara sig i ökänd natur.

Som sagt så var besöket mycket intressant och det tycks finnas mycket att lära sig av komparativa studier mellan Sverige och Norge (och övriga nordiska länder såklart). Sådan forskning är på gång via Nordforsk, men det borde också gå att hitta en hel del intressanta – och genomförbara – idéer till en studentuppsats.

Taggad , , , , ,

Konkurrensens konsekvenser – fortsättningen

Jag skrev i ett tidigare inlägg om SNS kunskapsöversikt Konkurrensens konsekvenser. Lyckligtvis har sakdebatten på det tema som SNS inledde fortsatt, snarare än den ideologiska. Det senaste numret av Ekonomisk debatt ägnas helt och hållet åt konkurrensens konsekvenser, även inrymmandes en artikel som tycks framföra saklig kritik mot SNS-rapporten (har dock inte hunnit läsa än). Ekonomistas skriver om numret här och även SNS själva har kommenterat det nya numret.

En av redaktörerna för Ekonimisk debatt, och tillika bloggaren, Andreas Bergh kommenterar på sin blogg också det faktum att friskolreformen sällsynt nog (för att vara Sverige) inte föregicks av någon utredning. Det var inte endast denna praxis man frångick utan man frångick också den fina traditionen av att genomföra försöksverksamhet för att på så vis kunna utvärdera effekten av förändringen. Denna praxis gjorde en kort återkomst gällande försöket med timplanelösa skolor, för att sedan snabbt försvinna igen. Anmärkningsvärt nog så har detta ännu inte utnyttjats på rätt sätt då någon större effektutvärdering inte gjorts av timplaneförsöket. Den utvärdering som gjorts kunde endast konstatera att för kort tid gått för att kunna uttala sig om effekter (trots detta förespråkade timplanedelegationen som bekant ett slopande av timplanen, frågan är om det var av ideologiska skäl?).

Att denna praxis tycks kvarstå illustreras tydligt av den pågående SFI-pengsutredningen som inte har till uppgift att på något vis utvärdera om det ens är önskvärt att införa ett friskolesystem för SFI, ej heller lämna några förslag på hur en försöksverksamhet skulle kunna utformas och utvärderas (se tidigare inlägg här).

Taggad , , , , ,