Etikettarkiv: jonas vlachos

Input och output i tidningen Dagens Samhälle

Jag har sedan innan skrivit om hur tidningen Dagens Samhälle granskar resultatskillnader i den svenska skolan. För den som återkommande läser tidningen framstår det tydligt att tidningens redaktion är väldigt intresserad av att göra olika input/output-analyser av den svenska skolan. Det syns inte minst i deras egenkonstruerade ”Kostnad per betygspoäng”-mått som de ofta använder för att beskriva olika skolhuvudmäns (främst kommuners) kostnadseffektivitet.

ds2Ett återkommande problem med Dagens Samhälles granskningar är att de i sina analyser inte gör riktiga kontroller för olika bakgrundsvariabler. Ur detta perspektiv är det inte konstigt att till exempel Danderyd och Lidingö m.fl i analyserna alltid framstår som de mest kostnadseffektiva kommunerna som får ut högst betyg för pengarna.

I ett av de senaste numren av tidningen gör man en ny ranking där kommunerna listas efter deras effektivitet samt vilket politiskt styre de har. Inlägget har rönt uppmärksamhet i annan media, men har lyckligtvis också väckt ett akademiskt intresse. Läs till exempel Anders Sundells välformulerade blogginlägg om saken på Politologerna, ”Leder alliansens politik till bättre skolresultat? Orsak och verkan i politiken”, samt Jonas Vlachos inlägg på Ekonomistas, ”Flash! Billigare att utbilda barn till högutbildade!”.

Uppdatering 16/5 2013:

Läs också det uppföljande inlägget på Politologerna om kommunrankingar i allmänhet, ett inlägg som ligger till grund för författarnas artikel på DN Debatt.

Annonser
Taggad , , , , , , ,

RUT-avdrag för läxhjälp?

Jag undviker i så stor utsträckning som möjligt att vara politisk i denna blogg och har för avsikt att fortsätta med det. Jag kan dock inte låta bli att länka till Jonas Vlachos mycket välskrivna inlägg på Ekonomistas om regeringens förslag att tillåta RUT-avdrag för läxhjälp. Läs!

http://ekonomistas.se/2012/11/28/avdrag-for-privatundervisning-dyrt-och-ojamlikt/

Taggad , , , , ,

”Friskolorna höjer betygen i de kommunala skolorna!” (?)

I förra veckans nummer av Dagens Samhälle* (nr 35 2012) var huvudnyheten att ”Friskolor lyfter kommunala”. Genom en ”unik undersökning” som Dagens Samhälle låtit göra kunde tidningen visa att ”elevernas betyg höjs mest på kommunala skolor när det finns friskolor i kommunen”. Det diagram som beskriver skillnaden återfanns också på tidningens framsida och syns i bilden här intill (Dagens Samhälle finns tyvärr inte i sin helhet tillgänglig gratis på internet, varför jag inte kan länka den).

Några torra utredariakttagelser med anledning av artikeln:

För det första: De konkurrensutsatta kommunala skolorna sätter visserligen högre betyg än icke-konkurrensutsatta, men hur kan Dagens Samhälle vara så säkra på att detta är en följd av att skolornas undervisning håller en högre kvalitet och att eleverna därigenom faktiskt presterar bättre? Om tidningen hade grävt lite djupare inför sin unika undersökning hade de funnit att många forskningsresultat tydligt visar att graden av konkurrens på en lokal skolmarknad bär ett viktigt förklaringsvärde på höga betyg (se återigen Jonas Vlachos studie ”Betygets värde” s.41 och framåt samt tidigare inlägg här) samt att forskningen rent generellt inte har kunnat belägga några större effektivitetsvinster med införandet av friskolor (se ett tidigare inlägg här med referens till SNS kunskapsöversikt ”Konkurrensens konsekvenser”).

För det andra: Artikeln slår verkligen på stora trumman och menar att det är en betydelsefull skillnad mellan konkurrensutsatta och icke-konkurrensutsatta kommuner i vilka resultat som nås. Men som vanligt när det gäller media så är det svårt att bedöma hur stora effekter som dessa är när ingen referenspunkt lämnas i artikeln. Av artikelns diagram framgår att skillnaden är cirka 5 meritvärdespoäng (209,..– 203,..), hur mycket är det på aggregerad nivå? Låt mig lämna en referens: Skillnaden mellan pojkars och flickors genomsnittliga meritvärden i år 9 på riksnivå uppgick läsåret 2010/11 till 22,5 meritvärdespoäng (222,1-199,6). Skillnaderna tycks alltså i sammanhanget mycket små.

För det tredje: Vilka motiv har egentligen Dagens Samhälle med sig redan när de går in i undersökningen? Låt mig som trogen läsare av Dagens Samhälle vittna om att en av de avreglerade marknadernas främste försvarare i Sverige återfinns i Dagens Samhälles chefredaktör Mats Edman, vilket borde säga något om tidningens inställning i frågan. Se även Edmans alldeles färska utspel på DN Debatt från den 15/10 2012.

——–

Noter

* Dagens Samhälle ägs av Sveriges Kommuner och Landsting (SKL) och har som syfte att utgöra en viktig nyhetstidning för ”beslutsfattarna på den offentliga marknaden”, såväl de i offentlig- som privatägda verksamheter.

Taggad , , , , , , ,

Om konsten att välja bland resultat – Skolledarförbundet i särskådning

I början av oktober i år släpptes ytterligare en IFAU-rapport, denna gång om Rektorers betydelse för skola, elever och lärare. Ett problem med att mäta effekter av olika skickliga rektorer är att det är svårt att finna en relevant kontrollgrupp som det går att jämföra mot. Det är möjligt att man skulle kunna finna en indikator som mäter rektorers skicklighet och sedan jämföra grupper som har höga och låga sådana värden, men problemet är att det alltför ofta blir för trubbiga mått (som jag exempelvis skrev om gällande Kristianstadspolitikern Jonas Fasths studie av skolstrukturella faktorer). Det är också rakt omöjligt att bedöma ett faktiskt utfall mot ett kontrafaktiskt, det vill säga att försöka skatta hur det hade blivit om vi inte hade haft den rektor vi hade och så vidare.

Ur detta perspektiv är ovan nämnda IFAU-studie snillrik genom att författarna till den använder en grupp som de kallar för ”bytesrektorer”, det vill säga rektorer som de kan följa från en skola till en annan när de byter arbetsplats, för att på så sätt få fram mått på de avtryck som rektorerna lämnar på respektive skola. Några av de centrala resultaten sammanfattas i denna tabell (hämtad från sida 11 i rapporten):

Vad motsvarar dessa effekter? Rapportförfattarna använder ett tankeexperiment där de illustrerar skillnaderna av att ha en rektor i den 30:e percentilen respektive den 70:e avseende positiv inverkan på respektive område där effekterna skulle motsvara en förbättring (om byte av rektor från 30:e till 70:e) om motsvarande 3,1 meritvärdespoäng i grundskolan, 3,5 procent bättre resultat på de nationella proven och 2,5 procent större andel elever som klarar de grundläggande kursmålen (s.12f).

En central del i rapporten är dock när dessa resultat sätts i relation till andra resultat i undersökningen. Exempelvis visar undersökningen att rektors påverkan är störst på små skolor, där de kan påverka studieresultat och provresultat mest. Störst påverkan har de också på fristående skolor. Dessa resultat slår också igenom på betygsinflationsmåttet som används i studien och det är tydligt att vissa rektorer ser till att driva igenom en mer generös betygsättning än andra. Dessa resultat ligger helt i linje med sådana resultat jag redogjort för i tidigare blogginlägg om betygsinflation här och här, och de ger också ytterligare stöd för de resultat som framkom av Lärarnas Riksförbunds undersökning Betygsättning under påverkan(2011).

Sammantaget tycks alltså studien visa på anledningar att ge både ris och ros till rektorer, något som är väl värt att ta fasta på. Något jag personligen tyckte var roligt att ägna mig åt när studien publicerades var att följa upp vilka delar av rapporten som Sveriges skolledarförbund valde att fokusera på. Gissa vilka och kolla facit här!

Taggad , , , , , , , , , , ,

Förändrad kunskap om skolors betygsättning – samma tilltro till vetenskapen

I ett tidigare blogginlägg redogjorde jag någorlunda för nuvarande kunskapsläge om betygsinflationen i svensk grund- och gymnasieskola. Det som har varit ett centralt resultat i den forskning som hittills bedrivits är att det inte förhåller sig så som de flesta tror, tycker och tänker – nämligen att det är de fristående skolorna som driver på inflationen. Forskningen har i stället visat att störst försklaringsvärde för de höga betygen har graden av konkurrens som skolorna är utsatta för. Resultaten från ett flertal studier har indikerat att såväl fristående som kommunala skolor sätter högre betyg om de agerar på en konkurrensutsatt marknad snarare än en icke-konkurrensutsatt marknad (se referenser i det tidigare inlägget).

En av dessa forskare är Jonas Vlachos som i din studie Betygens värde (för Konkurrensverkets räkning) kunde visa att friskolor som grupp inte sätter nämnvärt högre betyg än kommunala1 men att skolor på konkurrensutsatta marknader sätter högre betyg än de på icke-konkurrensutsatta.

Nu har samme Vlachos (tillsammans med Björn Tyrefors Hinnerich) gjort en ny studie med data från Skolinspektionens kontrollrättningar av de nationella proven. I denna studie framkommer nya resultat som tidigare studier inte funnit, nämligen att friskolorna som grupp rättar de nationella proven generösare än kommunala skolor. Därigenom motsäger det i viss utsträckning resultaten från tidigare undersökningar där man undersökt skillnader mellan NP-resultat och betyg och inte funnit att friskolor uppvisar några systematiskt större avvikelser än kommunala skolor. Vlachos nya studie visar dock att dessa analyser haft felaktiga förutsättningar då dessa utgått från att rättningen av NP är likvärdig.

Utöver bidraget till våra kunskaper om svensk betygsättningspraktik och incitamentstrukturen för densamma på svensk konkurrensutsatt skolmarknad, så är Vlachos studie ett ypperligt exempel på vetenskapen när den fungerar som bäst: Den visar att den kunskap vetenskapen ger oss tillsvidare – och så gott som alltid – är preliminär och att det i många fall kan räcka med en ny studie med annan data eller annan metod för att vi ska behöva omvärdera och ompröva de kunskaper vi ditintills försanthållit.

Det är sådant som ödmjukar oss på rätt sätt.

———-

1. Den uppmätta skillnaden i studien är 0,1 standardavvikelser vilket motsvarar cirka 6 meritvärdespoäng av maximala 320 (skillnaden mellan betyget VG och MVG i ett ämne motsvarar 10p). Som jämförelse kan nämnas att skillnaden mellan pojkar och flickor är 20p.

Taggad , , , , , , , , ,

Hur är det ställt med betygsinflationen egentligen?

Trots att den mest intensiva politiska och mediala debatten om betygsinflation i det svenska betygsystemet har lagt sig så återkommer frågan då och då, nu senast i ett Kristdemokratiskt utspel på SvD Brännpunkt.

Att det förekommer eller har förekommit betygsinflation i betygsystemet tycks de flesta vara överens om, dock är den verkliga bilden av inflationen mycket mer nyanserad och mångfacetterad än vad de flesta politikerna eller debattörerna antingen har kännedom om eller låter påskina.

För det första så finns det i huvudsak två sätt som betygsinflationen kan förekomma. Det mest uppenbara sättet, och som de flesta tänker sig den, är att betygsmedelvärdena skenar iväg, pådrivna av de högsta betygen, utan att elevernas kunskaper förbättras i motsvarande grad. Många av de tidiga studier som undersökte eventuell betygsinflation fokuserade på detta perspektiv. Exempelvis kunde Christina Wikström tidigt belägga betygsinflationen i gymnasieskolan genom att relatera meritvärdena till resultat på de nationella proven. Härigenom kunde hon bland annat belägga att skolor som återfanns på konkurrensutsatta skolmarknader satte högre betyg än de som återfanns på icke-konkurrensutsatta samt att resultaten antydde att det förekommit inflation i gymnasiebetygen under den undersökta perioden (1997-2003).1

Med en snarlik utgångspunkt relaterade Christina Cliffordsson i en tidig studie de ökade meritmedelvärdena i gymnasieskolan till samma studenters kommande prestationer i högskolan och fann att meritvärdesökningarna i gymnasieskolan inte motsvarades av förbättrade resultat i högskolan.

Kanske mest framträdande syntes detta perspektiv i Magnus Henrekssons och Jonas Vlachos utspel på DN Debatt från 2009 då de med statistik från Skolverket visade att andelen elever som gick ut gymnasieskolan med högsta betyg (20,0) hade ökat 28 gånger från 1997 till 2007:


Egen sammanställning av data från Skolverket, efter Vlachos och Henreksson.

Det är viktigt att poängtera att en sådan här framställning av en ökning av betygsmedelvärdena i egentlig mening inte bevisar något om de inte kan relateras till ett faktum att elevernas faktiska kunskaper inte har ökat i motsvarande grad. Detta är särskilt viktigt att poängtera gällande gymnasieskolan, i och med att betygsökningen i gymnasieskolan faktiskt avstannat och numer – alltjämt sedan ca år 2003 – ligger förhållandevis stablit kring 14.0 (se diagram nedan)2. Det är dock viktigt att påpeka att ökningen av grundskolans meritvärden fortsätter:

Detta leder in till det andra sätt varpå betygsinflation kan förekomma och det är genom att betygsmedelvärdena ligger kvar på – vanligtvis – motsvarande nivå men att de faktiska kunskaperna sjunker. Ett tydligt exempel på detta är matematiken i gymnasieskolan. Följande graf beskriver hur betygen legat förhållandevis stabila över tid (i jämförelse med betygen i estetisk verksamhet A):

Dock har de faktiska kunskapsnivåerna i matematik i gymnasieskolan försämrats, vilket Thunberg m.fl. vid KTH kan visa genom att studera de diagnostiska prov som genomförs efter antagningen till högskolans ingenjörsutbildningar.

För den som är intresserad av att fördjupa sig i dessa frågor rekommenderas en förhållandevis nypublicerad PM från Skolverket i ämnet.

Som avslutning på detta inlägg ska en vanlig föreställning om betygsinflationen vederläggas och det är att det i huvudsak är de fristående skolorna som står för betygsinflationen. För de studier som var tidigt ute på området så var det möjligt att belägga den tesen (se exempelvis Wikström). Detta har dock förändrats därefter, främst genom att de fristående skolornas elevsammansättning i högre grad efterliknar de kommunala skolornas och att det har fått effekten att betygsättningen numer, på aggregerad nivå, är snarlik de kommunala skolornas:

Det är dock så att vissa skolor, både fristående och kommunala, sätter signifikant högre betyg än andra, men det som har det största förklaringsvärdet på detta är att dessa skolor befinner sig på konkurrensutsatta skolmarknader. Se exempelvis Jonas Vlachos studie för Konkurrensverket samt Lärarnas Riksförbunds undersökning av påverkansförsök på betygsättande lärare (se även denna undersökning för vidare referenser).

Noter

1. Det är dock vanskligt att utgå från att resultaten från de nationella proven skulle vara jämförbara över tid, något de inte har konstruerats för att vara. Den första studien (avhandlingen är en sammanläggningsavhandling) använder dock endast data för ett år, 1997, varför problemet då inte är lika påtagligt som i den andra studien.

2. Hade Wikströms studie, som refererades ovan, genomförts några år senare så hade denna stagnering slagit igenom i resultaten

Taggad , , , , , ,