Skolsegregation – en kommande studie och tre intressanta grafer

Frågan om skolsegregationens utveckling har varit en tvistefråga under en längre tid, bland annat för att det inte funnits studier som har kunnat ge definitiva empiriska besked om hur utvecklingen sett ut över tid (se tidigare inlägg här och här). Ett tvisteområde har gällt i vilken mån en eventuellt ökande skolsegregation beror på ökad boendesegregation eller om det också beror på det fria skolvalet. Nu har det kommit ett antal studier som ger vissa tydliga svar.

Grafen nedan är hämtad ur IFAU:s senaste tegelsten, ”Decentralisering, skolval och fristående skolor: resultat och likvärdighet i svensk skola” (s.96), och bygger på en analys av hur några olika faktorer bidrar till att förklara resultatvariationen (åk 9) i skolsystemet:

Som grafen visar följer segregeringseffekterna av bostadsområde och skola varandra fram till mitten av 1990-talet. Därefter ökar skolsegregationen mer än boendesegregationen, en effekt som sammanfaller i tid med att en allt större andel av eleverna väljer fristående skolor.

Detta är frågor som jag själv har intresserat mig för en del och jag har också genomfört en studie av effekter av förändrad elevsammansättning på skolor över tid. Förhoppningsvis kan den komma att publiceras snart.

Några analyser som jag aldrig tog med i den kommande artikeln handlar om vilka korrelationer som finns mellan hög mellanskolvariation inom kommuner och några strukturella faktorer. En del studier av skolsegregationen (tex Anders Trumbergs avhandling) har nämligen visat att det tycks vara en viss typ av elever som väljer bort skolor med en viss typ av elevsammansättning. Vanligen tycks det handla om så kallad White-flight, där elever ur majoritetsbefolkningen lämnar skolor där andelen elever ur synliga minoriteter ökar (se Östh mfl[1]). En hypotes är därför att denna effekt också borde synas på kommunnivå, där kommuner med en högre andel elever med utländsk bakgrund har en större sortering – och därigenom en högre mellanskolvariation i resultat – än kommuner med lägre andel elever med utländsk bakgrund.

I graferna nedan syns sambandet mellan intern spridning mellan skolor inom kommunerna (standardavvikelsen) och (i) andelen nyinvandrade elever samt (ii) föräldrarnas utbildningsnivå. Allt data är från Skolverket. Endast kommuner med minst 10 grundskolor ingår:

Som diagrammen visar finns ett positivt samband mellan andelen nyinvandrade elever och resultatspridning mellan skolorna (dvs att ju högre andel nyinvandrade elever desto större resultatspridning mellan skolorna i kommunen) samt ett (svagare) negativt samband mellan föräldrarnas utbildningsnivå och spridningen (dvs att ju högre utbildningsnivå i snitt, desto lägre resultatspridning).

—

[1] Östh, John et al. (2012): “Travel-to-schooldistances in Sweden 2000-2006: Changing school geography with equality implications” i Journal of Transport Geography, (23) (SI), s.35-43.

Hur mycket bättre är de fristående skolorna?

För någon vecka sedan skrev Mats Edman, chefredaktör på SKL-tidningen Dagens Samhälle, en krönika i vilken han drog slutsatsen att fristående skolor är mycket bättre än de kommunala skolorna. Hans slutsats baserades delvis på den då nysläppta årsrapporten från Skolinspektionen som uppvisade vissa skillnader i vilken kritik olika huvudmän fått i tillsynen. Ett ännu större nummer gjorde han dock på att betygsstatistiken från Skolverket visar att de fristående skolorna levererar mycket högre betygsgenomsnitt än vad de kommunala gör. Bland annat visar han att de fristående skolornas elever i snitt har 18 poäng högre meritvärde än de som gått kommunala skolor. Han visar också att de kommunala skolorna är starkt överrepresenterade bland de skolor som presterar sämst och de fristående skolorna bland de som presterar bäst.

Kritiken har dock inte låtit vänta på sig. Tidigt ute var bland annat Per-Arne Andersson, avdelningschef på – just det – SKL. Han påpekar i sin debattartikel att det är en alldeles för banal analys som ligger till grund för Edmans slutsatser i och med att han inte kontrollerar dessa skillnader mot skolornas elevsammansättning. Detta är en angelägen synpunkt från Andersson och flertalet av de som kommenterat Edmans krönika på nätet gör just också denna anmärkning. Anmärkningsvärt nog är det ingen som reder ut hur det faktiskt ligger till.

Jag tänkte att jag skulle bistå på den punkten.

Det finns en uppsättning strategier man kan använda för att kontrollera resultatskillnaderna mot elevsammansättning, jag tänkte använda mig av regressionsanalys. För att göra detta har jag skapat ett dataset med betygsdata och data över elevsammansättning på skolnivå. All data är från Skolverkets totalfiler i SIRIS och den intresserade kan ladda ned datasetet här. Av totalt 1661 grundskolor med årskurs 9 i landet finns data för 1490 skolor (bortfallet beror på att vissa populationer är för små för att redovisa). Av dessa är 1154 kommunala skolor och 336 fristående.

Syftet med detta inlägg är primärt att visa hur stor del av denna ”friskoleeffekt” som kan förklaras av de fristående skolornas elevsammansättning. För att åstadkomma en analys med pedagogiska och förhållandevis lättbegripliga resultat har jag därför gjort en regressionsanalys som först bara mäter den ”rena” friskoleeffekten. Detta görs genom att använda en dikotom variabel för huvudman (dvs en variabel som bara kan anta värdet 1 eller 0 (1 = fristående)).

Den okontrollerade medelvärdesskillnaden mellan kommunala och fristående skolor var drygt 18 poäng och det är den skillnaden som framgår av modell 1 nedan (B-koefficienten). I min analys är denna skillnad några tiondelar högre pga av bortfall på några skolor då dessa saknat data för vissa ingående variabler (n=1329).

I modell 2 tillförs sedan ett antal bakgrundsvariabler. Det finns ett problem som ska nämnas redan nu, och det är att många av de oberoende variablerna korrelerar perfekt med varandra i och med att andel elever med svensk bakgrund, utländsk bakgrund och utlandsfödda summerar till 100 % av eleverna per skola. Detsamma gäller för föräldrarnas utbildningsnivå. Detta kan bland annat lösas genom att använda stegvisa regressioner och att någon variabel tas bort i analysen (vilket jag gjort för att kontrollera resultaten).

Vad ser vi då i analysen? Störst effekt på betygsresultaten har andel elever vars föräldrar har eftergymnasial utbildning (standardiserad koefficient 1,128) och andel elever vars föräldrar har högst gymnasial utbildning (0,504). Dessa siffror kan tyckas svåra att förstå men de anger en standardiserad effekt som möjliggör jämförelser mellan olika variabler, men det är egentligen inte den intressanta frågan för detta inlägg – här är vi endast intresserade av att ta reda på hur ”friskoleffekten” förändras under kontroll för skolornas olika elevsammansättning.

Detta tar vi reda på genom att dividera den nya effektstorleken för huvudman (från modell 2) med den ursprungliga (från modell 1), därigenom kan vi se hur stor andel av den ursprungliga effekten som ”kontrollerats bort” av variablerna för elevsammansättning. I detta fall har alltså knappa 80 % av den ursprungliga effekten  kontrollerats bort (0,069/0,323 = 21,4%).

Som vi ser i B-koefficienten för huvudman i modell 2 återstår en oförklarad skillnad om ungefär 4 meritvärdespoäng, vilket mycket väl skulle kunna vara ett resultat av att fristående skolor är ”bättre” på det sätt Edman tänker sig. Samtidigt ska vi vara ödmjuka inför det faktum att det fortsatt finns en hel drös aspekter vi inte kontrollerat för även i dessa analyser, tex vilka lärare som arbetar på vilka skolor.

—

Notera att dessa analyser är gjorda med data på skolnivå, vilket innebär en skillnad mot att ha data på individnivå vilket många andra studier har. Total R2 i modell 2 är 57,2 % Läs mer om friskoleeffekter här, här och här.

Obligatorisk gymnasieskola, ett alexanderhugg?

De som har följt den skolpolitiska debatten vet att socialdemokraterna för en tid sedan lanserade ett förslag om att göra gymnasieskolan obligatorisk. Ett förslag som nu ser ut att bli aktuellt sedan man tagit över regeringsmakten tillsammans med Miljöpartiet. Förslaget är ännu väldigt löst i konturerna, så det är svårt att veta vad det mer specifikt skulle innebära men jag vill ändå i det här inlägget skissera några tankar kring förslaget.

Den som har följt debatten vet att förslaget har fått vissa mothugg, både från andra politiska partier men även från vissa lärare. Utan att vara alltför politisk (jag är ju faktiskt tjänsteman) vill jag dock också skissera några problem som finns med förslaget. Eller snarare så här: Jag vill skissera en bild av vilka problem som inte kommer lösas via en obligatorisk gymnasieskola.

Grundproblemet återges i den infografik jag satt samman nedan. I denna följer jag kohorten född 1992[1], från det att de föds, till årskurs ett, genom grundskolan samt in och ut ur gymnasieskolan. Det grafiken illustrerar är att om vi menar allvar med att vi vill att alla elever ska fullfölja en gymnasieutbildning finns det första stora problemet att lösa redan i grundskolan. Att lite drygt var tionde elev inte klarar grundskolan är ett stort problem, i synnerhet som denna skolform redan är obligatorisk (att belägga en skolform med plikt tycks således inte garantera framgång). Eleverna är av lag tvungna att infinna sig där, men det allmänna lyckas för dessa elever inte fullfölja sitt åtagande att få eleverna godkända. Nästa problem ligger också i hur man klarar grundskolan. Elever med de lägsta meritvärdena löper cirka 7 gånger högre risk för avbrott än de med näst högst meritvärden från grundskolan.

Nästa problem är att endast en tredjedel tar sig vidare från de individuella programmen till ett nationellt gymnasieprogram. Många elever hoppar av gymnasiet efter ett eller två år på dessa program. Dessa elever får senare mycket stora problem att etablera sig på arbetsmarknaden.

Väl i gymnasieskolan finns nästa problem, som nämndes ovan. Knappt sju av tio elever fullföljer gymnasiet inom tre år och de andelar som lyckas fullfölja inom fyra och fem år är mycket små i jämförelse med den tredjedel av eleverna som aldrig fullföljer. Vi vet från tidigare studier att de som hoppade av har gjort det av flera skäl, men ett återkommande skäl är att de inte fått tillräckligt med stöd för att klara utbildningen.

I socialdemokraternas förslag ligger också att alla program ska leda till allmän högskolebehörighet. Det tidigare forskning har visat är att införandet av en godkäntgräns parat med den generella förlängningen av yrkesprogrammen från två- till treåriga slog hårt mot elever från i synnerhet arbetarhem och i synnerhet pojkar med låga meritvärden från grundskolan då deras avbrott ökade kraftigt. Utmaningen – om man menar allvar med att man också vill att alla elever ska klara sina utbildningar – ligger i hur man ska lyckas förmå dessa elever att fullfölja utbildningen med godkända resultat. Det räcker inte att bara göra gymnasieskolan obligatorisk, för 99 % av varje kohort börjar faktiskt gymnasieskolan redan, utan det krävs rejäla insatser ifråga om stöd och annat för att det ska gå vägen.

Inget politiskt parti har hittills beskrivit vilka åtgärder detta skulle vara och vilka resurser som skulle behövas för att åtgärderna ska lyckas. Desto mindre finns sådana förslag för grundskolan varför den enda pliktbelagda skolformen i Sverige fortsatt inte förmår tillförse att alla dess elever lämnar den med godkända betyg. Finns reformpengar att tillgå för den nya regeringen tycker därför jag personligen att grundskolan vore rätt ände att börja i.

—

Datakällor:

Skolverkets statistik, Grundskolan, ”Skolor och elever läsåret 1999/00”, Tabell 3.4

Skolverkets statistik, Gymnasieskolan, ”Betyg och studieresultat 2012/13”, Tabell 8 A-C

—

Noter:

[1] Notera att det finns vissa brister i denna sammanställning. Jag har tex inte haft tillgång till individdata för hela kohorten, vilket radikalt hade förbättrat precisionen i beräkningarna. Denna sammanställning bygger istället på Skolverkets officiella statistik vilket tex leder till problemet att det tillkommer andra nybörjarargymnasister hösten 2008 som inte är födda 1992. Dessa utgör något tusental elever. Felmarginalen i dessa beräkningar är därför någon procentenhet upp eller ner, men grafiken återger ändå en rättvis bild av den grundproblematik blogginlägget vill visa.

Att forma sin uppfattning om formativ bedömning (och om formidabla missförstånd)

Det finns nog inte en lärare i detta land som inte har hört talas om den Nya Zeeland-födde professorn John Hattie och hans bok Visible Learning som gavs ut första gången i slutet av 2008. Även om inte alla har läst boken själv så har alla någon gång mött påståenden om att ”Hattie visar att” eller ”enligt Hattie så borde vi”. Min erfarenhet (rätta mig om jag har fel) är dock att många av de som slänger sig med dessa uttryck inte heller själva har läst boken. Just detta fenomen – hur olika saker börja leva sitt eget liv – har jag skrivit om i ett tidigare inlägg här, då om det eventuella orsakssambandet mellan hög likvärdighet och höga resultat.

Detta inlägg ska handla om samma fenomen – hur olika forskningsresultat börjar leva sina egna liv – men denna gång om den kanske största nutida modeflugan i svenska skolsammanhang: Formativ bedömning.

En av de undervisningsmetoder som i Hatties meta-metaanalys visar sig vara allra mest effektiv för elevernas lärande är just att arbeta med formativ bedömning (d=0,90).¹ Detta har slagit ned som en bomb i skolsverige, både i den faktiska verksamheten men också i skolpolitiken bland annat för att det har erbjudit ett nytt utrymme för de som är kritiska mot prov, betyg och ”summativa mätningar” av elevernas kunskaper. Med stöd i Hattie har man lyft fram betydelsen av att lärare i en kontinuerligt pågående kommunikativ process för framåtsyftande samtal med varje elev om var de befinner sig och hur eleven ska ta sig vidare till nästa nivå i sitt lärande. Det finns otaliga exempel på hur man kan göra detta, en snabb sökning på Google ger över 100 000 träffar. Skolverket har sidor som handlar om formativ bedömning och många skolor som vill ligga i framkant vill visa redan på sina hemsidor hur mycket de arbetar med formativ bedömning, ett random exempel:

På X arbetar vi med formativ bedömning. Det innebär att våra elever kontinuerligt får feedback från sina lärare så att de hela tiden vet var de ligger kunskapsmässigt och vad de behöver utveckla för att nå sina mål.

Problemet i allt detta är att det, i den mån det bygger på Hatties resultat, bygger på en mycket slarvig läsning av Hattie. Jag tror faktiskt att jag behöver kursivera detta för att göra det tydligare: Det bygger på en mycket slarvig läsning av Hattie. Den uttolkning av vad ”formativ bedömning” skulle innebära som jag möter till daglig dags i saker jag läser och folk jag möter, är att den drivande kausala mekanismen, som leder till högre kunskapsresultat hos eleverna, är just återkopplingen från lärare till elev. En återkopppling som på något sätt ska få eleven att få upp ögonen för vad denne behöver göra för att utveckla sina kunskaper ytterligare. Denna uttolkning är felaktig. Den drivande kausala mekanismen är istället enligt Hattie (1) att läraren får syn på och kan leda i bevis på vilka kunskapsområden eleven har brister² och (2) att läraren anpassar, förändrar och tillrättalägger undervisningen på ett effektivt sätt för att bemöta detta.

Återkopplingen då? Jo då, Hattie tittar på den, men han tittar på den separat (d=0,73), men även här har vi i Sverige gjort tolkningar av resultaten som ska passa in de redan färdiga modeller vi har för hur vi tänker kring undervisning, lärande och elever. Att eleven får återkoppling av den typ som beskrevs ovan har betydelse och kan vara bra (genomsnitt för denna typ är d=0,38 enligt en av de större meta-analyserna). Riktigt bra om det vill sig väl, men det är ändå inte den mest betydelsefulla typen av återkoppling. Den viktigaste typen av återkoppling är istället den återkoppling läraren får från eleven – hör och häpna! Hattie beskriver det själv på följande sätt:

Jag har tillbringat många timmar i klassrum, arbetat med elever för att öka deras självhjälp och prövat olika metoder för att ge återkoppling. Det jag gjorde fel var att se återkoppling som något lärare gav till elever. […] Det var inte förrän jag upptäckte att återkoppling hade störst effekt när den kom från eleven till läraren som jag började förstå begreppet bättre. (s.236, svenska översättningen)

Läs också ett tidigare inlägg här på bloggen om distinktionen mellan formativ och summativ bedömning.

—

Noter

1) Det effektmått Hattie använder är Cohen’s D (”D” – grekiska Delta = förändring) som beräknas genom standardiserade medelvärdesdifferenser dividerat med standardavvikelsen. d=0,00 är ingen effekt, d=1,00 innebär en förbättring om en standardavvikelse. Hattie drar gränsen för effekter vi bör intressera oss för vid d=0,40.

2) Ja precis, i den svenska översättningen av Hattie används ordet ”brister” vilket inte har varit helt korrekt att göra i Sverige.

Leder hög likvärdighet till höga resultat?

Allmänhetens medvetenhet om PISA-undersökningarna har vi det här laget nog blivit väldigt god, i och med att i princip alla debattartiklar om skolan, politiker mfl refererar till resultat från desamma. I takt med att resultaten från undersökningarna blivit allmängods så har många resultat också börjat leva sina egna liv. Det är lite som i viskleken – man har läst och hört andra tala om resultaten så mycket att man tycker att man själv kan återge dem utan att behöva kolla upp dem noggrannare, vilket såklart leder fram till vissa vantolkningar.

Ett sådant exempel gäller sambandet mellan höga kunskapsresultat och likvärdighet. Det har nämligen visat sig i PISA-undersökningarna att många av de mest framgångsrika skolsystemen lyckas kombinera höga kunskapsresultat och hög likvärdighet. Detta har OECD-forskarna lyft fram i sina rapporter, framförallt för att påpeka att resultaten visar att det inte behöver finnas något motsatsförhållande mellan höga resultat och hög likvärdighet; det finns skolsystem som när de satsar på att lyfta kunskapsnivån hos elever med ogynnsamma förutsättningar lyckas göra det utan att hämma de med mycket gynnsamma förutsättningar (se tex Education Today (2013), kap 7).

I den svenska debatten har dessa resultat börjat leva ett eget liv då vissa, med hänvisning till ”PISA”, vill mena att hög likvärdighet leder till höga kunskapsresultat, det vill säga att det skulle finnas ett kausalt samband mellan likvärdighet och goda resultat.

I vissa fall kan det såklart vara sant. Ett skolsystem som har en viss andel högpresterande, men som inte är likvärdigt, skulle såklart höja sina resultat (medelvärdet) om de lyckas ”lyfta botten” utan att hämma toppen. Men samtidigt, ett system som i sina försök att bli mer likvärdigt skulle hämma den högpresterande andelen, utan att lyckas höja den svagpresterande, skulle få ett mediokert snittresultat men högre likvärdighet.

Varför är detta viktigt? Jo, i Sverige vill ju samtliga debattörer höja både likvärdigheten och kunskapsresultaten. Då är det synnerligen viktigt att vi studerar vad det är som gör att vissa länder lyckas med just både och.

Diagrammet nedan baseras på OECD-data som visar ”ursprungssambandet” mellan PISA-resultat i läsförståelse och ett av de likvärdighetsmått OECD använder i sina studier. Som diagrammet visar finns ett visst positivt samband mellan variablerna, men diagrammet visar också att spännvidden är stor. Längs OECD-snittet om 500 poäng finns till exempel 16 länder samlade men med helt olika nivåer av likvärdighet:

Måttet för likvärdighet mäter hur stor andel av variationen i elevresultaten som kan förklaras av PISA-undersökningarnas socioekonomiska index. Skalan uttrycks i procent. Sverige ligger i princip i mitten av diagrammet.

Vad påverkar valet av gymnasieprogram?

Den som följer den skolpolitiska debatten vet att en av de största frågorna i samband med GY2011-reformen handlade om att förändringen av yrkesprogrammen skulle innebära att dessa per automatik inte längre gav allmän högskolebehörighet. Denna ordning hade rått i gymnasieskolan sedan programgymnasiereformen 1991, då de program som ersatte de tidigare linjerna gjordes treåriga och gav behörighet.

Den förändring som gjordes genom programgymnasiereformen kan ses som en ambitionshöjning för gymnasieskolan, med målet att ytterligare höja utbildningsnivån efter genomgången gymnasieskola. Ett problem som har visat sig över tid har dock varit att denna ambitionshöjning inte följdes av ökade insatser för att få alla elever att nå de nya ”högre” satta målen. Förlängningen av programmen, vilket innebar mer teoretiska studier för yrkesprogrammen jämfört med de tidigare linjerna, var inte den ensamma boven. Även införandet av en gräns för godkänt gjorde sitt. Dessa två förändringar tillsammans – mer allmänna ämnen och en godkäntgräns – visade sig slå hårt mot i synnerhet elever på yrkesprogram från arbetarhem och med låga meritvärden från grundskolan (se en intressanta IFAU-studier här och här).

Det tycks inte osannolikt att den här frågan skulle kunna bli aktuell igen i årets valrörelse, i synnerhet som det var den hetaste frågan för oppositionen inför GY2011-reformen. Oppositionen har också tagit det minskade söktrycket till yrkesprogrammen som ett uttryck för att eleverna inte är intresserade av yrkesprogram som inte ger allmän behörighet.

Det här har varit en fråga som ingen riktigt har kunnat besvara. Oppositionen har menat att det är ett solklart samband mellan reformen och det minskade söktrycket, regeringen att det beror på annat. Så hur är det då?

Frågan är kanske inte helt och hållet avgjord – detta kan mätas på flera olika sätt – men med stor sannolikhet har en undersökning från Lärarnas Riksförbund visat att verkligheten återigen visar sig vara lite mer grå i nyansen och inte så svart och vit som den framstår i partipolitiken. I en undersökning bland ett slumpmässigt, riksrepresentativt urval om 1000 elever som alla började gymnasieskolan år 2011 ställs frågan till de elever som övervägde att välja ett yrkesprogram men inte gjorde det varför de valde bort detsamma. Det visar sig att 6 % av den totala elevkullen övervägde ett yrkesprogram men valde ett högskoleförberedande på grund av behörigheten:

Undersökningen visar också andra intressanta saker, till exempel att hälften av eleverna som gick yrkesprogram också aktivt valde kurser för allmän behörighet samt att denna modell i sin helhet (att yrkesprogrammen kan leda till behörighet om sådana val görs av eleven) är den som har starkast stöd bland eleverna själva (56 % mot 29 % för att samtliga program skall ge det per automatik).

Alldeles oavsett hur denna debatt fortskrider och vilka förslag som läggs, så kvarstår den viktigaste frågan att lösa: Hur ska de många avhoppen förhindras? Den största otjänsten vi kan göra våra ungdomar är att inte få dem att fullfölja sina gymnasieprogram med godkända resultat.

Detta lyckades vi vare sig med innan GY2011-reformen och inte heller efter och det förblir alltjämt den överskuggande frågan.

Valtider, opinionsmätningstider och felmätningstider

Vi går ett supervalår tillmötes. Det börjar synas redan. Efter en tids skolpolitisk triangulering har partierna nu åter börjat försöka särskilja sig från varandra. Den som stannar upp och tänker efter märker dock att det ofta rör sig om förslag på marginalen. Många av de stora dragen i svensk skolpolitik de senaste åren har skett i stort samförstånd mellan blocken, se en mycket god översikt här.

Att vinna politiska val handlar dock mycket om att visa vad man själv skulle kunna göra om man satt vid makten samt att visa vad andra gör eller tänker fel. Spelplanen är satt för alla de som intresserar sig för att mäta hur opinionen reagerar på detta – vilka har stöd i opinionen och vilka har det inte?

Detta aktualiserar frågan om enkäter och opinionsmätningar, hur de ska utformas och vad de ska mäta. De som sysslar med enkätmetodik vet att mycket har hänt på detta område. En generell utmaning som vuxit fram – för alla i fältet – är att folks allmänna svarsbenägenhet tycks falla. Det blir allt svårare att nå höga svarsfrekvenser i undersökningar, inte bara för vilken random intresseorganisation som helst utan även för SCB.

Ett sätt att försöka möta trenden är att göra det lättare och mer attraktivt att svara på en enkät. Ett sätt att lyckas med detta är att använda webenkäter, vilket många gör. Att detta blivit lättillgängligt spär dock på problemet från ett annat håll, genom att sannolikt bidra till ökad enkättrötthet. Det är numer enkelt och billigt att skicka ut enkäter vilket innebär att fler gör det. Detta skapar en enkättrötthet bland de som ska svara. Sannolikt påverkar det svarsfrekvenserna, både det direkta bortfallet – att folk inte börjar svara – men också det interna bortfallet att de som väl börjar ibland inte orkar fortsätta om de märker att enkäten tex är tråkig.

Varför är bortfall och låga svarsfrekvenser ett problem? Det grundläggande problemet härstammar från viljan att kunna generalisera resultatet till en hel population. Om vi undersöker hur folk tänker rösta, för att kunna skriva om det i tidningen, vill vi ju också att prognosen stämmer hyfsat väl, annars är det ointressant.

Det starkaste verktyget för att uppnå detta är därför att dra ett obundet slumpmässigt urval ur en större, representativ population. Genom att jämföra bruttourvalets representativitet mot totalpopulationen kan vi när undersökningen är färdig jämföra vårt nettourval av svarande mot ursprungspopulationen och se om bortfallet varit lika tvärsöver eller om någon grupp haft ett särskilt stort bortfall.

Om allt ser bra ut kan sedan ett konfidensintervall beräknas, dvs vilka felmarginaler vi kan tänkas ha för svaren (45 % tänker rösta si eller så +/- 3,5 %).

Det krävs ganska rejäla resurser för att kunna göra detta, och alla vill inte satsa det. Det vi därför ofta ser nu (särskilt i valtider) är att olika aktörer gör webenkäter där de skjuter ut dom brett, till populationer de inte har en aning om hur de ser ut eller hur svarandegruppen sedan ser ut. Dessa typer av undersökningar bör man vara försiktig med att dra för stora växlar på.

Ett alldeles färskt exempel på detta missbruk av enkäter kom häromdagen från Skolporten, ett företag som bevakar skolfrågor. På sin webplats hade de under perioden 11/10 – 5/12 en fråga utlagd som löd ”Vilket riksdagsparti för bäst skolpolitik?”. Frågan skickades också ut via nyhetsbrev, via Twitter och på Facebook. Totalt samlades 585 svar in. Enligt egen utsago riktade sig enkäten till personal inom skola och förskola.

Enligt enkäten (diagram från Skolporten.se) anser de svarande att Vänsterpartiet för den bästa skolpolitiken. Detta lanserades i egna nyheter och snurrade runt en del på Twitter. Detta är anmärkningsvärt, i och med att enkäten de facto endast kan uttala sig om vilken preferens 585 i princip oidentifierade respondenter har. Vi vet inget om vilka yrken de har, hur gamla de är, om de har jobb, vilken utbildning de har, var i landet de bor eller ens vilket kön de har. Desto mindre vet vi hur dessa 585 personer förhåller sig som grupp till befolkningen i sin helhet eller de röstberättigade. Vi vet heller inget om de personer som sett enkäten men inte valt att besvara den. Vi vet heller inget om hur många totalt som sett länken och hur stor andel av dessa som också besvarat den.

”Enkäten” lämnar oss alltså egentligen med fler frågor än svar samt en viktig påminnelse om betydelsen av att vi förhåller oss kritiska till vissa typer av enkäter.

—

Uppdatering 2014-04-03

Som av en händelse så ramlade jag idag över en mätning som Svenska dagbladet publicerade igår. Mätningen är gjord 25-31 mars (notera skillnaden i hur länge insamlingen pågick mot Skolportens enkät – detta påverkar också resultaten, i synnerhet då deras också överlappar PISA-chocken) bland 1000 respondenter (notera att SvD inte heller skriver något om hur många som ingick i bruttourvalet och vilken svarsfrekvens dessa 1000 inneburit. SvD litar på att folk ska lita på Sifo). Frågan som ställdes var: ”Vilket parti har du störst förtroende för i skolfrågor?”

Föga förvånande skiljer sig resultaten i partisympatier rejält från Skolportens enkät:

—

Den som härbärgerar ett djupare intresse bör med fördel läsa detta inlägg av Henrik Ekengren Oscarsson vid Göteborgs universitet samt detta inlägg på Politologerna om en intressant jämförande studie av olika paneler och urval.

Om skolans huvudmannaskap – exemplet fortbildning

Få har såklart missat att Leif Lewins utredning om kommunaliseringen av skolan släpptes i måndags. Debatten tog fart direkt med debattartiklar, pressmeddelanden, bloggande och twittrande. På ena sidan – med SKL i tätposition – de som menar att det kommunala huvudmannaskapet ska kvarstå i sin nuvarande form, och å andra sidan de som menar att huvudmannaskapet måste förändras.

I det pressmeddelande SKL skickade ut efter Lewins rapportsläpp (vissa delar av SKL kunde som bekant inte hålla sig tills dess) påstås att det inte finns några belägg i Lewins utredning som talar för ett förstatligande av skolan. Detta har SKL även varit inne på redan innan Lewins utredning, bland annat då de hävdat att det inte finns några bevis för att ett förändrat huvudmannaskap skulle kunna vända utvecklingen i svensk skola.

Naturligtvis har SKL rätt på denna punkt.

Som förhållandevis torr och halvtrist utredare vill jag dock stillsamt fråga vilka bevis som finns för att ett fortsatt kommunalt huvudmannaskap skulle kunna vända densamma? Och vad i Lewins utredning talar för detta?

Även om Lewins utredning inte innehåller några ”bevis” för att ett förändrat huvudmannaskap skulle kunna vända den negativa utvecklingen i svensk skola, så är hela utredningen nedlusad av exempel som illustrerar det fundamentala systemfelet i styrningen av den svenska skolan idag.

Ett praktexempel på detta gäller hur kommunerna hanterat lärarnas fortbildning under deras kvartssekels långa huvudmannaskap för skolan. Lewin beskriver hur staten i sina decentraliseringssträvanden började retirera från lärarnas fortbildning redan under 1980-talet samt hur kommunerna därefter tog vid och fortsatte. Fortbildningen har gått från att i huvudsak vara något lärarna fatta beslut om gällande innehåll, inriktning och liknande samt med generösa ersättningssystem, till att under kommunerna bli kompetensutveckling (i sin bredaste bemärkelse) med fokus på skolutveckling (i sin bredaste bemärkelse) och med inriktning på lärarkollektivet på skolan (i sin bredaste bemärkelse) snarare än på individen. (se avsnitt 3.4.3 i utredningen)

Den egentligt första fortbildningssatsningen av tidigare snitt – där läraren utifrån självupplevda behov fått styra innehåll, längd och djup på fortbildningen – som nått lärarna sedan 1990-talet är Lärarlyftet 1 som regeringen initierade 2007. Detta var vida uppskattat av de ca 18 000 lärare som deltog.

Lärarlyftet är ett praktexempel på den nya typ av ordning som nu gäller på skolans område, där staten faktiskt återinträtt på arenan och tar ett ansvar. Men det är också ett praktexempel på det systemfel som fortfarande råder i svensk skola: Vi har ett dubbelkommando där de viktigaste aktörerna – staten och huvudmännen – inte drar åt samma håll.

För vad gör huvudmännen när staten går in med rejäla satsningar med riktade statsbidrag, för att styra upp en av kommunerna (och de fristående huvudmännen) eftersatt verksamhet på skolans område? Ja vissa går in för det med liv och lust, andra inte! (jag har skrivit om samma systemfel tidigare här, då gällande mediokra hockeylag)

Nedan har jag sammanställt en kartbild efter i vilken grad kommunerna nyttjade den tilldelade statsbidragsramen för Lärarlyftet år 2007-2009:

Det finns några riktigt anmärkningsvärda saker gällande denna stora variation. Till exempel att det inte finns något som helst samband mellan kommuners elevresultat och huruvida man utnyttjat bidragsramen. Varför tillhör till exempel kommuner som Jokkmokk, Karlskoga, Mönsterås, Ockelbo eller Sjöbo den fjärdedel kommuner som i lägst grad nyttjat sin bidragsram samtidigt som de tillhörde den fjärdedel kommuner med lägst andel grundskolelever med gymnasiebehöriget?

Lewin har ett avsnitt om detta i utredningen (s.95f):

Skolverket har i olika sammanhang kunnat konstatera att det är stor skillnad mellan nyttjandegraden av de specialdestinerade statliga bidragen mellan olika kommuner och olika fristående skolhuvudmän. Olikheterna beror inte på att endast de som har behov av insatsen ansöker om de statliga pengarna. I stället är det andra faktorer än behov som styr nyttjandet av de specialdestinerade statsbidragen. Kapaciteten att ta emot och medfinansiera de statliga satsningarna varierar till exempel mycket mellan kommunerna. Vissa kommuner bedömer att de inte har råd att skjuta till medel till medfinansieringen som ofta krävs. Andra saknar tillräckliga administrativa resurser för att kunna ansöka om bidragen. Vissa av de kommuner som ansöker om de statliga medlen omfördelar dessutom pengar från den ordinarie skolbudgeten till andra av kommunens verksamheter vilket får till följd att skolan trots de extrautvecklingsmedlen inte får det resurstillskott som staten avsett.

Ett återkommande mönster är att små kommunala huvudmän och enskilda huvudmän mer sällan tar del av de statliga specialdestinerade bidragen till skolutveckling. Eftersom detta mönster uppträtt under flera år finns en risk att de olika förutsättningarna mellan huvudmännen ökar över tid vilket kan ge negativa konsekvenser för skolans likvärdighet. Att de kommunala huvudmännen utnyttjar de statliga satsningarna så olika innebär också att eleverna får olika förutsättningar beroende på var i landet de bor.

Precis som SKL påstår så är detta inget bevis för att ett förändrat huvudmannaskap skulle kunna vända utvecklingen i svensk skola. Det skulle däremot innebära väsentligt förbättrade förutsättningar för att lyckas vända utvecklingen än vad dagens kommunala huvudmannaskap erbjuder.

Därför förespråkar jag ett nytt huvudmannaskap för svensk skola.

Gissa sambandet – hur var det nu då?

Det har blivit dags att avslöja resultaten från den gissningslek som inleddes i det förra inlägget samt delge det rätta svaret. Totalt har 73 personer lämnat en gissning vilket innebär att undersökningen haft ett stort bortfall givet hur många som läst inlägget. Gissningarna fördelade sig enligt följande:

Den ”låga” svarsfrekvensen åsidosatt så var det ändå en majoritet som gissade rätt: Sambandet är starkast mellan föräldrarnas utbildningsnivå och elevernas betyg och svagast med resultaten på de nationella proven. Respektive samband beskrivs i dessa scatterplots:

Ni som nu gissade på något annat än att sambandet är starkast för betygen ska inte misströsta härvidlag – detta var själva poängen med inlägget från början! För om man tänker efter så känns det väl som att man kan komma på sannolika förklaringar till varför samtliga påståenden skulle kunna vara sanna?

Det tycks plausibelt att föräldrar med högre utbildningsnivå i större utsträckning på olika sätt bidrar till barnens allmänbildning. Sociologer brukar försöka fånga olika aspekter av detta kulturella kapital genom att i enkäter fråga hur många böcker som finns i hemmet. Det skulle kanske också kunna mätas i hur mycket man tittar på nyheterna, läser dagstidningar, diskuterar aktuella händelser vid middagsbordet mm. Ur ett sådant perspektiv tycks det sannolikt att dessa barn skulle prestera bättre på DN:s nutidsorientering.

Samtidigt känns det inte osannolikt att föräldrar med högre utbildningsnivå i större utsträckning skulle kunna hjälpa till med läxor och annat skolarbete samt höja studiemotivationen mm, vilket skulle kunna leda till antingen högre betyg eller högre resultat på nationella proven i matematik (eller både och).

Den viktigaste slutsatsen att dra är att föräldrarnas utbildningsnivå – så som jag påtalade i det första inlägget – inte har en sprikrak kausal effekt på elevernas resultat som endast innebär att ”bildade föräldrar bidrar till bildade barn”. Måttet inrymmer så mycket mer. Detta ”så mycket mer” får större effekt på betygen i sin helhet än bara på de nationella proven.

Detta är en mycket intressant insikt. Man skulle kunna argumentera för att när vi tittar på föräldrapåverkan på elevresultaten på de nationella proven får vi fram en ”renare” bild av vad skolan bidrar med och vad föräldrarna bidrar med. Detta skulle kunna vara en intressant utgångspunkt för att diskutera skolors olika kompensatoriska effekt (se ett intressant inlägg på detta tema från Jonas Vlachos här).

Vad består då detta ”så mycket mer” av, som föräldrautbildning ger på elevernas betyg? Det finns bland annat en effekt av var man bor. Befolkning i storstäder har generellt högre utbildningsnivå (vilket korrelerar med högre betyg), större städer har oftare högre andel friskolor (vilket korrelerar med något högre betyg) vilket innebär att de också har en mer konkurrensutsatt skolmarknad (vilket korrelerar med högre betyg). Föräldrar med hög utbildningsnivå påverkar i större utsträckning elevernas så kallade ”icke-kognitiva” egenskaper, såsom uthållighet, planeringsförmåga, studiemotivation mm. Dessa egenskaper korrelerar starkt med högre betyg (se källor här och här).

Vilka avslutande slutsatser kan vi dra? Föräldrarnas utbildningsnivå är mycket betydelsefullt för elevernas resultat, men vi måste vara medvetna om att effekterna av densamma är komplexa och påverkar elevernas resultat på olika sätt. Dessutom kan det ha olika betydelse för olika elever (se studie här som visar att sambandet är starkare för elever med svensk bakgrund än för elever med utländsk). Detta får såklart också implikationer både på systemnivå och på skolnivå. Borde uppföljningssystemen riggas på något annat sätt för att minska ned betydelsen av ”det runt omkring”? Borde differentiering och variationen i systemet minskas för att minska betydelsen av bostadsort? Borde resursfördelningssystem med mera förändras för att öka skolans kompensatoriska effekt? Behöver skolor fundera över i vilka sammanhang föräldrarna får störst betydelse för elevresultat? Hur mycket förväntas föräldrarna bidra med i fråga om läxor med mera?

Det finns mycket att fundera över, minst sagt.

Den intresserade finner datasetet till detta inlägg här.

Gissa sambandet – om betydelsen av föräldrarnas utbildningsnivå för betyg, nationella prov och DN:s nutidsorientering

Bakom denna märkliga rubrik gömmer sig ett något oortodoxt blogginlägg i vilket jag tänkte mig att ni läsare skulle få gissa hur sambanden mellan föräldrarnas utbildningsnivå och olika typer av elevresultat ser ut i svensk skola. 

De av er som frekvent tar del av forskning som på olika sätt undersökt vad som påverkar elevernas resultat i skolan, vet att det finns ett mycket starkt samband mellan föräldrarnas utbildningsnivå och elevernas skolresultat. Det är dock viktigt att komma ihåg att den kausala effekten  (orsakssambandet) av föräldrarnas utbildningsnivå på elevernas skoltresultat inte alltid är en direkt följd av att ”bildade föräldrar bidrar till bildade elever”, det finns fler dimensioner som fångas i måttet ”föräldrarnas utbildningsnivå” som påverkar elevernas resultat. Man kan fråga sig vilka?

Denna övning – gissa sambandet! – ger en intressant utgångspunkt för att resonera om dessa typer av dimensioner och faktorer.

Nedan följer därför några påståenden. Klicka för det som du tror/vet/bedömer vara sannolikt (inget fusk nu!) och så kommer jag i ett kommande inlägg om några dagar att skriva ett inlägg som visar hur sambanden ser ut.[1]

Lycka till!

---

[1] Notera att det data jag använder är på kommunnivå, det har betydelse för hur sambanden kommer att se ut!