Kategoriarkiv: Galenskaper

Valtider, opinionsmätningstider och felmätningstider

Vi går ett supervalår tillmötes. Det börjar synas redan. Efter en tids skolpolitisk triangulering har partierna nu åter börjat försöka särskilja sig från varandra. Den som stannar upp och tänker efter märker dock att det ofta rör sig om förslag på marginalen. Många av de stora dragen i svensk skolpolitik de senaste åren har skett i stort samförstånd mellan blocken, se en mycket god översikt här.

Att vinna politiska val handlar dock mycket om att visa vad man själv skulle kunna göra om man satt vid makten samt att visa vad andra gör eller tänker fel. Spelplanen är satt för alla de som intresserar sig för att mäta hur opinionen reagerar på detta – vilka har stöd i opinionen och vilka har det inte?

Detta aktualiserar frågan om enkäter och opinionsmätningar, hur de ska utformas och vad de ska mäta. De som sysslar med enkätmetodik vet att mycket har hänt på detta område. En generell utmaning som vuxit fram – för alla i fältet – är att folks allmänna svarsbenägenhet tycks falla. Det blir allt svårare att nå höga svarsfrekvenser i undersökningar, inte bara för vilken random intresseorganisation som helst utan även för SCB.

Ett sätt att försöka möta trenden är att göra det lättare och mer attraktivt att svara på en enkät. Ett sätt att lyckas med detta är att använda webenkäter, vilket många gör. Att detta blivit lättillgängligt spär dock på problemet från ett annat håll, genom att sannolikt bidra till ökad enkättrötthet. Det är numer enkelt och billigt att skicka ut enkäter vilket innebär att fler gör det. Detta skapar en enkättrötthet bland de som ska svara. Sannolikt påverkar det svarsfrekvenserna, både det direkta bortfallet – att folk inte börjar svara – men också det interna bortfallet att de som väl börjar ibland inte orkar fortsätta om de märker att enkäten tex är tråkig.

Varför är bortfall och låga svarsfrekvenser ett problem? Det grundläggande problemet härstammar från viljan att kunna generalisera resultatet till en hel population. Om vi undersöker hur folk tänker rösta, för att kunna skriva om det i tidningen, vill vi ju också att prognosen stämmer hyfsat väl, annars är det ointressant.

Det starkaste verktyget för att uppnå detta är därför att dra ett obundet slumpmässigt urval ur en större, representativ population. Genom att jämföra bruttourvalets representativitet mot totalpopulationen kan vi när undersökningen är färdig jämföra vårt nettourval av svarande mot ursprungspopulationen och se om bortfallet varit lika tvärsöver eller om någon grupp haft ett särskilt stort bortfall.

Om allt ser bra ut kan sedan ett konfidensintervall beräknas, dvs vilka felmarginaler vi kan tänkas ha för svaren (45 % tänker rösta si eller så +/- 3,5 %).

Det krävs ganska rejäla resurser för att kunna göra detta, och alla vill inte satsa det. Det vi därför ofta ser nu (särskilt i valtider) är att olika aktörer gör webenkäter där de skjuter ut dom brett, till populationer de inte har en aning om hur de ser ut eller hur svarandegruppen sedan ser ut. Dessa typer av undersökningar bör man vara försiktig med att dra för stora växlar på.

Ett alldeles färskt exempel på detta missbruk av enkäter kom häromdagen från Skolporten, ett företag som bevakar skolfrågor. På sin webplats hade de under perioden 11/10 – 5/12 en fråga utlagd som löd ”Vilket riksdagsparti för bäst skolpolitik?”. Frågan skickades också ut via nyhetsbrev, via Twitter och på Facebook. Totalt samlades 585 svar in. Enligt egen utsago riktade sig enkäten till personal inom skola och förskola.

Valet2014_enkat1

Enligt enkäten (diagram från Skolporten.se) anser de svarande att Vänsterpartiet för den bästa skolpolitiken. Detta lanserades i egna nyheter och snurrade runt en del på Twitter. Detta är anmärkningsvärt, i och med att enkäten de facto endast kan uttala sig om vilken preferens 585 i princip oidentifierade respondenter har. Vi vet inget om vilka yrken de har, hur gamla de är, om de har jobb, vilken utbildning de har, var i landet de bor eller ens vilket kön de har. Desto mindre vet vi hur dessa 585 personer förhåller sig som grupp till befolkningen i sin helhet eller de röstberättigade. Vi vet heller inget om de personer som sett enkäten men inte valt att besvara den. Vi vet heller inget om hur många totalt som sett länken och hur stor andel av dessa som också besvarat den.

”Enkäten” lämnar oss alltså egentligen med fler frågor än svar samt en viktig påminnelse om betydelsen av att vi förhåller oss kritiska till vissa typer av enkäter.

Uppdatering 2014-04-03

Som av en händelse så ramlade jag idag över en mätning som Svenska dagbladet publicerade igår. Mätningen är gjord 25-31 mars (notera skillnaden i hur länge insamlingen pågick mot Skolportens enkät – detta påverkar också resultaten, i synnerhet då deras också överlappar PISA-chocken) bland 1000 respondenter (notera att SvD inte heller skriver något om hur många som ingick i bruttourvalet och vilken svarsfrekvens dessa 1000 inneburit. SvD litar på att folk ska lita på Sifo). Frågan som ställdes var: ”Vilket parti har du störst förtroende för i skolfrågor?”

Föga förvånande skiljer sig resultaten i partisympatier rejält från Skolportens enkät:

svdsifo

Den som härbärgerar ett djupare intresse bör med fördel läsa detta inlägg av Henrik Ekengren Oscarsson vid Göteborgs universitet samt detta inlägg på Politologerna om en intressant jämförande studie av olika paneler och urval.

Taggad , , , , , ,

Om PISA-resultat, betyg och raka felaktigheter

Jag har i tidigare inlägg ondgjort mig över hur SKL:s tidning Dagens Samhälle ofta rapporterar om skolan och i synnerhet hur de väljer att presentera – och göra nyheter av – diverse skolstatistik (se exempel här och här). Med anledning av chefredaktören Mats Edmans krönika i det senaste numret av tidningen har jag nu fått anledning att göra det igen.

I sin krönika driver Edman tesen att den debatt om kunskapstapp som brutit ut i samband med att resultaten av PISA 2012 presenterades, baseras på en överdriven bild av resultatnedgången och att de svenska grundskoleeleverna i själva verket presterar ännu bättre för var år som går.

Edman pekar dels på det faktum att de diagram som figurerat i många artiklar (se exempel här) utgår från en bruten skala, dvs en skala som inte börjar vid noll på y-axeln, dels på det faktum att resultatnedgången i PISA för svensk del endast handlar om cirka 6 procent per undersökt ämnesområde. Därefter går Edman vidare i sitt resonemang och pekar på att den svenska betygsstatistiken, som till skillnad från PISA är ett totalurval och inte ett stickprov merivärde grundskolaom endast ett tusental elever, snarare visar att eleverna konstant presterar högre betyg år för år, vilket bör vara ett tecken på att de lämnar grundskolan med allt bättre kunskaper.[1]

Jag vill inte ta i för mycket i mitt kommande kritiska omdöme över Edmans krönika, men låt mig säga att jag febrilt sökte efter en skämskudde vartefter jag läste.

Om vi börjar bakifrån: Det måste ändå anses vara välbelagt att de svenska grundskolebetygen utsatts för en betydande betygsinflation sedan det kriterierelaterade betygsystemet infördes i grundskolan 1998. Betygsättningen är generösare på konkurrensutsatta marknader, det finns indikationer på att den även kan vara än mer generös vid fristående skolor (och de nationella proven tycks också rättas mer generöst vid dessa, se bilaga 4) dessutom motsvaras de förbättrade betygsresultaten inte av förbättrade prestationer i den högre utbildningen (se sammanfattning och vidare referenser här).

När dessa resultat paras med de försämrade resultaten i de internationella mätningarna samt i svenska motsvarigheter tycks det svårt att hävda att det svenska betygsystemet skulle ge information om hur olika elevkullars kunskaper förhåller sig till varandra.

Vad det gäller de redovisade graferna kring resultatutvecklingen i PISA menar Edman att det är vilseledande att inte hela skalan visas för y-axeln. Det kan tyckas vara en rimlig invändning och jag har sett flera göra den på till exempel Facebook (det är väl också sådant som lärs ut i matematiken, att det är ett av de vanligaste knepen för att vilseleda med statistik).

Till saken hör dock att i just det här fallet är denna typ av redovisning inte så tokig. Det Edman inte har förstått (eller undviker att uppmärksamma) är att resultaten i PISA-studierna normeras så att medelvärdet för respektive ämnestest ska hamna på, eller ligga så nära, 500 poäng som möjligt samt med en standardavvikelse om 100 poäng. Det betyder att cirka 68 % av samtliga elevers resultat i respektive ämne för respektive år hamnar mellan 400 och 600 poäng. Sannolikheten att ett helt land därmed skulle prestera 0 poäng är alltså obefintlig (den är faktiskt 0,00005 % enligt nationalekonomen Jonas Vlachos). För att lyckas skulle det i princip krävas att alla deltagande elever lämnade in blanka prov. I grafen nedan redovisas hur samtliga OECD-länder presterat i matematik år 2012. Av grafen framgår att inget av dessa länders medelvärde låg under 400 poäng.

pisa2012_2

Man skulle kunna göra en liknelse mellan den brutna PISA-skalan och en bruten skala som redovisar den vuxna befolkningens skostorlek. Skostorleken är normalfördelad i befolkningen och det finns ingen vuxen som har fötterna i behåll som har fötter i skostorlek 0. Det tycks därför meningslöst att låta en graf som ska beskriva skostorlekens utveckling över tid starta på 0, i synnerhet om man vill åskådliggöra en medelvärdesökning om två storlekar över tid. En sådan ökning är mycket betydelsefull i och med att majoriteten av befolkningens skostorlek återfinns inom ett förhållandevis litet spann men syns dåligt med en obruten skala.[2]

I grund och botten är väl detta en fråga om tycke och smak. Sifforna är vad de är, oavsett i vilken form de visas. Det viktiga enligt min åsikt är dock att vi inte förminskar innebörden av den resultatnedgång som syns för svensk del, samt att vi förstår den i rätt perspektiv. Inget annat land uppvisar en lika negativ trend som Sverige över tid och det är en viktig indikation på att något inte står rätt till i det svenska skolsysystemet:

PISA2012

Källa: Skolverket (2013)

Med detta sagt ska det också sägas att Edman har rätt på en punkt. I sin krönika säger han att,

Om den långa betygsstatistiken för perioden 1998–2011 inte indikerar en faktisk kunskapsutveckling utan är missvisande har vi gigantiska problem med statistikunderlagen.

Och ja, det får man nog säga att vi har.


[1] Edman lånar det här resonemanget direkt från SKL själva, se här och här.

[2] Den som har data över skostorlekar får gärna återkomma med en analys på området!

Taggad , , , , , , , , , ,

Märkliga undersökningar, märklig journalistik och märklig spridning

Då och då plingar det till i mobilen och inboxen med Skolportens veckobrev. Ett helt ok nyhetsbrev som ofta kan innehålla intressanta nyheter som man ibland kan ha missat i nyhetsbruset. I veckobrevet från den 19/11 föll jag för en rubrik som var mycket intressant. En unik enkät visade nämligen att ”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”. Oj tänkte jag, det var intressant utifrån den (ofta mycket mediokra) läxdebatt som rullat ett tag.

Tyvärr visade det sig att det här inte ens var läsvärt, vilket jag främst anser är något som Skolporten borde fundera över (snarare än journalisten på UNT). De har nämligen en hel del förtroendekapital investerad i sin rapportering kring forskning, undersökningar mm, så de borde läsa de nyheter de ska sprida lite noggrannare innan de skrider till verket.

20131121-104423.jpg

Vad var då problemet med undersökningen? Som rubriken antyder så ska detta handla om en undersökning vars resultat rimligen bör kunna generaliseras till hela rektorskåren, rubriken gör ju sådana anspråk. När man sedan läser artikeln på UNT.se uppstår ett under av förvirring. Den ”unika” enkäten har haft 40 svarande rektorer, ingenstans nämns vilket bruttourval man har haft, vilket bortfall som funnits eller vilken målgrupp enkäten haft. Sannolikt är det väl som så att UNT har låtit enkäten gå ut till samtliga rektorer i Uppsala kommun, men det är en gissning, det framgår ingenstans. Om så, så kanske resultatet kan generaliseras till rektorerna i Uppsala, jag har tyvärr ingen uppgift om hur stor denna population är (och står och bloggar på en kaffepaus mitt i en konferens, så jag kan inte kolla upp det heller).

Om enkäten gått ut till rektorer över hela landet så tycks det snarare vara en ”bedrövlig” enkät än en ”unik” dito. Och även om vi håller oss kvar i Uppsala, hur många friskolerektorer till antalet är det egentligen som har svarat? Om vi gissar att 10 % av eleverna i Uppsala går i friskola, och att skolandelen är ungefär densamma, så innebär det att kanske fyra friskolerektorer besvarat enkäten. Det skulle innebära att ”en tredjedel” av friskolerektorerna motsvararas av EN svarande rektor.

Om denna gissning stämmer tycks det vara ett ganska magert underlag för de typ av anspråk som görs i rubriken.

Rättelse 2013-11-22

Skolportens redaktör John Miller har för mig påpekat att nyheten inte gick ut i Skolportens nyhetsbrev (som nämndes i det första blogginlägget), utan i deras veckobrev under rubriken ”Ledarskap”. Enligt Miller var det främsta syftet att delge veckobrevsläsarna några rektorers syn på läxdebatten, vilket såklart är lovvärt. Jag ber om ursäkt för misstaget och sammanblandningen, men skulle gärna se att en viktig aktör som Skolporten ser över hur nyheter beskrivs i de brev som går ut. Som inlägget beskriver var ingressen till denna nyhet (”Varannan kommunal rektor och var tredje friskolerektor kan tänka sig att fimpa hemläxan”) mycket missvisande. Jag kommer dock fortsätta läsa Skolportens nyhetsbrev för den som undrar.

Taggad , , , , ,

Förbättrade skolresultat genom ökad konkurrens?

Under slutet av förra året släpptes en IFAU-rapport som har analyserat effekterna av friskolereformen avseende elevernas studieresultat. Rapporten var intressant i och med att det generellt har varit väldigt svältfött med svenska kvantitativa studier om effekterna av friskolereformen och de slutsatser folk har dragit gällande reformens effekter har därför ofta haft en mer ideologisk resonansbotten än vetenskaplig.

Det finns några saker att poängtera gällande IFAU-rapporten. Dels finns det de som har haft viss metodologisk kritik att framföra, dels måste den uppmätta effekten betraktas som mycket liten. Ett av huvudresultaten i studien var nämligen att en ökning i andelen friskoleelever i årskurs 9 med 10 procentenheter var att förknippa med cirka 3 procent högre resultat i grundskolan. Sett till det genomsnittliga meritvärdet för grundskolan i riket läsåret 2011/12 skulle alltså en 10-procentig ökning av andel friskoleelever höja snittet med 6,3 betygspoäng, från 211 till 217,3. Då ska man också ha i minnet att denna ”10-procentiga ökning” redan skett i riket, från att friskolereformen genomfördes fram till idag då cirka 10 procent av alla grundskoleelever går i en fristående skola.

En kritiker skulle milt uttryckt kunna påstå att den 3-procentiga förbättringen var en dyrköpt förbättring sett till segregation och minskad likvärdighet.

fölster1I dagarna har det kommit ytterligare en undersökning på detta tema. Bakom undersökningen står Stefan Fölster och Reforminstitutet (som huvudsakligen finansieras av Stiftelsen fritt näringsliv). Undersökningen (som finns här) presenterades också i en debattartikel i Expressen där Fölster påstår att konkurrens på skolmarknaden förbättrar skolresultaten och att de kommuner där friskolor inte förekommer har försämrat sina resultat i störst utsträckning.

Denna slutsats, och fler därtill, drar Fölster efter att ha jämfört resultatutvecklingen (avseende andel obehöriga till gymnasieskolan samt andel underkända i ett eller fler ämnen i årskurs 9) i de kommuner som inte har friskolor och de kommuner som har en eller flera. Den undersökta perioden är 1999 till 2012.

Den uppmärksamme läsaren av rapporten (och debattartikeln) reagerar nog över dessa resultat. Kan de stämma? Har det inte skett en väldigt olikartad utveckling i övriga förutsättningar mellan icke-friskolekommunerna och de andra?

För att skingra dessa tvivel beskrivs i rapporten vissa av de kontroller som har gjorts. Man beskriver till exempel hur man har tittat på förändringen i föräldrarnas utbildningsnivå och andelen elever med utländsk bakgrund och konstaterar att utvecklingen varit snarlik i icke-friskolekommunerna och friskolekommunerna.

Denna övning måste dock betraktas som ett spel för galleriet. Att kontrollera om förändringarna i medelvärden mellan åren varit desamma är inte samma sak som att införa kontrollvariabler i en statistisk analys. Ett exempel: Tittar man på betygsmedelvärdena i grundskolan ser man att betygssnittet i årskurs 9 i kommungruppen ”förortskommuner till storstäder” var högre läsåret 2011/12 (217p) än vad det var i kommungruppen ”glesbygdskommuner” (203p). Samtidigt visar Fölsters undersökning att föräldrarnas utbildningsnivå (som har högst förklaringsvärde) ökat likartat för de båda kommungrupperna. Fölsters slutsats är alltså att detta innebär att eleverna i förortskommunerna presterar bättre än de i glesbygdskommunerna och – enligt hans idé om det kausala sambandet – detta för att de har fler friskolor. Fölster tycks alltså mena att föräldrarnas utbildningsnivå kan bortses från i denna jämförelse.

Det Fölster dock missar är ju att föräldrarnas utbildningsnivå fortsatt är mycket högre i dessa förortskommuner (2,28) än i glesbygdskommunerna (2,13) (enligt SALSA-datat var dessa uppgifter är hämtade ifrån). Om föräldrarnas utbildningsnivå lades till som en kontrollvariabel i analysen skulle sannolikt friskoleeffekten minska alternativt försvinna helt.

Med detta sagt, vad borde Fölster och Reforminstitutet alltså ha gjort för att prestera en mer korrekt analys?

Ett sätt att angripa frågan är bedriva klassisk hypotesprövning. Vi utgår från Fölsters slutsats, att kommuner med konkurrensutsatt skolmarknad presterar bättre än icke-konkurrensutsatta kommuner, som hypotes. Om denna stämmer bör det innebära att vi i en statistisk analys, där vi kontrollerar för i huvudsak föräldrarnas utbildningsnivå och elevernas härkomst, ser signifikanta effekter av att skolmarknaden är konkurrensutsatt.

För att denna analys ska utgå från samma premisser som Fölsters undersökning använder vi samma utfallsvariabler som han gjorde, det vill säga andel elever som inte är behöriga till gymnasieskolan samt andel elever som är underkända i ett eller flera ämnen i årskurs 9.[1] Som förklarande variabler används andel pojkar, andel elever som själva är födda utomlands, andel elever med utländsk bakgrund men som är födda i Sverige och föräldrarnas sammanvägda utbildningsnivå. Dessutom används en dummyvariabel (en variabel som endast markerar förekomst (1) eller icke-förekomst (0) av något) efter Fölsters uppgifter om vilka kommuner har respektive inte har friskolor samt en variabel över andel elever i kommunen som går i fristående skola.[2] Det kompletta datasetet kan laddas ned här för den som vill göra egna analyser i det. All data är hämtad från Skolverkets SALSA-databas samt Databas för jämförelsetal.

Ett enkelt sätt att undersöka effekten av dels den kodade Fölstervariabeln (”friskole- eller icke-friskolevariabeln”) och dels variabeln över andel elever i kommunen som går i en fristående skola, är att först göra en analys av de övriga variablernas förklaringsvärde på resultaten (en utfallsvariabel i taget), för att sedan tillföra de andra variablerna (en i taget) för att se om de tillför någon förklaringskraft till modellen i sin helhet.

I tabellen nedan redovisas resultaten av en sådan analys för den första utfallsvariabeln (andel behöriga till yrkesprogram)[3]:

tabell

Analysen visar att variablerna dels tillför mycket litet förklaringskraft till modellen, dels att de med nöd och näppe är signifikanta. Enskolevariabeln (dvs att kommunen bara har kommunal skola eller ej) förklarar endast 0,95 % av variationen och andel friskoleelever i kommunen förklarar endast 0,88 %, att jämföra med föräldrarnas utbildningsnivå som förklarar 20,6 %.

Vad som yttermera är intressant att notera utifrån analysen av dessa data är att effekterna inte är renodlat positiva. Den skattade effekten enligt modellen, för en kommun som går från att endast ha kommunal skola till att ha friskolor (allt annat lika), är en förbättring om 1,7 procent. Paradoxalt nog är effekten av andelen friskoleelever av kommunens elever negativ. Modellen estimerar – tvärtemot IFAU:s studie[4] – en försämring i behörigheten till yrkesprogram om 1,5 procent om andelen friskoleelever ökar med 20 procent.

Det är mycket viktigt att påpeka att dessa resultat indikerar mycket små effekter. Till exempel är det orimligt att andelen friskoleelever i en kommun skulle öka med 20 procent hur som helst. I det sammanhanget är en negativ effekt på behörigheten om 1,5 procent mycket liten.

Den viktigaste slutsatsen är dock att Fölsters undersökning bör tas med några rejäla nypor salt; de kommuner som år 2012 endast hade kommunala grundskolor tycks inte alls ha presterat avsevärt sämre än friskolekommunerna. Den positiva kausala effekten av konkurrens som Fölster uttalar sig om tycks knappt finnas, åtminstone kan den inte beläggas i det data han använt i och med att de små effekterna tycks ta ut varandra (avseende 2012).[5]

Det finns ytterligare några resultat av denna nya analys som bör nämnas. För det första är resultaten snarlika för samtliga utfallsvariabler. För det andra indikerar analysen en liten förändring från 2004 till 2012 (hela Fölsters tidsserie har inte analyserats), där Fölster-variablen var signifikant redan 2004 och med svagt negativ effekt för att vara fortsatt signifikant men med positiv effekt 2012. Andelen elever i friskola var inte signifikant 2004, men signifikant och med negativ effekt 2012.

Dessutom ökar modellens förklaringskraft mellan 2004 till 2012, från att förklara cirka 20 procent av variationen år 2004 till cirka 35 procent för år 2012.

Detta inlägg har författats med benäget bistånd av statistikern Oskar Eriksson som genomfört viktiga tester av resultaten från regressionerna.

Uppdatering 2013-09-02: Ett fel har upptäckts i ursprungstexten, varför en uppdatering gjorts. Felet gällde beskrivningen av effekten av dummyvariablen över friskole- eller icke-friskolekommun.


[1] I denna analys gör vi tyvärr inga kontroller för betygsinflation, vilket den tidigare forskningen indikerar ett behov av. Se tex denna IFAU-studie.

[2] Denna variabel har tidigare använts tex Jonas Vlachos som mått på konkurrens på skolmarknaden.

[3] Notera att behörighetsreglerna förändrats iom GY2011, och den tidigare variabeln ”andel elever med grundläggande gymnasiebehörighet” utgått. I datasetet som använts till denna undersökning används dock den gamla variabeln, precis som Fölster gör, för de föregående åren.

[4] Se not 5!

[5] Det är viktigt att påpeka att de data som använts i denna analys gäller kommuner som resultatenheter. Det betyder att resultaten kan bli andra om tex individdata skulle användas, vilket den omnämnda IFAU-studien gjorde. Notera också att det gäller olika utfallsvariabler.

Taggad , , , , , ,

Input och output i tidningen Dagens Samhälle

Jag har sedan innan skrivit om hur tidningen Dagens Samhälle granskar resultatskillnader i den svenska skolan. För den som återkommande läser tidningen framstår det tydligt att tidningens redaktion är väldigt intresserad av att göra olika input/output-analyser av den svenska skolan. Det syns inte minst i deras egenkonstruerade ”Kostnad per betygspoäng”-mått som de ofta använder för att beskriva olika skolhuvudmäns (främst kommuners) kostnadseffektivitet.

ds2Ett återkommande problem med Dagens Samhälles granskningar är att de i sina analyser inte gör riktiga kontroller för olika bakgrundsvariabler. Ur detta perspektiv är det inte konstigt att till exempel Danderyd och Lidingö m.fl i analyserna alltid framstår som de mest kostnadseffektiva kommunerna som får ut högst betyg för pengarna.

I ett av de senaste numren av tidningen gör man en ny ranking där kommunerna listas efter deras effektivitet samt vilket politiskt styre de har. Inlägget har rönt uppmärksamhet i annan media, men har lyckligtvis också väckt ett akademiskt intresse. Läs till exempel Anders Sundells välformulerade blogginlägg om saken på Politologerna, ”Leder alliansens politik till bättre skolresultat? Orsak och verkan i politiken”, samt Jonas Vlachos inlägg på Ekonomistas, ”Flash! Billigare att utbilda barn till högutbildade!”.

Uppdatering 16/5 2013:

Läs också det uppföljande inlägget på Politologerna om kommunrankingar i allmänhet, ett inlägg som ligger till grund för författarnas artikel på DN Debatt.

Taggad , , , , , , ,

Den ökande andelen elever som är obehöriga till gymnasieskolan

Igår (28/1) kunde man i Aftonbladet läsa om hur andelen elever som lämnar grundskolan utan behörighet till ett nationellt gymnasieprogram ökat under Jan Björklunds tid som skolminister. Uppgifterna i artikeln är hämtade från en utredning som Socialdemokraterna beställt från Riksdagens utredningstjänst, och i den tillhörande artikeln använder Socialdemokraterna uppgifterna för att kritisera den förda skolpolitiken. Jag har också ramlat över bloggare som skrivit om artikeln med samma ingång.

Att en större andel elever lämnar grundskolan utan behörighet till ett nationellt gymnasieprogram är i alla avseenden en ödesfråga för svensk skola – den viktigaste framtidsfrågan om du frågar mig. Jag har sedan innan skrivit ett inlägg som handlar om vilket svek detta är mot de elever som lämnar grundskolan utan de kunskaper som de har rätt att få.

Jag kan dock inte läsa nämnd artikel eller blogginlägg som det som länkades ovan utan att undra hur det är ställt med detta egentligen? Är Jan Björklund verkligen ensamt skyldig för denna utveckling? Som vanligt visar sig den mediala logiken inte vilja hantera mer komplexa verkligheter än det som kan beskrivas i svart och vitt. I diagrammet nedan har jag sammanställt motsvarande data (all data hämtad från Skolverket) över andelen obehöriga under hela det mål- och kriterierelaterade systemets tid i grundskolan (från 1997 och framåt) och trenden är tydlig: Andelen obehöriga elever har i princip ökat konstant över tid, oavsett regering.

obehöriga

Några försiktiga slutsatser:

  • Den som på allvar vill hitta orsaken till att andelen obehöriga elever som lämnar grundskolan fortsätter att öka bör inte enkom skylla på den förda skolpolitiken, utan även söka förklaringar på annat håll.
  • Det är bara dumheter att jämföra två år med varandra (2006 och 2010), som Socialdemokraternas uppdrag till RUT varit, när den utveckling man vill beskriva är del av en längre trend.
  • Den verkligt intressanta frågan, för att kunna utvärdera Björklunds tid som skolminister, är om denna trend bryts om ytterligare några år (2020? 2025?), när de första elevkullarna som endast haft legitimerade lärare, läst enligt Lgr11, omfattats av nya skollagen mm börjar gå över till gymnasieskolan. Då om någon gång går det att utvärdera de reformer som genomförts.
Taggad , , , , , , , ,

Om läraruppdraget, främlingsfientlighet och metodkunskaper

Det här inlägget är inspirerat av en diskussion jag hamnade i för en tid sedan på Facebook och som fick mig att minnas en av de aspekter jag själv tyckte var svårast med att vara samhällskunskapslärare. Inlägget handlar därför inte strikt om utbildningspolitik och forskning, men likväl om undervisning, lärarroll och statistik.

Ovan nämnda diskussion hamnade jag i som en följd av att jag reagerade över ett inlägg som en gammal bekant hade skrivit, där han påstod vissa saker om invandrares benägenhet att begå brott, i detta fall våldtäkter. Jag är själv inte påläst i kriminologisk litteratur och jag har inte studerat brottsstatistik i sådan utsträckning att jag själv med säkerhet ”vet” hur olika samhällsgruppers brottsbenägenhet ser ut. Jag har dock läst tillräckligt många högskolepoäng för att förstå att olika faktorer har olika stort förklaringsvärde för individers brottsbenägenhet, och jag är själv ganska övertygad om att socioekonomiska förhållanden och utbildningsnivå bör ha ett mycket högre förklaringsvärde på brottsbenägenhet än etnisk bakgrund. Rätta mig gärna om jag har fel.

unodcEtt av de påståenden som framkom i inlägget var att Sverige har världens näst högsta antal våldtäkter per 100 000 invånare samt att detta beror på Sveriges stora andel invandrare i befolkningen. Påståendena styrktes dels med statistik från UNODC (Unites Nations Office on Drugs and Crime) (se tabell intill) och dels med statistiska beräkningar gjorda av en svensk bloggare.[1]

Det här frammanar för mig minnet av hur svårt det kan vara som lärare att veta hur man ska bemöta påståenden från elever (eller andra) som dels har ett tvivelaktigt sanningsvärde och som dels grundar sig i en främlingsfientlig världsåskådning. För det första finns det ett direkt problem med detta för en undervisande lärare i klassrummet: Om jag inte själv som lärare har kunskaper om de statistiska förhållandena som står i motsats till det påstådda, hur ska jag då förhålla mig till påståendet? Det vill säga, om jag inte kan vederlägga påståendet där på plats, hur ska jag förhålla mig till det då? Vill jag ens vederlägga påståendet? Men om jag håller med om att det kanske kan stämma, har jag då vikt mig för den främlingsfientliga världsåskådning som (ofta?) ligger i botten och ruvar hos eleven? För det andra så finns det också ett mer långsiktigt problem, för om jag ger mig in i debatten för att försöka vederlägga påståendet, men med andra fakta och misslyckas, vad händer då? Med mig, eleven och klassen?

Enligt mig visar detta exempel återigen också på behovet av att utbildningen i vetenskaplig metod stärks i lärarutbildningen. Ju säkrare en lärare känner sig i metodfrågor, desto säkrare kommer de sannolikt känna sig när de möter olika typer av påståenden av denna art som kan vara svåra att bemöta trots att de är tvivelaktiga, som det ovan om våldtäkterna.

För vad är då problemet med påståendet om Sveriges tätposition gällande antalet våldtäkter per 100 000 invånare? Det grundläggande problemet är att statistiken utgår från antalet polisanmälda brott i olika länder. Detta innebär dels att uppgifterna knappast är jämförbara i och med att olika länders lagstiftning har olika syn på vad som är våldtäkt, sexuellt tvång, ofredande osv. Detta påtalar UNODC själva i direkt anslutning till datatabellerna. Dessutom finns det inneboende problemet att vissa länder är noggrannare med sin insamling av statistik än andra. Detta visar sig i UNODC:s data genom att av 123 länder i datauppsättningen saknas uppgifter för 63 länder år 2010. Bland dessa återfinns länder som Frankrike, Filipinerna, Slovakien, Australien, Italien, Bangladesh, Zimbabwe med flera. Frånvaron av dessa påverkar sannolikt Sveriges relativa placering, i synnerhet om alla skulle gå efter svensk lagtext.

Övriga påståenden om vissa befolkningsgruppers eventuella överrepresentation lämnar jag åt läsarnas egna kritiska ögon att granska, men ett tips är att särstudera de ”prognostiska” uträkningar man ägnar sig åt på den blogg som nämns i not 1 nedan.

Hur man som lärare till sist klarar av situationer som dessa, med de typer av avvägningar jag skisserade ovan, kommer sannolikt an på erfarenhet, kunskaper och egen utbildning. En god grund läggs dock enligt mig genom gedigen metodutbildning i lärarutbildningen, robusta ämneskunskaper samt kontinuerlig yrkesetisk reflektion med lärarkollegor.


[1] Jag väljer att inte länka berörd blogg, men den kan lätt hittas via Google. Sök på ”affes statistikblogg” och läs inläggen om ”invandrarna och brotten”.

Taggad , , , , , , , , ,

Snabba vändningar – (för) snabb huvudräkning SKL?

I dagarna släppte Sveriges kommuner och landsting (SKL) rapporten ”Jobb som gör skillnad” som handlar om ungdomars inställning till jobb inom välfärdssektorn. Enligt rapporten svarar över 40 % av ungdomarna som besvarat enkäten att de skulle kunna tänka sig att jobba inom förskolan och skolan.

SKL:s rapport tycks ha rönt viss uppmärksamhet i media, särskilt i och med att resultatet tycks innebära att det skett en enormt snabb återhämtning gällande läraryrkets attraktivitet. Givet resultaten i SKL:s rapport tycks den av SCB prognostiserade lärarbristen till år 2030 inte längre utgöra ett hot! Så sent som i våras visade nämligen Lärarnas Riksförbunds rapport ”Allt annat än lärare!” att endast 3 % av de elever som då gick sista året i gymnasieskolan, och som visste att de inom fem år skulle läsa vidare vid högskola eller universitet, trodde att de skulle söka lärarutbildningen i första hand. En så stor andel som var fjärde elev hade enligt undersökningen övervägt lärarutbildningen (framförallt de med höga meritvärden från grundskolan), men de valde också bort den främst med anledning av den dåliga lönen.

alltannatanlarareUr detta perspektiv tycks upphämtningen som uppmätts i SKS:s rapport helt enastående… till dess man läser rapporten lite mer noggrant. För det första är det väldigt svårt som läsare att få ett grepp om den undersökningspopulation som enkäten riktat sig till. Enligt rapporten har 1 500 ungdomar mellan 15 och 24 år tillfrågats om deras uppfattningar och attityder till olika branscher och olika yrken. Hur många av dessa som också besvarat hela enkäten framgår inte. Dessutom skriver SKL:

”De svarande är jämnt fördelade på åldersklasser och kön. 43 procent studerar på högstadie- eller gymnasienivå, 25 procent läser på universitetet, 19 procent arbetar och 5 procent är arbetslösa.” (s.5)

Ingenstans meddelar de läsaren hur detta förhåller sig till (i) det ursprungliga urvalet (hur har det eventuella bortfallet slagit?), (ii) eller den motsvarande fördelningen mellan dessa grupper i den totala populationen (Sverige). Som läsare undrar jag ju till exempel själv direkt hur en stor andel högstadieelever påverkar resultaten, eller en stor andel arbetslösa (de har väl fler incitament att vara öppen för flera olika jobb än en drömmande hormonstinn 16-åring?). Dessutom undrar man ju hur stor andel av de 25 % som läser på universitet som också redan går lärarutbildningen?

För det andra så visar det sig ännu längre in i rapporten att det (tyvärr) inte har skett någon mirakulös upphämtning av läraryrkets attraktivitet. Huvudresultatet som all medierapportering svalt med hull och hår är i själva verket en sammanslagning av de ungdomar som dels ”kan tänka sig X-yrket som ett långsiktigt yrkesval” och dels ”kan tänka mig att arbeta med X en begränsad tid” (graf från sida 12):

skl_graf

Som det framgår av grafen är det i själva verket cirka 10 % av de tillfrågade som kan tänka sig grundskollärar- eller gymnasieläraryrket som ett långsiktigt karriärval. Ett ganska snarlikt resultat som det som framkom i Lärarnas Riksförbunds undersökning med andra ord.

Är du som läser detta inlägg lärare? Se då hela denna fadäs som en chans till en bra lektion i källkritik. Här följer några länkar till medier som hakade på nyheten utan att granska vare sig rapporten eller resultaten i den:

Sveriges Radio Ekot

Skolvärlden

Tidningen Vision

Taggad , , , , , , ,

Om ”att skapa framtidens skola”

Det stora brittiska bolaget Pearson släppte för ett tag sedan en rapport från deras projekt ”The learning curve”. Hela projektet bygger på insamlingen och upprättandet av en databas där intresserade kan sysselsätta sig med att göra komparativa undersökningar med olika variabler för en stor uppsättning länder.

I deras rapport ramlade jag dock över en slutsats som jag ofta möter i mitt arbete och som jag tycker är lika märklig varje gång. Det är slutsatsen att vi måste utforma skolan för ”framtidens utmaningar” eller för ”de framtida kraven som kommer att ställas på dagens ungdomar” (nummer 5 i bilden). I svensk kontext är detta slagord som många gärna använder i sin retorik mot många av de reformer som Jan Björklund och Alliansregeringen initierat sedan makttillträdet 2006.

Alldeles oavsett vad man tycker om de reformer som genomförs så undrar jag hur mycket tanke det ligger bakom uttalanden av detta slag, att vi måste ”skapa framtidens skola” efter ”framtidens utmaningar”? Vad menar folk egentligen med det?

Initialt kan det låta vettigt och det är svårt att tänka sig varför man skulle argumentera emot idén, men min frågeställning i detta inlägg är om det överhuvudtaget är möjligt att skapa en ”framtidens skola efter framtidens utmaningar”.

Problemet ligger nämligen i att vi för att kunna skapa en skola idag, som långsiktigt bemöter de krav som framtiden (läs ‘det framtida samhället’ eller ‘den framtida arbetsmarknaden’ eller något liknande) kommer att ställa på de elever som genomgått den, måste kunna förutspå vilka specifika kompetenser som kommer att krävas av dessa elever i framtiden. Hur ska vi någonsin kunna förutspå det? Skulle utbildningsvetenskapen kunna förutspå det? Knappast.1

Min åsikt är därför att det bästa vi kan ägna oss åt i skolan är att förmedla sådana kunskaper som dels utgör själva fundamentet för de akademiska ämnena samt, i den grad som är möjligt, förmedla kunskaper om var forskningsfronten ligger i olika kunskapområden och vad vi inte har en blekaste aning om.

Låt mig hänge mig åt lite anekdotisk bevisföring. Min mamma och pappa började i den spirande unga svenska grundskolan 1965, gick ut därifrån 1974 för att sedan gå över till fyraårig teknisk linje och lämna denna som färdiga gymnasieingenjörer 1978. De som ivrigt påpekar att vi måste utforma ”en framtidens skola” bör rimligtvis anse att mina föräldrar därför gått i ”dåtidens skola”.

Och det är väl ett rimligt antagande att de också gjorde det? De gick i en skola som var uppbyggd av genomgående statliga regleringar. Deras grundskoletid styrdes av reglerade timplaner, regelstyrning av verksamheten (till skillnad från dagens tydligare målstyrning), behörighetsregleringar för lärare och rektorer, ett byråkratisk finansieringssystem som till och med reglerade klasstorlekar och så vidare. Mig veterligt stötte de aldrig på en dator under hela sin skoltid, de hade förvisso miniräknare men dessa kunde inte illustrera grafer med mera utan dessa fick ritas för hand under räkneoperationerna. Ritningar och konstruktionsplaner ritades för hand och hållfastheter beräknades manuellt.

Kunde skolmyndigheter, riksdagsmän, pedagogisk expertis och Svenskt näringsliv vid denna skolpolitiska tidpunkt förutspå vilka effekter internet skulle få på skola och arbetsliv? Knappast. Har mina föräldrar stått handfallna inför denna fullkomliga revolution av kommunikationsmöjligheter, förlamade av okunskap? Knappast!

Min mamma mötte aldrig begrepp som IKT, interaktiva mötesplattformar och presentationsteknik under sin skoltid, men idag jobbar hon med det till daglig dags och är en viktig spindel i nätet (!) i kommunkationskanalerna på hennes arbetsplats. Herregud, till och med pappa gör ju powerpointpresentationer då och då!

Är detta ett inlägg därför ett upprop mot att vi ska sluta prata om IKT, en-till-en-satsningar och betydelsen av varierande redovisningsformer för eleverna? Knappast. Ska vi aktivt ta avstånd för att ta in nya impulser i skolans undervisning? Absolut inte! Det är däremot ett inlägg som manar till lite sans, balans och eftertanke:

Skolan. Skapar. Inte. Kompletta. Och. Färdiga. Människor.

Människor fortsätter att utvecklas och lära sig saker genom hela livet, såsom mina föräldrar. Om skolan lyckas förmedla centrala kunskaper inom ämnesområden, som stått sig över tid och visat sig vara viktiga byggstener för våra fortsatta vetenskapliga framsteg, så räcker det långt. Om skolan dessutom lyckas ödmjuka eleverna som passerar genom systemet så pass mycket inför all den okunskap vi som människor fortfarande besitter, så är de rustade att ta emot och handskas med de utvecklingssprång som komma skall.

Precis som mina föräldrar har gjort.

Noter

1. Se exempel på liknande debatt på ekonomistas tidigare här och här gällande huruvida geologi och nationalekonomi ”är vetenskaper” eller ej).

Taggad , , ,

RUT-avdrag för läxhjälp?

Jag undviker i så stor utsträckning som möjligt att vara politisk i denna blogg och har för avsikt att fortsätta med det. Jag kan dock inte låta bli att länka till Jonas Vlachos mycket välskrivna inlägg på Ekonomistas om regeringens förslag att tillåta RUT-avdrag för läxhjälp. Läs!

http://ekonomistas.se/2012/11/28/avdrag-for-privatundervisning-dyrt-och-ojamlikt/

Taggad , , , , ,