Månadsarkiv: mars 2013

Vad är SALSA egentligen?

I mitt jobb är jag både ute och föreläser en del för lärare och andra samt att jag i olika sammanhang träffar folk som jobbar med, eller bara allmänt intresserar sig för, skol- och utbildningspolitik. När man i dessa sammanhang diskuterar likvärdigheten i det svenska skolsystemet så dyker nästan alltid några typer av referenser till Skolverkets SALSA-databas upp. Oftast handlar dessa referenser om att den eller den kommunen eller den eller den skolan ”underpresterar” i förhållande till sitt SALSA-värde, eller att ”det är inte så konstigt att de inte presterar bättre, titta på deras SALSA-värde”.

Det har tidigare förekommit en viss debatt om detta, både akademisk och politisk, där man har menat att det är farligt att stirra sig blind på SALSA-värdena och att se dessa som någon sorts gräns varefter man kan slå sig till ro om man uppnått den; ”vi har ju de elever vi har”. Denna kritik är riktig, inte minst utifrån 2010 års skollag som tydligt stipulerar att alla elever har rätt till hjälp och stöd för att nå så långt som möjligt i sin kunskapsutveckling (3 kap 3 §).

Givet intresset för, och användandet av, SALSA-datat är det dock anmärkningsvärt få som verkligen förstått vad SALSA-modellen egentligen är, hur den fungerar och hur den räknas fram. Med detta inlägg har jag därför tänkt att i all korthet försöka förklara vad SALSA egentligen är (annat än en latinamerikansk dans alltså).

600px-LinearRegression_svgFör att kunna förstå SALSA (Skolverkets Arbetsverktyg för Lokala SambandsAnalyser) måste man för det första veta vad en regressionsanalys är. En regressionsanalys är en statistisk analys som beräknar i vilken mån en variabel kan förklara variationen i en annan variabel (gällande linjära samband, bilden intill är hämtad från wikipedia.se).

Regressionsanalysen skiljer sig alltså mot korrelationsanalysen i att den senare bara mäter sambandet mellan två variabler, medan den tidigare mäter den enas förklaringskraft på variationen i den andra. Denna skillnad är mycket viktig. Det finns nämligen en massa saker i världen som samvarierar och som kan beläggas med korrelationsanalys. Exempelvis samvarierar drunkningsolyckor och glassförsäljning. Men kan glassförsäljningen förklara drunkningsolyckorna? Nja, visst kan överdriven glasskonsumtion leda till akut kramp vilket kan orsaka drunkning, men det kan inte vara det generella problemet. Sådana orsakssamband är nog mer sannolika gällande alkohol och drunkningar. Snarare är det nog så att vi både badar och äter mer glass på sommaren och att det är detta (det ökade badandet alltså) som förklarar de ökade drunkningsolyckorna på somrarna.

Detta ger en mycket viktig lärdom: När man ska göra en regressionsanalys måste man ha en uppfattning om vilken variabel som påverkar den andra, och på vilket sätt den sannolikt ska påverka den andra. Man måste i analysen definiera vilken variabel som är oberoende (påverkar) och vilken som är beroende (påverkas). Denna uppfattning får man antingen genom att uppställa en hypotes om förhållandena, eller genom tidigare forskningsresultat.

SALSA-modellen är i grund och botten en regressionsanalys, ännu mer precist uttryckt en multipel regressionsanalys (för att det är flera oberoende variabler som ingår). När man går in i databasen får man som användare välja vilka enheter man vill titta på (kommuner eller skolor) och sedan vilka utfallsvariabler man vill se (dvs vilken beroende variabel man vill titta på, tex genomsnittligt meritvärde). När man har gjort sina val får man fram en tabell som visar den valda beroende variabeln, måtten för modellens oberoende variabler (andel pojkar, föräldrarnas utbildningsnivå, elevbakgrund) och residualvärdena för respektive enhet.

salsa

Det är dessa residualvärden som är de mått som många stirrar sig blinda på; ”presterar vi bättre eller sämre än vad vi borde?”. Detta blir i detta sammanhang en felställd fråga som grundar sig i en bristande förståelse av vad residualvärdet är. Residualen är ett mått som visar hur stor skillnad det finns mellan det värde som modellen (den linjära regressionslinjen) beräknat och det verkliga utfallet. I teoretisk mening är det alltså snarare modellen det är fel på och inte skolan eller kommunen. Vad är då ”felet” med modellen? Felet består i att modellen inte kan förklara all variation i utfallsmåtten. Hade modellen förklarat 100 % av variationen hade det inte funnits några residualvärden.

För att uppnå detta behöver man alltså i teknisk mening identifiera vilka ytterliga oberoende variabler som ska läggas till i analysen. Problemet i praktiken är dock att detta ofta är mycket svårt (i SALSA:s fall), då de ytterligare variabler som behövs ofta är av mer kvalitativ karaktär och är svåra att mäta, i synnerhet för att ge data till en sådan här modell. Dessutom är redan det samlade förklaringsvärdet bortskämt högt för att handla om regressionsanalsyer av detta slag.

I exemplet nedan har jag valt ut samtliga grundskolor med år 9 i Göteborg (N=70, i den andra analysen föll en skola bort på grund av saknade uppgifter) och lagt till ytterligare några oberoende variabler till SALSA-datat (huvudman, lärartäthet och antal elever i år 9, dessa uppgifter är hämtade från SIRIS):

tabell_salsa

Dessa är dock inte sådana variabler som i någon väsentlig mening tillför något nytt till analysen. Detta syns genom att inga av dem är statistisk signifikanta på 95 %-nivån och att de koefficienter (effekten på den beroende variabeln) som uppmäts för respektive variabel är mycket liten. Den enda variabel som i analysen är värd att snegla på är ”fristående skolor”, som är statistiskt signifikant på 90 %-nivån och, som framgår av tabellen, bidrar till att förändra övriga variablers koefficienter något i jämföresle med den första analysen. Notera också att det samlade förklaringsvärdet för modellen inte ökat, detta genom att de nya variablerna inte tillfört någon förklaringskraft. Däremot har residualerna förändrats en aning, här följer några exempel (notera att de är avrundade, därför blir 11-11 = -1 i Assaredsskolans fall):

residualer

Behövs då SALSA? Min bedömning är att databasen fyller en funktion, inte minst för att den tillhandahåller data om elevbakgrund på kommun- och skolnivå vilket är viktigt ur ett uppföljnings- och utvärderingsperspektiv. Rättanvänt ger också SALSA en bra fingervisning om vilka kommuner som lyckas bättre eller sämre med de kvalitativa variabler som inte mäts i modellen, och det kan ge huvudmän och rektorer en god grund för eftertanke och analys av den egna verksamheten utifrån perspektivet ”vad gör dom, som har samma elevsammansättning som oss, för att nå högre resultat med eleverna än vad vi gör?”. Det vill säga precis så som det var tänkt att SALSA skulle användas.

Annonser
Taggad , , , , , , , , , , , , ,