Samband mellan kvalitetsarbete och betyg?

Nyligen släpptes en artikel i Skolportens tidsskrift Leda och styra som studerar om det finns något samband mellan skolors kvalitetsarbete och elevernas resultat. Undersökningen visar att skolor som bedriver ett ”avancerat” kvalitetsarbete har ett högre genomsnittligt meritvärde bland eleverna än de som inte har det. Sambandet tycks enligt Skolportens artikel om undersökningen och dess resultat också ha överraskat författaren Marie Johansson genom att det var så tydligt.

Det låter inte osannolikt att det skulle kunna finnas ett sådant samband i och med att förbättrad måluppfyllelse säkerligen är avsikten med det kvalitetsarbete skolor bedriver och att det säkert också går att lyckas med det (konstigt och desillusionerande vore det kanske annars?). Men det är inte utan att jag direkt blir intresserad av att gräva lite djupare när jag ramlar över rubriker som dessa. Precis som jag har påpekat innan vid flera tillfällen så är det lite si och så med svensk pedagogisk forskning som studerar samband mellan olika variabler. Denna undersökning tycks inte vara något undantag.

Problemet med denna undersökning är för det första att empirin är mycket begränsad, endast nio grundskolor i en kommun studeras (undersökningen är förvisso en totalundersökning i kommunen i och med att samtliga kommunala grundskolor i kommunen undersöks). Det andra problemet är att inga sambandsanalyser egentligen görs i undersökningen (för att mäta samband eller förklaringsvärde), utan det är endast analyser av det slag nedan som görs i undersökningen:

Det skulle vara orättvist att gå för hårt åt undersökningen som sådan i och med att det är svårt att finna tydliga indikatorer i skolornas kvalitetsredovisningar som är både lättmätbara och jämförbara med varandra. Undersökningens ansats är därigenom både god och intressant på sitt sätt. Det som snarare kan, och bör, kritiseras är vilka slutsatser som dras om hur det här sambandet ser ut, i synnerhet hur starkt det är.

Det mest uppenbara problemet i detta är såklart den bristande empirin som gör att resultaten inte tillnärmelsevis är generaliserbara. Det andra är att författaren till undersökningen inte diskuterar alternativa tolkningar av vad som är bärande i sambandet. Det kan ju exempelvis vara som så att det inte är det ”avancerade” kvalitetsarbetet i sig självt som leder till högre meritvärdena utan kvalitetsarbetet kanske snarare är en vanlig följd av god och närvarande skolledning vilket är det som egentligen genererar framgången. Det finns också ytterligare andra tänkbara förklaringar på detta tema (se intressant inlägg på ekonomistas.se gällande hälsa och utbildning).

Den sista kritiken som måste riktas mot undersökningen är en fortsättning på kritiken om den bristande empirin. I och med att endast nio skolor undersökts dras studien med urvalsproblem av typen att man kan fråga sig om skolorna är representativa och om man hade fått samma resultat om fler eller andra skolor hade studerats. Det vet vi inget om och författaren nämner det för att i nästa andetag prata om styrkan ni sambandet. Låt mig ge ett vetenskapligt ohederligt exempel på hur fel det kan bli.

I tabellen nedan redovisas uppgifter om föräldrarnas sammanvägda utbildningsnivå samt genomsnittliga meritvärden från grundskolans år nio i sju ”slumpvist” utvalda kommuner:

Som det framgår av tabellen så tycks det finnas ett solklart samband mellan variablerna: Ju lägre utbildningsnivå föräldrarna har, desto högre meritvärden presterar eleverna. Detta är som sagt ett ohederligt nonsensexempel men det sätter ändå fingret på hur fel det kan bli när man (medvetet eller omedvetet) gör ett icke-representativt urval (jag har skrivit om sambandet mellan dessa variabler tidigare, se inlägg här).

Annonser
Taggad , , , , , ,

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

%d bloggare gillar detta: