Etikettarkiv: effekt

Att forma sin uppfattning om formativ bedömning (och om formidabla missförstånd)

Det finns nog inte en lärare i detta land som inte har hört talas om den Nya Zeeland-födde professorn John Hattie och hans bok Visible Learning som gavs ut första gången i slutet av 2008. Även om inte alla har läst boken själv så har alla någon gång mött påståenden om att ”Hattie visar att” eller ”enligt Hattie så borde vi”. Min erfarenhet (rätta mig om jag har fel) är dock att många av de som slänger sig med dessa uttryck inte heller själva har läst boken. Just detta fenomen – hur olika saker börja leva sitt eget liv – har jag skrivit om i ett tidigare inlägg här, då om det eventuella orsakssambandet mellan hög likvärdighet och höga resultat.

Detta inlägg ska handla om samma fenomen – hur olika forskningsresultat börjar leva sina egna liv – men denna gång om den kanske största nutida modeflugan i svenska skolsammanhang: Formativ bedömning.

En av de undervisningsmetoder som i Hatties meta-metaanalys visar sig vara allra mest effektiv för elevernas lärande är just att arbeta med formativ bedömning (d=0,90).1 Detta har slagit ned som en bomb i skolsverige, både i den faktiska verksamheten men också i skolpolitiken bland annat för att det har erbjudit ett nytt utrymme för de som är kritiska mot prov, betyg och ”summativa mätningar” av elevernas kunskaper. Med stöd i Hattie har man lyft fram betydelsen av att lärare i en kontinuerligt pågående kommunikativ process för framåtsyftande samtal med varje elev om var de befinner sig och hur eleven ska ta sig vidare till nästa nivå i sitt lärande. Det finns otaliga exempel på hur man kan göra detta, en snabb sökning på Google ger över 100 000 träffar. Skolverket har sidor som handlar om formativ bedömning och många skolor som vill ligga i framkant vill visa redan på sina hemsidor hur mycket de arbetar med formativ bedömning, ett random exempel:

På X arbetar vi med formativ bedömning. Det innebär att våra elever kontinuerligt får feedback från sina lärare så att de hela tiden vet var de ligger kunskapsmässigt och vad de behöver utveckla för att nå sina mål.

Problemet i allt detta är att det, i den mån det bygger på Hatties resultat, bygger på en mycket slarvig läsning av Hattie. Jag tror faktiskt att jag behöver kursivera detta för att göra det tydligare: Det bygger på en mycket slarvig läsning av Hattie. Den uttolkning av vad ”formativ bedömning” skulle innebära som jag möter till daglig dags i saker jag läser och folk jag möter, är att den drivande kausala mekanismen, som leder till högre kunskapsresultat hos eleverna, är just återkopplingen från lärare till elev. En återkopppling som på något sätt ska få eleven att få upp ögonen för vad denne behöver göra för att utveckla sina kunskaper ytterligare. Denna uttolkning är felaktig. Den drivande kausala mekanismen är istället enligt Hattie (1) att läraren får syn på och kan leda i bevis på vilka kunskapsområden eleven har brister2 och (2) att läraren anpassar, förändrar och tillrättalägger undervisningen på ett effektivt sätt för att bemöta detta.

Återkopplingen då? Jo då, Hattie tittar på den, men han tittar på den separat (d=0,73), men även här har vi i Sverige gjort tolkningar av resultaten som ska passa in de redan färdiga modeller vi har för hur vi tänker kring undervisning, lärande och elever. Att eleven får återkoppling av den typ som beskrevs ovan har betydelse och kan vara bra (genomsnitt för denna typ är d=0,38 enligt en av de större meta-analyserna). Riktigt bra om det vill sig väl, men det är ändå inte den mest betydelsefulla typen av återkoppling. Den viktigaste typen av återkoppling är istället den återkoppling läraren får från eleven – hör och häpna! Hattie beskriver det själv på följande sätt:

Jag har tillbringat många timmar i klassrum, arbetat med elever för att öka deras självhjälp och prövat olika metoder för att ge återkoppling. Det jag gjorde fel var att se återkoppling som något lärare gav till elever. […] Det var inte förrän jag upptäckte att återkoppling hade störst effekt när den kom från eleven till läraren som jag började förstå begreppet bättre. (s.236, svenska översättningen)

Läs också ett tidigare inlägg här på bloggen om distinktionen mellan formativ och summativ bedömning.

Noter

1) Det effektmått Hattie använder är Cohen’s D (”D” – grekiska Delta = förändring) som beräknas genom standardiserade medelvärdesdifferenser dividerat med standardavvikelsen. d=0,00 är ingen effekt, d=1,00 innebär en förbättring om en standardavvikelse. Hattie drar gränsen för effekter vi bör intressera oss för vid d=0,40.

2) Ja precis, i den svenska översättningen av Hattie används ordet ”brister” vilket inte har varit helt korrekt att göra i Sverige.

Taggad , , , , , , ,

Skrämseltaktik om evidensbaserade studier i skolan?

För någon tid sedan skrev Lars Pålsson Syll en artikel på debattsidan Skola och samhälle som handlade om den nutida fascinationen för evidensbaserade studier inom svensk skoldebatt och skolforskning. I artikeln redogör han för vissa centrala problem för evidensbaserade studier och konkluderar att det vore bättre om lärarna fick ägna sig åt det de gör bäst, nämligen att försöka undervisa eleverna på bästa tänkbara sätt efter deras behov. Förhoppningsvis, menar Syll, får inriktningen på evidensbaserade studier i skolforskningen inga effekter alls, i värsta fall kan det leda in på villospår.

Jag tänkte med det här inlägget låta mig själv breda ut texten lite och i några centrala punkter peka på sådant som jag själv uppfattar som brister i Sylls artikel samt försöka visa på, dels vad Syll (förmodligen medvetet) utelämnar i sin metodologiska diskussion, dels hur resonemanget gällande den evidensbaserade forskningen nästan i större grad är giltig för den pedagogiska forskningen i stort och inte specifikt för evidensbaserad forskning.

Låt oss börja med att reda ut vad som menas med ”evidensbaserad forskning”. Den grundläggande idén kommer från medicinsk forskning där evidensbaserade studier är ett viktigt redskap för att testa ut nya mediciner och behandlingsmetoder. Det centrala inslaget i evidensbaserade studiers metod är att de använder sig av randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Härigenom framkommer möjligheten att jämföra eventuella effekter grupperna emellan och de effektskillnader man som forskare uppmäter är (förhoppningsvis) ett resultat av interventionen. Om de uppmätta effekterna är stora på de områden man önskar kan det vara värt att fortsätta använda metoden. Att man kallar forskningen för ”evidensbaserad” är alltså för att markera att det ”finns evidens” för att den undersökta metoden (interventionen) har haft effekt.

Redan i denna beskrivning av evidensbaserade studier kan vi identifiera några av de delar som Syll kritiserar. Syll påpekar att det kan finnas en svårighet i att veta att det just är interventionen som har haft effekt, tänk om det var något annat? Om exemplet ovan handlar om utprövning av nya blodförtunnande mediciner är det rimligt att tänka sig att samtliga deltagares ålder, kondition, tidigare leverne, tidigare sjukdomar och så vidare påverkar effekterna av interventionen. Det vi tror är stora effekter av interventionen skulle egentligen, menar Syll, kunna vara en effekt av att ett gäng gubbar och gummor i studien helt plötsligt fått för sig att börja jogga igen, och därigenom uppvisar förbättrat hälsotillstånd.

Detta skulle kunna föranleda oss att göra politiska felsteg. Om vi, i villfarelsen att det var interventionen som hade stora effekter, börjar skriva ut den nya medicinen i stor skala så har vi missat vad vi verkligen borde ordinera – mer motion (paradoxalt nog är detta precis sådan kritik som också riktas mot icke-evidensbaserad forskning, se exempel på forskning.se).

Syll är dock finurlig när han lägger fram denna kritik. Detta är nämligen problem som länge har gäckat alla de som sysslar med kvantitativa metoder och han, i sin roll som nationalekonom, är väl medveten om hur man gör för att kontrollera för olika variabler i analysen (den som är intresserad av hur detta går till rekommenderas varmt att läsa denna exemplariska beskrivning i SPSS-akuten. Bilden intill är hämtad därifrån.).

Det finns dock ett djupare problem kopplat till detta, som faktiskt många kvantitativa studier inom flertalet discipliner – inte endast pedagogik och ämnesdidaktik – lider av. Det är att utforma studierna till att vara hypotesprövande. Att rigga studier till att vara just hypotesprövande slarvas det något alldeles otroligt med, trots att många av grundskolans lärare i naturvetenskapliga ämnen idogt tjatat på elevgeneration efter elevgeneration att de måste ställa upp en hypotes innan de kör igång med laborationerna (det gjorde i alla fall min NO-lärare, om du läser det här Anna – tack!).

Som det framgår av ordet i sig självt så handlar hypotesprövning om att först ställa upp en hypotes (givet att premiss A och B gäller så förväntar jag mig att X kommer att ske, eller översatt: Givet rätt atmosfäriskt tryck (A) och tillräckligt tillförd värme (B) så förväntar jag mig att vattnet kommer att koka (X)) och sedan via ett försök, en observation, en statistiskt undersökning eller annat undersöka om hypotesen stämmer eller ej.

Det som gör hypotesprövningen centralt för den här diskussionen, kopplat till Sylls artikel, är att om vi inte först ställer upp en hypotes, utan bara planlöst börjar söka efter samband mellan olika företeelser så är risken stor att vi råkar trilla över ett såkallat spuriöst samband, eller på ren svenska – ett nonsenssamband. Låt mig ge ett exempel: Anta att jag har ramlat över en spännande datauppsättning som innehåller drunkningsolyckor i Sverige för åren 1998-2008. Jag studerar variationen i statistiken och upptäcker att det finns ett visst mönster i variationen, i synnerhet mellan sommar och vinter. Detta måste bero på något! Glad i hågen söker jag planlöst runt på internet tills jag ramlar över statistik över GB:s glassförsäljning för tidsperiod. Spännande tänker jag och gör korrelations- och regressionsanalyser mellan drunkningsolyckor och glassförsäljning och döm av min förvåning när analysen svart på vitt visar att glassförsäljningen har ett mycket gott förklaringsvärde på antalet drunkningsolyckor; ökad glassförsäljning orsakar fler drunkningsolyckor! (den som vill fördjupa sig i detta rekommenderas att läsa den formidabla skriften ”Konsten att vara vetenskaplig” av filosofen och vetenskapsteoretikern Sven Ove Hansson. Gällande hypotesprövning mm, se i synnerhet s.75-80).

Det hypotesprövningen bidrar med är därför i stort att forskaren binder sin kommande studie till en viss teoribildning eller tidigare empiriska fynd som avser kunna förklara ett visst fenomen och resultaten i studien bedöms just efter om de belägger eller vederlägger hypotesen.

För att sammanfatta det jag har skrivit hittills: Ja, Syll för fram rättmätig kritik mot många evidensbaserade studiers metodik, men det är i stor grad möjligt att undvika dessa problem genom att alltid utgå från en noggrant formulerad hypotes som också försöker förutsäga vilka kontrollvariabler som kommer att vara betydelsefulla för analysen.

Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här).

För den läsare som vill skapa sig en egen uppfattning av skillnaderna mellan en nyare evidensbaserad studie och ett typexempel på svensk kvalitativ forskning kan jämföra dessa två finländska delstudier av Heikki Lyytinen m.fl samt denna svenska doktorsavhandling.

Min personliga slutsats av den evidensbaserade forskningens inträde i svensk utbildningsvetenskaplig forskning är att den har mycket att bidra med, både resultatmässigt men även som en metodologisk vitamininjektion. Jag tror personligen också att många av de farhågor som målas upp av Syll m.fl är överdrivna.

Men det kan jag förstås inte i strikt vetenskaplig mening vara helt säker på.

Taggad , , , , , , , , , , , , , ,

Om konsten att välja bland resultat – Skolledarförbundet i särskådning

I början av oktober i år släpptes ytterligare en IFAU-rapport, denna gång om Rektorers betydelse för skola, elever och lärare. Ett problem med att mäta effekter av olika skickliga rektorer är att det är svårt att finna en relevant kontrollgrupp som det går att jämföra mot. Det är möjligt att man skulle kunna finna en indikator som mäter rektorers skicklighet och sedan jämföra grupper som har höga och låga sådana värden, men problemet är att det alltför ofta blir för trubbiga mått (som jag exempelvis skrev om gällande Kristianstadspolitikern Jonas Fasths studie av skolstrukturella faktorer). Det är också rakt omöjligt att bedöma ett faktiskt utfall mot ett kontrafaktiskt, det vill säga att försöka skatta hur det hade blivit om vi inte hade haft den rektor vi hade och så vidare.

Ur detta perspektiv är ovan nämnda IFAU-studie snillrik genom att författarna till den använder en grupp som de kallar för ”bytesrektorer”, det vill säga rektorer som de kan följa från en skola till en annan när de byter arbetsplats, för att på så sätt få fram mått på de avtryck som rektorerna lämnar på respektive skola. Några av de centrala resultaten sammanfattas i denna tabell (hämtad från sida 11 i rapporten):

Vad motsvarar dessa effekter? Rapportförfattarna använder ett tankeexperiment där de illustrerar skillnaderna av att ha en rektor i den 30:e percentilen respektive den 70:e avseende positiv inverkan på respektive område där effekterna skulle motsvara en förbättring (om byte av rektor från 30:e till 70:e) om motsvarande 3,1 meritvärdespoäng i grundskolan, 3,5 procent bättre resultat på de nationella proven och 2,5 procent större andel elever som klarar de grundläggande kursmålen (s.12f).

En central del i rapporten är dock när dessa resultat sätts i relation till andra resultat i undersökningen. Exempelvis visar undersökningen att rektors påverkan är störst på små skolor, där de kan påverka studieresultat och provresultat mest. Störst påverkan har de också på fristående skolor. Dessa resultat slår också igenom på betygsinflationsmåttet som används i studien och det är tydligt att vissa rektorer ser till att driva igenom en mer generös betygsättning än andra. Dessa resultat ligger helt i linje med sådana resultat jag redogjort för i tidigare blogginlägg om betygsinflation här och här, och de ger också ytterligare stöd för de resultat som framkom av Lärarnas Riksförbunds undersökning Betygsättning under påverkan(2011).

Sammantaget tycks alltså studien visa på anledningar att ge både ris och ros till rektorer, något som är väl värt att ta fasta på. Något jag personligen tyckte var roligt att ägna mig åt när studien publicerades var att följa upp vilka delar av rapporten som Sveriges skolledarförbund valde att fokusera på. Gissa vilka och kolla facit här!

Taggad , , , , , , , , , , ,

Vad påverkar elevers medborgarkunskaper?

I maj 2011 släppte Skolverket en mycket intressant kunskapsöversikt med titeln Skolan och medborgarskapandet. Översikten är en uppföljning av den internationella undersökning om medborgarkunskaper som Sverige sedan tidigare deltagit i, nämligen International Civic and Citizenship Education Study (ICCS 2009). I jämförelse med resultaten från andra internationella kunskapsmätningar (som jag skrivit tidigare om här) så finns det en hel del positiva resultat för Sveriges del i ICCS-studien. Bland annat så visar studien att de svenska eleverna har mycket goda medborgarkunskaper i jämförelse med många andra länder.

Problem finns dock. Bland annat så finns det inget annat europeiskt land i studien där föräldrarnas utbildningsnivå har så stor betydelse för elevernas medborgarkunskaper som i Sverige. Detta är mycket oroande, i synnerhet eftersom att de elever vars föräldrar har lägst utbildningsnivå sannolikt är de som också i störst utsträckning kommer att hamna på kant med samhället, dels avseende samhälliga interventioner och ingripanden i ett fåtals liv (arbetsförmedling, försörjningsstöd, kriminalvård mm) dels genom en allmän besvikelse för flertalet över samhället i stort, deras plats i samhällslivet, politiken och deras tilltro till den samt den farliga känslan av maktlöshet och uppgivenhet. Av dessa anledningar är denna grupp elever den grupp som är i störst behov av att skolans medborgarutbildning har en kompensatorisk effekt, något studien visar att dev svenska skolan inte har. Detta skär som en kniv i åtminstone mitt samhällskunskapslärarhjärta.

I en uppföljande studie av ICCS-data har Joakim Ekman och Pär Zetterberg studerat vilka förklaringsvärden olika faktorer har på elevernas medborgarkunskaper. I Skolverkets kunskapsöversikt redovisas några av deras resultat i följande tabell (hämtat från s.112)1:

Som tabellen visar så har andelen pojkar rakt igenom ett negativt samband med attityder till jämställdhet, till invandrare, förtroende för politiker mm, det vill säga att ju fler killar i en datauppsättning, desto sämre attityder till jämställdhet, invandrare mm. Detsamma gäller för andel elever med utländsk bakgrund men med skillnaden att utländsk bakgrund uppvisar ett positivt samband med samhällsengagemang.

Den stora skillnaden som framgår av tabellen är när effekten av högskoleutbildade föräldrar studeras. Rakt igenom har variabeln ”högskoleutbildade föräldrar” ett positivt samband med de undersökta attityderna. Det som är betydelsefullt att uppmärksamma, mot bakgrund av de risker jag målade upp för de med lågutbildade föräldrar ovan, är att högskoleutbildade föräldrar också har positiv effekt på politisk självtillit, politisk kunskap, samhällsengagemang, valdeltagande och lagliga protester. Det visar sammantaget att dessa elever inte bara bär ett större kulturellt kapital, utan att de också i större utsträckning kommer att besitta möjligheter att göra sin röst hörd och kunna få sin vilja igenom. Det är centralt för om individen utvecklar en känsla av makt eller vanmakt, samhällstillit eller samhällsmotstånd.

Detta är något för den svenska skolan att ta på största allvar (särskilt som Skolinspektionen lyfter angränsande problematik i denna granskning), och kanske i synnerhet alla våra samhällskunskapslärare.

———-

Noter

1. Ekman, Joakim och Pär Zetterberg (2010b) ”Vad förklarar skillnaderna mellan 14-åringars medborgarkompetens? En tvånivåanalys av den svenska delen av ICCS-undersökningen”, i Erik Amnå et al., Skolor som politiska arenor. Medborgarkompetens och kontrovershantering. Stockholm: Skolverket.

Taggad , , , , , , , , , , , ,