Kategoriarkiv: Forskning

Obligatorisk gymnasieskola, ett alexanderhugg?

De som har följt den skolpolitiska debatten vet att socialdemokraterna för en tid sedan lanserade ett förslag om att göra gymnasieskolan obligatorisk. Ett förslag som nu ser ut att bli aktuellt sedan man tagit över regeringsmakten tillsammans med Miljöpartiet. Förslaget är ännu väldigt löst i konturerna, så det är svårt att veta vad det mer specifikt skulle innebära men jag vill ändå i det här inlägget skissera några tankar kring förslaget.

Den som har följt debatten vet att förslaget har fått vissa mothugg, både från andra politiska partier men även från vissa lärare. Utan att vara alltför politisk (jag är ju faktiskt tjänsteman) vill jag dock också skissera några problem som finns med förslaget. Eller snarare så här: Jag vill skissera en bild av vilka problem som inte kommer lösas via en obligatorisk gymnasieskola.

Grundproblemet återges i den infografik jag satt samman nedan. I denna följer jag kohorten född 1992[1], från det att de föds, till årskurs ett, genom grundskolan samt in och ut ur gymnasieskolan. Det grafiken illustrerar är att om vi menar allvar med att vi vill att alla elever ska fullfölja en gymnasieutbildning finns det första stora problemet att lösa redan i grundskolan. Att lite drygt var tionde elev inte klarar grundskolan är ett stort problem, i synnerhet som denna skolform redan är obligatorisk (att belägga en skolform med plikt tycks således inte garantera framgång). Eleverna är av lag tvungna att infinna sig där, men det allmänna lyckas för dessa elever inte fullfölja sitt åtagande att få eleverna godkända. Nästa problem ligger också i hur man klarar grundskolan. Elever med de lägsta meritvärdena löper cirka 7 gånger högre risk för avbrott än de med näst högst meritvärden från grundskolan.

Nästa problem är att endast en tredjedel tar sig vidare från de individuella programmen till ett nationellt gymnasieprogram. Många elever hoppar av gymnasiet efter ett eller två år på dessa program. Dessa elever får senare mycket stora problem att etablera sig på arbetsmarknaden.

Väl i gymnasieskolan finns nästa problem, som nämndes ovan. Knappt sju av tio elever fullföljer gymnasiet inom tre år och de andelar som lyckas fullfölja inom fyra och fem år är mycket små i jämförelse med den tredjedel av eleverna som aldrig fullföljer. Vi vet från tidigare studier att de som hoppade av har gjort det av flera skäl, men ett återkommande skäl är att de inte fått tillräckligt med stöd för att klara utbildningen.

oblgymnasieskola_infografik

I socialdemokraternas förslag ligger också att alla program ska leda till allmän högskolebehörighet. Det tidigare forskning har visat är att införandet av en godkäntgräns parat med den generella förlängningen av yrkesprogrammen från två- till treåriga slog hårt mot elever från i synnerhet arbetarhem och i synnerhet pojkar med låga meritvärden från grundskolan då deras avbrott ökade kraftigt. Utmaningen – om man menar allvar med att man också vill att alla elever ska klara sina utbildningar – ligger i hur man ska lyckas förmå dessa elever att fullfölja utbildningen med godkända resultat. Det räcker inte att bara göra gymnasieskolan obligatorisk, för 99 % av varje kohort börjar faktiskt gymnasieskolan redan, utan det krävs rejäla insatser ifråga om stöd och annat för att det ska gå vägen.

Inget politiskt parti har hittills beskrivit vilka åtgärder detta skulle vara och vilka resurser som skulle behövas för att åtgärderna ska lyckas. Desto mindre finns sådana förslag för grundskolan varför den enda pliktbelagda skolformen i Sverige fortsatt inte förmår tillförse att alla dess elever lämnar den med godkända betyg. Finns reformpengar att tillgå för den nya regeringen tycker därför jag personligen att grundskolan vore rätt ände att börja i.

Datakällor:

Skolverkets statistik, Grundskolan, ”Skolor och elever läsåret 1999/00”, Tabell 3.4

Skolverkets statistik, Gymnasieskolan, ”Betyg och studieresultat 2012/13”, Tabell 8 A-C

Noter:

[1] Notera att det finns vissa brister i denna sammanställning. Jag har tex inte haft tillgång till individdata för hela kohorten, vilket radikalt hade förbättrat precisionen i beräkningarna. Denna sammanställning bygger istället på Skolverkets officiella statistik vilket tex leder till problemet att det tillkommer andra nybörjarargymnasister hösten 2008 som inte är födda 1992. Dessa utgör något tusental elever. Felmarginalen i dessa beräkningar är därför någon procentenhet upp eller ner, men grafiken återger ändå en rättvis bild av den grundproblematik blogginlägget vill visa.

Taggad , , , , ,

Att forma sin uppfattning om formativ bedömning (och om formidabla missförstånd)

Det finns nog inte en lärare i detta land som inte har hört talas om den Nya Zeeland-födde professorn John Hattie och hans bok Visible Learning som gavs ut första gången i slutet av 2008. Även om inte alla har läst boken själv så har alla någon gång mött påståenden om att ”Hattie visar att” eller ”enligt Hattie så borde vi”. Min erfarenhet (rätta mig om jag har fel) är dock att många av de som slänger sig med dessa uttryck inte heller själva har läst boken. Just detta fenomen – hur olika saker börja leva sitt eget liv – har jag skrivit om i ett tidigare inlägg här, då om det eventuella orsakssambandet mellan hög likvärdighet och höga resultat.

Detta inlägg ska handla om samma fenomen – hur olika forskningsresultat börjar leva sina egna liv – men denna gång om den kanske största nutida modeflugan i svenska skolsammanhang: Formativ bedömning.

En av de undervisningsmetoder som i Hatties meta-metaanalys visar sig vara allra mest effektiv för elevernas lärande är just att arbeta med formativ bedömning (d=0,90).1 Detta har slagit ned som en bomb i skolsverige, både i den faktiska verksamheten men också i skolpolitiken bland annat för att det har erbjudit ett nytt utrymme för de som är kritiska mot prov, betyg och ”summativa mätningar” av elevernas kunskaper. Med stöd i Hattie har man lyft fram betydelsen av att lärare i en kontinuerligt pågående kommunikativ process för framåtsyftande samtal med varje elev om var de befinner sig och hur eleven ska ta sig vidare till nästa nivå i sitt lärande. Det finns otaliga exempel på hur man kan göra detta, en snabb sökning på Google ger över 100 000 träffar. Skolverket har sidor som handlar om formativ bedömning och många skolor som vill ligga i framkant vill visa redan på sina hemsidor hur mycket de arbetar med formativ bedömning, ett random exempel:

På X arbetar vi med formativ bedömning. Det innebär att våra elever kontinuerligt får feedback från sina lärare så att de hela tiden vet var de ligger kunskapsmässigt och vad de behöver utveckla för att nå sina mål.

Problemet i allt detta är att det, i den mån det bygger på Hatties resultat, bygger på en mycket slarvig läsning av Hattie. Jag tror faktiskt att jag behöver kursivera detta för att göra det tydligare: Det bygger på en mycket slarvig läsning av Hattie. Den uttolkning av vad ”formativ bedömning” skulle innebära som jag möter till daglig dags i saker jag läser och folk jag möter, är att den drivande kausala mekanismen, som leder till högre kunskapsresultat hos eleverna, är just återkopplingen från lärare till elev. En återkopppling som på något sätt ska få eleven att få upp ögonen för vad denne behöver göra för att utveckla sina kunskaper ytterligare. Denna uttolkning är felaktig. Den drivande kausala mekanismen är istället enligt Hattie (1) att läraren får syn på och kan leda i bevis på vilka kunskapsområden eleven har brister2 och (2) att läraren anpassar, förändrar och tillrättalägger undervisningen på ett effektivt sätt för att bemöta detta.

Återkopplingen då? Jo då, Hattie tittar på den, men han tittar på den separat (d=0,73), men även här har vi i Sverige gjort tolkningar av resultaten som ska passa in de redan färdiga modeller vi har för hur vi tänker kring undervisning, lärande och elever. Att eleven får återkoppling av den typ som beskrevs ovan har betydelse och kan vara bra (genomsnitt för denna typ är d=0,38 enligt en av de större meta-analyserna). Riktigt bra om det vill sig väl, men det är ändå inte den mest betydelsefulla typen av återkoppling. Den viktigaste typen av återkoppling är istället den återkoppling läraren får från eleven – hör och häpna! Hattie beskriver det själv på följande sätt:

Jag har tillbringat många timmar i klassrum, arbetat med elever för att öka deras självhjälp och prövat olika metoder för att ge återkoppling. Det jag gjorde fel var att se återkoppling som något lärare gav till elever. […] Det var inte förrän jag upptäckte att återkoppling hade störst effekt när den kom från eleven till läraren som jag började förstå begreppet bättre. (s.236, svenska översättningen)

Läs också ett tidigare inlägg här på bloggen om distinktionen mellan formativ och summativ bedömning.

Noter

1) Det effektmått Hattie använder är Cohen’s D (”D” – grekiska Delta = förändring) som beräknas genom standardiserade medelvärdesdifferenser dividerat med standardavvikelsen. d=0,00 är ingen effekt, d=1,00 innebär en förbättring om en standardavvikelse. Hattie drar gränsen för effekter vi bör intressera oss för vid d=0,40.

2) Ja precis, i den svenska översättningen av Hattie används ordet ”brister” vilket inte har varit helt korrekt att göra i Sverige.

Taggad , , , , , , ,

Leder hög likvärdighet till höga resultat?

Allmänhetens medvetenhet om PISA-undersökningarna har vi det här laget nog blivit väldigt god, i och med att i princip alla debattartiklar om skolan, politiker mfl refererar till resultat från desamma. I takt med att resultaten från undersökningarna blivit allmängods så har många resultat också börjat leva sina egna liv. Det är lite som i viskleken – man har läst och hört andra tala om resultaten så mycket att man tycker att man själv kan återge dem utan att behöva kolla upp dem noggrannare, vilket såklart leder fram till vissa vantolkningar.

Ett sådant exempel gäller sambandet mellan höga kunskapsresultat och likvärdighet. Det har nämligen visat sig i PISA-undersökningarna att många av de mest framgångsrika skolsystemen lyckas kombinera höga kunskapsresultat och hög likvärdighet. Detta har OECD-forskarna lyft fram i sina rapporter, framförallt för att påpeka att resultaten visar att det inte behöver finnas något motsatsförhållande mellan höga resultat och hög likvärdighet; det finns skolsystem som när de satsar på att lyfta kunskapsnivån hos elever med ogynnsamma förutsättningar lyckas göra det utan att hämma de med mycket gynnsamma förutsättningar (se tex Education Today (2013), kap 7).

I den svenska debatten har dessa resultat börjat leva ett eget liv då vissa, med hänvisning till ”PISA”, vill mena att hög likvärdighet leder till höga kunskapsresultat, det vill säga att det skulle finnas ett kausalt samband mellan likvärdighet och goda resultat.

I vissa fall kan det såklart vara sant. Ett skolsystem som har en viss andel högpresterande, men som inte är likvärdigt, skulle såklart höja sina resultat (medelvärdet) om de lyckas ”lyfta botten” utan att hämma toppen. Men samtidigt, ett system som i sina försök att bli mer likvärdigt skulle hämma den högpresterande andelen, utan att lyckas höja den svagpresterande, skulle få ett mediokert snittresultat men högre likvärdighet.

Varför är detta viktigt? Jo, i Sverige vill ju samtliga debattörer höja både likvärdigheten och kunskapsresultaten. Då är det synnerligen viktigt att vi studerar vad det är som gör att vissa länder lyckas med just både och.

Diagrammet nedan baseras på OECD-data som visar ”ursprungssambandet” mellan PISA-resultat i läsförståelse och ett av de likvärdighetsmått OECD använder i sina studier. Som diagrammet visar finns ett visst positivt samband mellan variablerna, men diagrammet visar också att spännvidden är stor. Längs OECD-snittet om 500 poäng finns till exempel 16 länder samlade men med helt olika nivåer av likvärdighet:

samband likvärdighet och resultat

Måttet för likvärdighet mäter hur stor andel av variationen i elevresultaten som kan förklaras av PISA-undersökningarnas socioekonomiska index. Skalan uttrycks i procent. Sverige ligger i princip i mitten av diagrammet.

Taggad , , , , ,

Valtider, opinionsmätningstider och felmätningstider

Vi går ett supervalår tillmötes. Det börjar synas redan. Efter en tids skolpolitisk triangulering har partierna nu åter börjat försöka särskilja sig från varandra. Den som stannar upp och tänker efter märker dock att det ofta rör sig om förslag på marginalen. Många av de stora dragen i svensk skolpolitik de senaste åren har skett i stort samförstånd mellan blocken, se en mycket god översikt här.

Att vinna politiska val handlar dock mycket om att visa vad man själv skulle kunna göra om man satt vid makten samt att visa vad andra gör eller tänker fel. Spelplanen är satt för alla de som intresserar sig för att mäta hur opinionen reagerar på detta – vilka har stöd i opinionen och vilka har det inte?

Detta aktualiserar frågan om enkäter och opinionsmätningar, hur de ska utformas och vad de ska mäta. De som sysslar med enkätmetodik vet att mycket har hänt på detta område. En generell utmaning som vuxit fram – för alla i fältet – är att folks allmänna svarsbenägenhet tycks falla. Det blir allt svårare att nå höga svarsfrekvenser i undersökningar, inte bara för vilken random intresseorganisation som helst utan även för SCB.

Ett sätt att försöka möta trenden är att göra det lättare och mer attraktivt att svara på en enkät. Ett sätt att lyckas med detta är att använda webenkäter, vilket många gör. Att detta blivit lättillgängligt spär dock på problemet från ett annat håll, genom att sannolikt bidra till ökad enkättrötthet. Det är numer enkelt och billigt att skicka ut enkäter vilket innebär att fler gör det. Detta skapar en enkättrötthet bland de som ska svara. Sannolikt påverkar det svarsfrekvenserna, både det direkta bortfallet – att folk inte börjar svara – men också det interna bortfallet att de som väl börjar ibland inte orkar fortsätta om de märker att enkäten tex är tråkig.

Varför är bortfall och låga svarsfrekvenser ett problem? Det grundläggande problemet härstammar från viljan att kunna generalisera resultatet till en hel population. Om vi undersöker hur folk tänker rösta, för att kunna skriva om det i tidningen, vill vi ju också att prognosen stämmer hyfsat väl, annars är det ointressant.

Det starkaste verktyget för att uppnå detta är därför att dra ett obundet slumpmässigt urval ur en större, representativ population. Genom att jämföra bruttourvalets representativitet mot totalpopulationen kan vi när undersökningen är färdig jämföra vårt nettourval av svarande mot ursprungspopulationen och se om bortfallet varit lika tvärsöver eller om någon grupp haft ett särskilt stort bortfall.

Om allt ser bra ut kan sedan ett konfidensintervall beräknas, dvs vilka felmarginaler vi kan tänkas ha för svaren (45 % tänker rösta si eller så +/- 3,5 %).

Det krävs ganska rejäla resurser för att kunna göra detta, och alla vill inte satsa det. Det vi därför ofta ser nu (särskilt i valtider) är att olika aktörer gör webenkäter där de skjuter ut dom brett, till populationer de inte har en aning om hur de ser ut eller hur svarandegruppen sedan ser ut. Dessa typer av undersökningar bör man vara försiktig med att dra för stora växlar på.

Ett alldeles färskt exempel på detta missbruk av enkäter kom häromdagen från Skolporten, ett företag som bevakar skolfrågor. På sin webplats hade de under perioden 11/10 – 5/12 en fråga utlagd som löd ”Vilket riksdagsparti för bäst skolpolitik?”. Frågan skickades också ut via nyhetsbrev, via Twitter och på Facebook. Totalt samlades 585 svar in. Enligt egen utsago riktade sig enkäten till personal inom skola och förskola.

Valet2014_enkat1

Enligt enkäten (diagram från Skolporten.se) anser de svarande att Vänsterpartiet för den bästa skolpolitiken. Detta lanserades i egna nyheter och snurrade runt en del på Twitter. Detta är anmärkningsvärt, i och med att enkäten de facto endast kan uttala sig om vilken preferens 585 i princip oidentifierade respondenter har. Vi vet inget om vilka yrken de har, hur gamla de är, om de har jobb, vilken utbildning de har, var i landet de bor eller ens vilket kön de har. Desto mindre vet vi hur dessa 585 personer förhåller sig som grupp till befolkningen i sin helhet eller de röstberättigade. Vi vet heller inget om de personer som sett enkäten men inte valt att besvara den. Vi vet heller inget om hur många totalt som sett länken och hur stor andel av dessa som också besvarat den.

”Enkäten” lämnar oss alltså egentligen med fler frågor än svar samt en viktig påminnelse om betydelsen av att vi förhåller oss kritiska till vissa typer av enkäter.

Uppdatering 2014-04-03

Som av en händelse så ramlade jag idag över en mätning som Svenska dagbladet publicerade igår. Mätningen är gjord 25-31 mars (notera skillnaden i hur länge insamlingen pågick mot Skolportens enkät – detta påverkar också resultaten, i synnerhet då deras också överlappar PISA-chocken) bland 1000 respondenter (notera att SvD inte heller skriver något om hur många som ingick i bruttourvalet och vilken svarsfrekvens dessa 1000 inneburit. SvD litar på att folk ska lita på Sifo). Frågan som ställdes var: ”Vilket parti har du störst förtroende för i skolfrågor?”

Föga förvånande skiljer sig resultaten i partisympatier rejält från Skolportens enkät:

svdsifo

Den som härbärgerar ett djupare intresse bör med fördel läsa detta inlägg av Henrik Ekengren Oscarsson vid Göteborgs universitet samt detta inlägg på Politologerna om en intressant jämförande studie av olika paneler och urval.

Taggad , , , , , ,

Skolval och segregation – forskningen och debatten därom

Inför Socialdemokraternas kongress i början av april blossade en debatt om det svenska friskolesystemet upp, detta som en följd av de många motionerna om vinstförbud i skattefinansierad välfärd som inkommit till kongressen. Vid sidan av frågan om vinster överhuvudtaget ska få tas ut eller inte handlade debatten också om vilka effekter friskolereformen har haft. Sidorna tycks vara lika oense i båda frågorna.

Vinstfrågan åsidosatt tycks motståndssidans huvudargument vara att friskolereformen har haft en starkt segregerande effekt på den svenska skolan. Segregerande i betydelsen att elevsammansättningen på skolnivå över tid har blivit alltmer homogen där elever med likartad bakgrund, likartade förutsättningar och ambitioner i allt större utsträckning går tillsammans. Förespråkarna å sin sida menar att skolsegregationen till störst del, fortsatt, förklaras av boendesegregationen (vilken vissa också menar har ökat) samt att friskolereformens största förtjänst är att den erbjuder elever en väg bort från skolor som de inte vill gå i. Newsmilldebatten mellan den tidigare chefredaktören för DN och sedermera friskoleintressenten docent Hans Bergström och den tidigare chefredaktören för Lärarförbundets medlemstidning Lärarnas Tidning Sten Svensson, utgör ett gott exempel på debatten. (Se Bergströms inlägg här, Svenssons här, Bergströms här och Svenssons här. Se också Cecilia Nykvist, vd Friskolornas Riksförbund här). Debatten har också fortsatt, se exempel här och här.

Parallellt med – eller som en följd av – denna debatt diskuteras också vilka effekter friskolereformen (och valfrihetsreformerna i stort) har haft på elevernas kunskapsutveckling, spridningen eleverna mellan samt likvärdigheten.

Det kan tyckas märkligt att de kan vara så oense om vilka effekter friskolereformen har haft, i synnerhet som det finns forskning på området. Problemet är dock att de olika studier som refereras ofta har olika utgångspunkter, grundar sig på olika antaganden och använder olika metoder (Friskolornas Riksförbund släppte en rapport inför s-kongressen som gör en genomgång av viss forskning på området, se här). Kännetecknande för debatten är också att det ofta saknas nyansering om vilka skillnader det är man pratar om, att man använder sig av statistiska jämförelser och analyser som inte alltid gör tillräckliga kontroller för till exempel elevbakgrund samt att man utgår från teoretiska antaganden om kausala samband mellan reformer (i detta fall ökad valfrihet på skolområdet) och utfall. Detta gäller både forskningen om eventuell skolsegregation samt den om likvärdighet och skolresultat.

Det sistnämnda – antaganden om kausala samband – är ett fenomen som ofta syns bland de som förespråkar friskolereformen och som vill tona ned eventuella segregerande effekter av densamma. Genom att hävda att friskolereformen möjliggör för alla elever att aktivt söka sig ifrån skolor de inte vill gå i – som de kanske hade hamnat i om närhetsprincipen gällde allena – så kommer en sådan reform inte att ha segregerande effekter (detta är den argumentation Cecilia Nykvist återkommit till).

Detta framstår minst sagt som en röra och man undrar ju stillsamt om det är något vi har tydlig kunskap om?

En hel del frågetecken i denna debatt rätas förtjänstfullt ut av Jonas Vlachos i ett tidigare inlägg på ekonomistas.se, allt med referenser till tidigare studier. Vlachos har också sedan innan bidragit till viktig nyansering i debatten om vilka segregerande effekter friskolereformen har haft i Sverige. Detta består främst i en indelning av fristående skolor i två grupper, en för skolor som drivs som aktiebolag (vinstdrivande) och en för skolor som drivs som stiftelser eller ideellt (icke-vinstdrivande).

Följande tabell från Vlachos kapitel om skolan i SNS kunskapsöversikt ”Konkurrensens konsekvenser” visar en uppdelning av detta slag:

tabell_vlachos

Tabellen visar tydligt hur de fristående skolorna som drivs som aktiebolag numer tydligt liknar de kommunala skolorna avseende elevsammansättning samt att det främst är i de ideella skolorna som en kraftig selektion sker (notera andelen flickor i dessa skolor).

I Skolverkets Lägesbedömning för 2013 så gör myndigheten en sammanfattning av den skillnad i elevsammansättning som vuxit fram och som indikerar varför det fortsatt är svårt att nå klarhet på området:

Rapporten visar att endast en del av de ökade resultatskillnaderna mellan skolor kan förklaras med en ökad skolsegregation med avseende på skolornas socioekonomiska elevsammansättning. Skolorna verkar däremot bli mer och mer segregerade efter egenskaper som inte visar sig i den vanliga statistiken, till exempel att mer studiemotiverade elever i större utsträckning tenderar att utnyttja det fria skolvalet och söka sig till skolor där det finns många andra studiemotiverade elever. På så sätt delas eleverna upp efter resultat och dolda egenskaper snarare än efter traditionella mått på socioekonomisk bakgrund. (s.34)

Detta citat blir också aktuellt kring frågan vad som orsakar skolsegregationen – är det elevernas skolval eller är det boendesegregationen? Skolverkets analys indikerar att de i viss mån är inne på valet. Detta stämmer också överens med Bo Malmberg mfl forskning som indikerar att boendesegregationen inte ökat i sådan grad att det kan förklara ökad skolsegregation. Malmberg mfl pekar snarare mot skolvalet. Detta är dock inte klarlagt, utan en diskussion om detta pågår fortfarande (se också kommentarerna till inlägget som länkades ovan).

I detta sammanhang är det också viktigt att påpeka vilken historik Sverige har i detta sammanhang. Sverige som land har en lång historia av att en mycket låg mellanskolvariation i resultat och vi har fortsatt – internationellt sett – en heterogen elevsammansättning på skolnivå. Vi har rört oss långt ifrån de tidigare låga nivåerna och har nu både en större mellanskolvariation än någonsin tidigare, kommunvariation och skillnader på individnivå.

Det finns många studier som visar på denna utveckling och jag har refererat en del i detta och tidigare inlägg. Jag tänkte avslutningsvis visa några av förändringarna med en del deskriptiv statistik. Viktigt att notera är att detta inte utgör några belägg för vad orsaken är till förändringarna – om det till exempel är skolvalet eller boendesegregationen – utan det beskriver endast en del av den utveckling som skett.

För det första kan man av statistiken konstatera att spridningen i elevsammansättningen har ökat. I följande tabell redovisas standardavvikelsen för några variabler (på skolnivå) för respektive år:

segr1

Källa: Egna bearbetningar av data från SIRIS. Antal skolor i analysen är 1248 år 2000 och 1657 år 2012. Notera att ett visst bortfall skett därefter som en följd av saknade uppgifter för vissa skolor.

En större standardavvikelse innebär att det råder större ”avstånd” åt båda håll från medelvärdet, dvs större spridning. Spridningen av elever med olika bakgrund har alltså ökat. Däremot har spridningen av andelen elever vars föräldrar högst har förgymnasial utbildning minskat något.

För att exemplifiera utvecklingen ännu tydligare har jag utgått från några helt subjektivt valda mått på elevsammansättning och tittat hur stor andel av skolorna som har vilken typ av elevsammansättning:

segr2

Tabellen visar några intressanta tendenser. Bland annat syns det att friskolorna tidigt särskiljde sig från genomsnittet avseende andel skolor som hade en elevsammansättning som nästan uteslutande bestod av elever med svensk bakgrund. 31 % av de fristående skolorna hade år 2000 en elevsammansättning som bestod till 99 % eller mer av elever med svensk bakgrund (av de kommunala skolorna var det 10 % av skolorna, snittet var 12 % som framgår av tabellen). Denna snedfördelning har minskat för de fristående skolorna, men är fortfarande högre än snittet. Samma utveckling syns avseende andel elever med utländsk bakgrund.

En intressant skillnad är också att andelen skolor där minst 60 % av eleverna har utländsk bakgrund (men själva är födda i Sverige) har mer än fördubblats under perioden.

Tabellen visar också, i synnerhet vad det gäller genomsnittet, att det tycks ske en viss förtätning av elever med föräldrar med eftergymnasial utbildning. Andelen skolor där en tredjedel eller fler av eleverna har föräldrar med eftergymnasial utbildning har fördubblats från år 2000 till 2012.[1]

För den ivrige uppsatsstudenten tycks det finnas möjligheter att öva sig i kvantitativ metod på detta område, exempelvis genom att studera elevsammansättningen i en kommuns skolor – både de kommunala och fristående – och hur eleverna bedömer respektive skolors status, kvalitet samt hur de skattar sin egen studiemotivation mm.

————

Vidare läsning för den intresserade via dessa länkar:

Skolverket – Likvärdig utbildning i svensk grundskola?
Skolverket – Vad påverkar resultaten i svensk grundskola?
Sahlgren, Gabriel – Skolval, segregation och likvärdighet – vad säger forskningen?
Kallstenius, Jenny – De mångkulturella innerstadsskolorna – Om skolval, segregation och utbildningsstrategier i Stockholm


[1] Notera att inga kontroller har gjorts i tabellen för hur föräldrarnas utbildningsnivå ökat generellt i landet samt hur andel elever med utländsk bakgrund utvecklats under tidsperioden.

Taggad , , , , , , ,

Vad är SALSA egentligen?

I mitt jobb är jag både ute och föreläser en del för lärare och andra samt att jag i olika sammanhang träffar folk som jobbar med, eller bara allmänt intresserar sig för, skol- och utbildningspolitik. När man i dessa sammanhang diskuterar likvärdigheten i det svenska skolsystemet så dyker nästan alltid några typer av referenser till Skolverkets SALSA-databas upp. Oftast handlar dessa referenser om att den eller den kommunen eller den eller den skolan ”underpresterar” i förhållande till sitt SALSA-värde, eller att ”det är inte så konstigt att de inte presterar bättre, titta på deras SALSA-värde”.

Det har tidigare förekommit en viss debatt om detta, både akademisk och politisk, där man har menat att det är farligt att stirra sig blind på SALSA-värdena och att se dessa som någon sorts gräns varefter man kan slå sig till ro om man uppnått den; ”vi har ju de elever vi har”. Denna kritik är riktig, inte minst utifrån 2010 års skollag som tydligt stipulerar att alla elever har rätt till hjälp och stöd för att nå så långt som möjligt i sin kunskapsutveckling (3 kap 3 §).

Givet intresset för, och användandet av, SALSA-datat är det dock anmärkningsvärt få som verkligen förstått vad SALSA-modellen egentligen är, hur den fungerar och hur den räknas fram. Med detta inlägg har jag därför tänkt att i all korthet försöka förklara vad SALSA egentligen är (annat än en latinamerikansk dans alltså).

600px-LinearRegression_svgFör att kunna förstå SALSA (Skolverkets Arbetsverktyg för Lokala SambandsAnalyser) måste man för det första veta vad en regressionsanalys är. En regressionsanalys är en statistisk analys som beräknar i vilken mån en variabel kan förklara variationen i en annan variabel (gällande linjära samband, bilden intill är hämtad från wikipedia.se).

Regressionsanalysen skiljer sig alltså mot korrelationsanalysen i att den senare bara mäter sambandet mellan två variabler, medan den tidigare mäter den enas förklaringskraft på variationen i den andra. Denna skillnad är mycket viktig. Det finns nämligen en massa saker i världen som samvarierar och som kan beläggas med korrelationsanalys. Exempelvis samvarierar drunkningsolyckor och glassförsäljning. Men kan glassförsäljningen förklara drunkningsolyckorna? Nja, visst kan överdriven glasskonsumtion leda till akut kramp vilket kan orsaka drunkning, men det kan inte vara det generella problemet. Sådana orsakssamband är nog mer sannolika gällande alkohol och drunkningar. Snarare är det nog så att vi både badar och äter mer glass på sommaren och att det är detta (det ökade badandet alltså) som förklarar de ökade drunkningsolyckorna på somrarna.

Detta ger en mycket viktig lärdom: När man ska göra en regressionsanalys måste man ha en uppfattning om vilken variabel som påverkar den andra, och på vilket sätt den sannolikt ska påverka den andra. Man måste i analysen definiera vilken variabel som är oberoende (påverkar) och vilken som är beroende (påverkas). Denna uppfattning får man antingen genom att uppställa en hypotes om förhållandena, eller genom tidigare forskningsresultat.

SALSA-modellen är i grund och botten en regressionsanalys, ännu mer precist uttryckt en multipel regressionsanalys (för att det är flera oberoende variabler som ingår). När man går in i databasen får man som användare välja vilka enheter man vill titta på (kommuner eller skolor) och sedan vilka utfallsvariabler man vill se (dvs vilken beroende variabel man vill titta på, tex genomsnittligt meritvärde). När man har gjort sina val får man fram en tabell som visar den valda beroende variabeln, måtten för modellens oberoende variabler (andel pojkar, föräldrarnas utbildningsnivå, elevbakgrund) och residualvärdena för respektive enhet.

salsa

Det är dessa residualvärden som är de mått som många stirrar sig blinda på; ”presterar vi bättre eller sämre än vad vi borde?”. Detta blir i detta sammanhang en felställd fråga som grundar sig i en bristande förståelse av vad residualvärdet är. Residualen är ett mått som visar hur stor skillnad det finns mellan det värde som modellen (den linjära regressionslinjen) beräknat och det verkliga utfallet. I teoretisk mening är det alltså snarare modellen det är fel på och inte skolan eller kommunen. Vad är då ”felet” med modellen? Felet består i att modellen inte kan förklara all variation i utfallsmåtten. Hade modellen förklarat 100 % av variationen hade det inte funnits några residualvärden.

För att uppnå detta behöver man alltså i teknisk mening identifiera vilka ytterliga oberoende variabler som ska läggas till i analysen. Problemet i praktiken är dock att detta ofta är mycket svårt (i SALSA:s fall), då de ytterligare variabler som behövs ofta är av mer kvalitativ karaktär och är svåra att mäta, i synnerhet för att ge data till en sådan här modell. Dessutom är redan det samlade förklaringsvärdet bortskämt högt för att handla om regressionsanalsyer av detta slag.

I exemplet nedan har jag valt ut samtliga grundskolor med år 9 i Göteborg (N=70, i den andra analysen föll en skola bort på grund av saknade uppgifter) och lagt till ytterligare några oberoende variabler till SALSA-datat (huvudman, lärartäthet och antal elever i år 9, dessa uppgifter är hämtade från SIRIS):

tabell_salsa

Dessa är dock inte sådana variabler som i någon väsentlig mening tillför något nytt till analysen. Detta syns genom att inga av dem är statistisk signifikanta på 95 %-nivån och att de koefficienter (effekten på den beroende variabeln) som uppmäts för respektive variabel är mycket liten. Den enda variabel som i analysen är värd att snegla på är ”fristående skolor”, som är statistiskt signifikant på 90 %-nivån och, som framgår av tabellen, bidrar till att förändra övriga variablers koefficienter något i jämföresle med den första analysen. Notera också att det samlade förklaringsvärdet för modellen inte ökat, detta genom att de nya variablerna inte tillfört någon förklaringskraft. Däremot har residualerna förändrats en aning, här följer några exempel (notera att de är avrundade, därför blir 11-11 = -1 i Assaredsskolans fall):

residualer

Behövs då SALSA? Min bedömning är att databasen fyller en funktion, inte minst för att den tillhandahåller data om elevbakgrund på kommun- och skolnivå vilket är viktigt ur ett uppföljnings- och utvärderingsperspektiv. Rättanvänt ger också SALSA en bra fingervisning om vilka kommuner som lyckas bättre eller sämre med de kvalitativa variabler som inte mäts i modellen, och det kan ge huvudmän och rektorer en god grund för eftertanke och analys av den egna verksamheten utifrån perspektivet ”vad gör dom, som har samma elevsammansättning som oss, för att nå högre resultat med eleverna än vad vi gör?”. Det vill säga precis så som det var tänkt att SALSA skulle användas.

Taggad , , , , , , , , , , , , ,

Vilka elever avbryter sina gymnasiestudier?

I samband med att Socialdemokraterna lanserade sitt förslag om en förlängd skolplikt, innefattandes gymnasieskolan, såg jag en debatt mellan Ibrahim Baylan och Jan Björklund i TV4:s morgonsoffa. En sak som slog mig när jag lyssnade till debatten var att ingen av herrarna tycktes ha tillräckligt goda kunskaper om vilka elever de egentligen talade om. Detta blir ett angeläget problem när man ska lägga politiska förslag; om man inte vet vilka elever det handlar om och vilka specifika faktorer som i störst utsträckning påverkar deras avhopp från gymnasieskolan, är risken stor att de politiska insatserna missar målet.

Ett grundläggande misstag som både Baylan och Björklund gör är att de inte i tillräcklig utsträckning differentierar diskussionen utifrån vilken studiebakgrund eleverna har och vilka program de går på. En bra studie att läsa in sig på i detta sammanhang är Allans Svenssons artikel ”Dagens gymnasieskola – bättre än sitt rykte?” (2007). Svenssons studie ger en god överblick dels av hur studieavbrotten utvecklats över millenieskiftet och dels vilka skillnader som föreligger mellan pojkar och flickor, elever på olika program och elever med olika meritvärden från grundskolan. Dessutom redogör Svensson för vilka skäl till avhopp som är vanligast.

allansvensson2

Andel elever som fullföljt respektive inte fullföljt något program efter ursprungsprogram. Elever antagna år 2003. Efter Svensson, 2007, s.311

Några vägledande resultat i ett policysammanhang är bland annat att det är studieresultaten från grundskolan som har störst förklaringsvärde på avhoppen samt att det är väldigt viktigt att eleverna väljer ett program som de är intresserade av då de ointresserade hoppar av i större utsträckning.

Det tidigare beläggs också i Lärarnas Riksförbunds undersökning ”Effekter av vägledning”, som visar att avhoppsrisken är som störst bland de med lägst meritvärden från grundskolan. Dessutom visar denna studie på vissa effekter av studie- och yrkesvägledningen i grundskolan.

lrsyv2

Från Lärarnas Riksförbund, 2012

Ett annat centralt problem som framkom i debatten mellan Baylan och Björklund var att de tycks ha en föreställning om att den största avhoppsproblematiken finns bland gymnasieskolans nybörjarelever, dvs de som börjat sitt första år i gymnasieskolan. Det största problemet i denna elevgrupp är snarare den ökande andelen programbyten (se grön streckad linje i diagrammet nedan, notera särskilt utvecklingen från år 2001 och framåt). Studieavbrotten i denna elevgrupp har snarare minskat de senaste åren. I grafen nedan presenteras utvecklingen av avbrott och programbyten för nybörjareleverna:

lrsyv

Lärarnas Riksförbund, 2012

Gällande studieavbrotten totalt visar Svenssons studie tydligt att det, gällande elever på nationella program, är vanligast att man gör avbrott i slutet av gymnasieutbildningen och att dessa elever har en stor andel av sina gymnasiepoäng avklarade. Svenssons studie visar därigenom tydligt vilka olika typer av insatser som krävs för respektive elevgrupp.

Taggad , , , , , , , , , ,

Betyder begåvningen betydligt mindre (än vad vi trott)?

”Motivation, ansträngning, uthållighet och positiv självbild hos eleverna. Stöd, stimulans och höga förväntningar från kunniga och engagerade lärare i skolan. Det är faktorer som bidrar till höga skolprestationer. Betydelsen av medfödd begåvning behöver tonas ner. Det är en viktig slutsats i en ny rapport från Skolverket.”

Så inledde Skolverket sitt pressmeddelande från i onsdags (5/12) när de släppte rapporten ”Högpresterande elever, höga prestationer och undervisningen”.

Studien handlar om det som inom forskningen kommit att kallas för ”icke-kognitiva förmågor”, det vill säga sådana egenskaper och förmågor som personer har och som påverkar dels deras studieframgång och men dels också deras framgång i yrkeslivet med mera. Dessa förmågor – flit, engagemang, uthållighet, förmåga att planera mm – skiljer sig från de traditionella ”kognitiva” förmågorna (terminologin är lite skum, jag vet) i det avseendet att de inte mäts med vanliga IQ-test eller liknande. Internationell forskning har visat att dessa förmågor i stor utsträckning påverkar sannolikheten att en elev lyckas i skolan, utöver att eleven bara skulle ha rätt kognitiva förutsättningar.

högpresterandeAtt Skolverket sedan innan intresserat sig för dessa förmågor och deras förklaringsvärde på skolframgång har jag skrivit om tidigare, då i skepnad av en konferens som handlade just om betydelsen av icke-kognitiva förmågor. Denna nysläppta studie tycks därför vara en logisk fortsättning på detta intresse.

Det var dock inte utan att vi var några på jobbet som hajjade till när vi först läste Skolverkets pressmeddelande och sedan rapporten. Hur belägger de egentligen påståendet att ”medfödd begåvning behöver tonas ned” för att det inte är så betydelsefullt som vi har trott? Det låter uppseendeväckande (och det tyckte nog också många av de tidningar som hakade på nyheten)!

Vid en närmre granskning är jag inte helt övertygad om att Skolverket belägger detta påstående. Skolverkets tillvägagångssätt är att de studerar skillnader i hur två resultatmässigt olika elevgrupper svarar på de elevenkäter som också görs i samband med de stora internationella studierna PIRLS, PISA och TIMSS (samt lärar- och föräldrasvar). De två elevgrupperna är de fem procent elever som presterar bäst på respektive test (95:e percentilen) och de fem procent som presterar runt det svenska medianvärdet (47,5:e-52,5:e percentilen). Skolverket studerar hur dessa elever presterar över tid på proven samt hur de svarar på dessa enkäter. Genom analysen av enkätsvaren finner de statistiskt signifikanta skillnader i de indikatorer de menar mäter icke-kognitiva förmågor och drar därigenom slutsatsen att dessa skillnader är mycket mer betydelsefulla än vad vi tidigare trott – de är till och med mer betydelsefulla än kognitiv begåvning.

Det är i synnerhet några saker som får i alla fall mig (och mina kollegor runt fikabordet imorse) att tveka inför slutsatserna. För det första har Skolverket inte kontrollerat för faktisk begåvning hos berörda elever. Ingenstans i studien finns någon indikation på huruvida man faktiskt har kontrollerat för om de högst presterande eleverna faktiskt också är mer begåvade än de medelpresterande och inte endast bättre på icke-kognitiva förmågor.

För det andra så gör Skolverket inte allvar av den fundering som man till och med lyfter i metodavsnittet. Där skriver man, apropå denna invändning, att:

Huruvida elevernas uppfattningar har att göra med individuella karakteristika, eller omständigheter i den omgivande miljön, framgår inte i analysen. Inte heller framgår det om elevernas uppfattningar föregår deras goda prestationer eller om de är en konsekvens av dem.

I slutsatserna är också detta något Skolverket återkommer till, nämligen att de högst presterande genomgående har högutbildade föräldrar som också tycks vara väldigt aktiva och deltagande i sina barns skolgång. Det tycks inte alls osannolikt att dessa elever både har ärvt goda kognitiva förmågor av sina föräldrar och lärt sig en uppsättning framgångsrika icke-kognitiva beteenden och förmågor från dem.

Till dess att Skolverket presenterar en analys som faktiskt kontrollerar vad som är hönan och ägget i det här fallet, så tänker jag ta det säkra före det osäkra och försöka stimulera både mina barns kognitiva och icke-kognitiva förmågor.

Taggad , , , , , , ,

Kvalitetseffekter av friskolor

Frågan om vilka effekter friskolereformen har haft på det svenska skolväsendet är väldigt intressant. Jag har sedan innan skrivit om bland annat Dagens samhälles artikel om effekter av friskolor där jag framhöll vissa problem med den undersökning de hade gjort. Jag har också skrivit några tidigare inlägg, bland annat här och här, som handlat om det begränsade stöd forskningen hittills funnit för att friskolereformen skulle ha inneburit några större kvalitets- eller effektivitetsvinster för skolväsendet. Som tur var så hade jag någon liten inskjuten bisats i ett av dessa inlägg som sa att forskningen i alla fall inte ”hittills” kunnat belägga några större effektivitetsvinster av friskolereformen, för nu tycks det som en av de första seriösa studierna som kan belägga vissa vinster har kommit.

20121109-153900.jpgAnders Böhlmark och Mikael Lindahl har via IFAU släppt en populärvetenskaplig version av deras större studie. I denna studie, med data från 1992 och framåt, finner de vissa små men signifikanta effekter på samtliga elevers resultat i respektive kommun, dvs såväl de som själva gått i friskolor och de som gått i kommunala.

Precis som i de tidigare inläggen jag länkat till ovan blir den metodologiska frågan hur de kontrollerar för bl.a. betygsinflation och annat intressant. I IFAU-studien redogör de kort för sina tillvägagångssätt, kontroller och känslighetsanalyser och refererar sedan till huvudstudien vilken jag själv inte läst.

För den som är intresserad av denna fråga i stort rekommenderar jag att hålla utvecklingen av detta under uppsikt: Kommer studien att följas av en metodologisk debatt? Kommer fler studier som kan belägga positiva effekter och att det därigenom skett ett genombrott mot tidigare forskning på området? Kommer andra studier att peka bort från dessa resultat?

Ett första forum för den intresserade att hålla uppsikt över är SNS vilka gav ut den tidigare omnämnda Konkurrensens konsekvenser. De kommer att avhandla studien under ett seminarium med bl.a. Jonas Vlachos i panelen. Gissningsvis kommer han att ha vissa saker att kommentera gällande studien.

————

Uppdatering:

SNS-seminariet har nu varit och Vlachos har skrivit ett inlägg på ekonomistas.se om sina kommentarer till studien.

Taggad , , , , , , , , , , ,

Skrämseltaktik om evidensbaserade studier i skolan?

För någon tid sedan skrev Lars Pålsson Syll en artikel på debattsidan Skola och samhälle som handlade om den nutida fascinationen för evidensbaserade studier inom svensk skoldebatt och skolforskning. I artikeln redogör han för vissa centrala problem för evidensbaserade studier och konkluderar att det vore bättre om lärarna fick ägna sig åt det de gör bäst, nämligen att försöka undervisa eleverna på bästa tänkbara sätt efter deras behov. Förhoppningsvis, menar Syll, får inriktningen på evidensbaserade studier i skolforskningen inga effekter alls, i värsta fall kan det leda in på villospår.

Jag tänkte med det här inlägget låta mig själv breda ut texten lite och i några centrala punkter peka på sådant som jag själv uppfattar som brister i Sylls artikel samt försöka visa på, dels vad Syll (förmodligen medvetet) utelämnar i sin metodologiska diskussion, dels hur resonemanget gällande den evidensbaserade forskningen nästan i större grad är giltig för den pedagogiska forskningen i stort och inte specifikt för evidensbaserad forskning.

Låt oss börja med att reda ut vad som menas med ”evidensbaserad forskning”. Den grundläggande idén kommer från medicinsk forskning där evidensbaserade studier är ett viktigt redskap för att testa ut nya mediciner och behandlingsmetoder. Det centrala inslaget i evidensbaserade studiers metod är att de använder sig av randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Härigenom framkommer möjligheten att jämföra eventuella effekter grupperna emellan och de effektskillnader man som forskare uppmäter är (förhoppningsvis) ett resultat av interventionen. Om de uppmätta effekterna är stora på de områden man önskar kan det vara värt att fortsätta använda metoden. Att man kallar forskningen för ”evidensbaserad” är alltså för att markera att det ”finns evidens” för att den undersökta metoden (interventionen) har haft effekt.

Redan i denna beskrivning av evidensbaserade studier kan vi identifiera några av de delar som Syll kritiserar. Syll påpekar att det kan finnas en svårighet i att veta att det just är interventionen som har haft effekt, tänk om det var något annat? Om exemplet ovan handlar om utprövning av nya blodförtunnande mediciner är det rimligt att tänka sig att samtliga deltagares ålder, kondition, tidigare leverne, tidigare sjukdomar och så vidare påverkar effekterna av interventionen. Det vi tror är stora effekter av interventionen skulle egentligen, menar Syll, kunna vara en effekt av att ett gäng gubbar och gummor i studien helt plötsligt fått för sig att börja jogga igen, och därigenom uppvisar förbättrat hälsotillstånd.

Detta skulle kunna föranleda oss att göra politiska felsteg. Om vi, i villfarelsen att det var interventionen som hade stora effekter, börjar skriva ut den nya medicinen i stor skala så har vi missat vad vi verkligen borde ordinera – mer motion (paradoxalt nog är detta precis sådan kritik som också riktas mot icke-evidensbaserad forskning, se exempel på forskning.se).

Syll är dock finurlig när han lägger fram denna kritik. Detta är nämligen problem som länge har gäckat alla de som sysslar med kvantitativa metoder och han, i sin roll som nationalekonom, är väl medveten om hur man gör för att kontrollera för olika variabler i analysen (den som är intresserad av hur detta går till rekommenderas varmt att läsa denna exemplariska beskrivning i SPSS-akuten. Bilden intill är hämtad därifrån.).

Det finns dock ett djupare problem kopplat till detta, som faktiskt många kvantitativa studier inom flertalet discipliner – inte endast pedagogik och ämnesdidaktik – lider av. Det är att utforma studierna till att vara hypotesprövande. Att rigga studier till att vara just hypotesprövande slarvas det något alldeles otroligt med, trots att många av grundskolans lärare i naturvetenskapliga ämnen idogt tjatat på elevgeneration efter elevgeneration att de måste ställa upp en hypotes innan de kör igång med laborationerna (det gjorde i alla fall min NO-lärare, om du läser det här Anna – tack!).

Som det framgår av ordet i sig självt så handlar hypotesprövning om att först ställa upp en hypotes (givet att premiss A och B gäller så förväntar jag mig att X kommer att ske, eller översatt: Givet rätt atmosfäriskt tryck (A) och tillräckligt tillförd värme (B) så förväntar jag mig att vattnet kommer att koka (X)) och sedan via ett försök, en observation, en statistiskt undersökning eller annat undersöka om hypotesen stämmer eller ej.

Det som gör hypotesprövningen centralt för den här diskussionen, kopplat till Sylls artikel, är att om vi inte först ställer upp en hypotes, utan bara planlöst börjar söka efter samband mellan olika företeelser så är risken stor att vi råkar trilla över ett såkallat spuriöst samband, eller på ren svenska – ett nonsenssamband. Låt mig ge ett exempel: Anta att jag har ramlat över en spännande datauppsättning som innehåller drunkningsolyckor i Sverige för åren 1998-2008. Jag studerar variationen i statistiken och upptäcker att det finns ett visst mönster i variationen, i synnerhet mellan sommar och vinter. Detta måste bero på något! Glad i hågen söker jag planlöst runt på internet tills jag ramlar över statistik över GB:s glassförsäljning för tidsperiod. Spännande tänker jag och gör korrelations- och regressionsanalyser mellan drunkningsolyckor och glassförsäljning och döm av min förvåning när analysen svart på vitt visar att glassförsäljningen har ett mycket gott förklaringsvärde på antalet drunkningsolyckor; ökad glassförsäljning orsakar fler drunkningsolyckor! (den som vill fördjupa sig i detta rekommenderas att läsa den formidabla skriften ”Konsten att vara vetenskaplig” av filosofen och vetenskapsteoretikern Sven Ove Hansson. Gällande hypotesprövning mm, se i synnerhet s.75-80).

Det hypotesprövningen bidrar med är därför i stort att forskaren binder sin kommande studie till en viss teoribildning eller tidigare empiriska fynd som avser kunna förklara ett visst fenomen och resultaten i studien bedöms just efter om de belägger eller vederlägger hypotesen.

För att sammanfatta det jag har skrivit hittills: Ja, Syll för fram rättmätig kritik mot många evidensbaserade studiers metodik, men det är i stor grad möjligt att undvika dessa problem genom att alltid utgå från en noggrant formulerad hypotes som också försöker förutsäga vilka kontrollvariabler som kommer att vara betydelsefulla för analysen.

Jag ska avslutningsvis adressera en annan del av Sylls kritik som handlar om den ”externa validiteten” i evidensbaserade studier. Extern validitet kan i princip översättas till huruvida resultaten från en studie på en viss population är överförbar till en annan, eller på ytterligare annat sätt: Om resultaten är generaliserbara. På denna punkt har Syll helt rätt i strikt vetenskaplig mening – resultaten från en studie på ett slumpmässigt urval personer kan med ytterligt stor sannolikhet inte helt överensstämma på en annan population. Men samtidigt missar Syll själva grunden till varför det finns ett så stort intresse för evidensbaserade studier i svensk skola: Svensk pedagogisk forskning har, med några få undantag, inte varit intresserad av kvantitativa metoder utan har sysslat med kvalitativa metoder, och generaliserbarheten har varit därefter (jag har skrivit om detta tidigare här och här).

För den läsare som vill skapa sig en egen uppfattning av skillnaderna mellan en nyare evidensbaserad studie och ett typexempel på svensk kvalitativ forskning kan jämföra dessa två finländska delstudier av Heikki Lyytinen m.fl samt denna svenska doktorsavhandling.

Min personliga slutsats av den evidensbaserade forskningens inträde i svensk utbildningsvetenskaplig forskning är att den har mycket att bidra med, både resultatmässigt men även som en metodologisk vitamininjektion. Jag tror personligen också att många av de farhågor som målas upp av Syll m.fl är överdrivna.

Men det kan jag förstås inte i strikt vetenskaplig mening vara helt säker på.

Taggad , , , , , , , , , , , , , ,