Etikettarkiv: webenkät

Valtider, opinionsmätningstider och felmätningstider

Vi går ett supervalår tillmötes. Det börjar synas redan. Efter en tids skolpolitisk triangulering har partierna nu åter börjat försöka särskilja sig från varandra. Den som stannar upp och tänker efter märker dock att det ofta rör sig om förslag på marginalen. Många av de stora dragen i svensk skolpolitik de senaste åren har skett i stort samförstånd mellan blocken, se en mycket god översikt här.

Att vinna politiska val handlar dock mycket om att visa vad man själv skulle kunna göra om man satt vid makten samt att visa vad andra gör eller tänker fel. Spelplanen är satt för alla de som intresserar sig för att mäta hur opinionen reagerar på detta – vilka har stöd i opinionen och vilka har det inte?

Detta aktualiserar frågan om enkäter och opinionsmätningar, hur de ska utformas och vad de ska mäta. De som sysslar med enkätmetodik vet att mycket har hänt på detta område. En generell utmaning som vuxit fram – för alla i fältet – är att folks allmänna svarsbenägenhet tycks falla. Det blir allt svårare att nå höga svarsfrekvenser i undersökningar, inte bara för vilken random intresseorganisation som helst utan även för SCB.

Ett sätt att försöka möta trenden är att göra det lättare och mer attraktivt att svara på en enkät. Ett sätt att lyckas med detta är att använda webenkäter, vilket många gör. Att detta blivit lättillgängligt spär dock på problemet från ett annat håll, genom att sannolikt bidra till ökad enkättrötthet. Det är numer enkelt och billigt att skicka ut enkäter vilket innebär att fler gör det. Detta skapar en enkättrötthet bland de som ska svara. Sannolikt påverkar det svarsfrekvenserna, både det direkta bortfallet – att folk inte börjar svara – men också det interna bortfallet att de som väl börjar ibland inte orkar fortsätta om de märker att enkäten tex är tråkig.

Varför är bortfall och låga svarsfrekvenser ett problem? Det grundläggande problemet härstammar från viljan att kunna generalisera resultatet till en hel population. Om vi undersöker hur folk tänker rösta, för att kunna skriva om det i tidningen, vill vi ju också att prognosen stämmer hyfsat väl, annars är det ointressant.

Det starkaste verktyget för att uppnå detta är därför att dra ett obundet slumpmässigt urval ur en större, representativ population. Genom att jämföra bruttourvalets representativitet mot totalpopulationen kan vi när undersökningen är färdig jämföra vårt nettourval av svarande mot ursprungspopulationen och se om bortfallet varit lika tvärsöver eller om någon grupp haft ett särskilt stort bortfall.

Om allt ser bra ut kan sedan ett konfidensintervall beräknas, dvs vilka felmarginaler vi kan tänkas ha för svaren (45 % tänker rösta si eller så +/- 3,5 %).

Det krävs ganska rejäla resurser för att kunna göra detta, och alla vill inte satsa det. Det vi därför ofta ser nu (särskilt i valtider) är att olika aktörer gör webenkäter där de skjuter ut dom brett, till populationer de inte har en aning om hur de ser ut eller hur svarandegruppen sedan ser ut. Dessa typer av undersökningar bör man vara försiktig med att dra för stora växlar på.

Ett alldeles färskt exempel på detta missbruk av enkäter kom häromdagen från Skolporten, ett företag som bevakar skolfrågor. På sin webplats hade de under perioden 11/10 – 5/12 en fråga utlagd som löd ”Vilket riksdagsparti för bäst skolpolitik?”. Frågan skickades också ut via nyhetsbrev, via Twitter och på Facebook. Totalt samlades 585 svar in. Enligt egen utsago riktade sig enkäten till personal inom skola och förskola.

Valet2014_enkat1

Enligt enkäten (diagram från Skolporten.se) anser de svarande att Vänsterpartiet för den bästa skolpolitiken. Detta lanserades i egna nyheter och snurrade runt en del på Twitter. Detta är anmärkningsvärt, i och med att enkäten de facto endast kan uttala sig om vilken preferens 585 i princip oidentifierade respondenter har. Vi vet inget om vilka yrken de har, hur gamla de är, om de har jobb, vilken utbildning de har, var i landet de bor eller ens vilket kön de har. Desto mindre vet vi hur dessa 585 personer förhåller sig som grupp till befolkningen i sin helhet eller de röstberättigade. Vi vet heller inget om de personer som sett enkäten men inte valt att besvara den. Vi vet heller inget om hur många totalt som sett länken och hur stor andel av dessa som också besvarat den.

”Enkäten” lämnar oss alltså egentligen med fler frågor än svar samt en viktig påminnelse om betydelsen av att vi förhåller oss kritiska till vissa typer av enkäter.

Uppdatering 2014-04-03

Som av en händelse så ramlade jag idag över en mätning som Svenska dagbladet publicerade igår. Mätningen är gjord 25-31 mars (notera skillnaden i hur länge insamlingen pågick mot Skolportens enkät – detta påverkar också resultaten, i synnerhet då deras också överlappar PISA-chocken) bland 1000 respondenter (notera att SvD inte heller skriver något om hur många som ingick i bruttourvalet och vilken svarsfrekvens dessa 1000 inneburit. SvD litar på att folk ska lita på Sifo). Frågan som ställdes var: ”Vilket parti har du störst förtroende för i skolfrågor?”

Föga förvånande skiljer sig resultaten i partisympatier rejält från Skolportens enkät:

svdsifo

Den som härbärgerar ett djupare intresse bör med fördel läsa detta inlägg av Henrik Ekengren Oscarsson vid Göteborgs universitet samt detta inlägg på Politologerna om en intressant jämförande studie av olika paneler och urval.

Annonser
Taggad , , , , , ,