Statistikprofessorn om SOM-mätningen: Litar på orealistisk modell

Publicerad

28 Apr 12:57

Lästid

5 Min

Fredrik Furtenbach, Dan Hedlin, Henrik Ekengren Oscarsson. Foto: Stockholms universitet, Frankie Fouganthin, Björn Larsson Rosvall/TT. Kollage: Felice Larsson/Kvartal

I fredags publicerade SOM-institutet en text på sin hemsida där man bekräftar att förtroendesiffrorna för SVT och SR sjunker om man viktar resultaten för partisympati, bland annat för att kompensera för underrepresentationen av sverigedemokrater.

Men i sin beräkning har institutet bara viktat resultaten för just partisympati – trots att andra grupper med lägre förtroende också är underrepresenterade.

Dan Hedlin, professor i statistik vid Stockholms universitet, menar att viktning behöver göras med fler variabler – och förvånas samtidigt över att SOM-institutet generellt inte viktar resultaten.

– Man får resultat som inte ligger så nära verkligheten, säger han.

Vad tycker du?

Skribenter

I förra veckan publicerade vi en granskningsserie i tre delar om public service förtroendesiffror.

Granskningen av förtroendet för public service

I den första delen visade vi att sverigedemokratiska väljare och flera andra grupper –bland annat unga och personer med lägre utbildning – är underrepresenterade i SOM-undersökningen, och att mätinstitutet inte viktar resultaten för att kompensera för detta. Att sverigedemokrater och andra grupper är underrepresenterade framgår inte i SOM-institutets rapporter om förtroendet för public service. Det framgår inte heller att resultaten inte viktas.

I den andra delen visade vi att SVT och SR känt till både underrepresentationen av olika grupper och att SOM-institutet inte viktar resultaten, men att bolagen ändå aldrig kommunicerat det utåt. Vi visade även att SVT och SR i sin officiella kommunikation, både till allmänheten och till regeringen, länge även hänvisade till en annan förtroendemätning, men slutade nämna den efter att förtroendesiffrorna där börjat sjunka.

I den tredje delen visade vi att SVT och SR betalat för undersökningen i mer än 15 år. SVT har inte kommunicerat att man betalar för undersökningen, medan SR nämner det på ett ställe i löpande text i sin årliga public serviceredovisning. Att SVT och SR finansierar undersökningen medför också att de kan ha visst inflytande på innehållet och hur datan presenteras. Exempelvis uppger SOM-institutet att SVT och SR skulle kunna begära att få viktade siffror.

Den efterföljande debatten på sociala medier blev intensiv.

Några timmar efter publicering av den första delen skrev Sveriges Radios politiska kommentator Fredrik Furtenbach, som själv är hedersdoktor på SOM-institutets lärosäte Göteborgs universitet, på X:

”Det ser mörkt ut för Kvartals story. Tesen att forskare blåser upp förtroendesiffrorna för SVT håller uppenbarligen inte.”

Furtenbach hänvisade till en graf från Henrik Ekengren Oscarsson, professor i statsvetenskap vid Göteborgs universitet och tidigare föreståndare för SOM-institutet. Ekengren Oscarssons graf, som visade över 80 procent förtroende för SVT under ett år när förtroendet enligt SOM-mätningen var betydligt lägre, publicerades senare på SOM-institutets hemsida i en korrigerad version.

Ytterligare tre professorer i statsvetenskap från Göteborgs universitet – Ulf Bjereld, Jonas Hinnfors och Andrej Kokkonen – har under veckan publicerat en rad inlägg till stöd för SOM-institutets mätning.

Dan Hedlin: ”Inte vanligt”

I fredags publicerade SOM-institutet ett klargörande på sin hemsida där man bekräftar att förtroendesiffrorna för SVT och SR sjunker om man viktar resultaten för partisympati, bland annat för att kompensera för underrepresentationen av sverigedemokrater.¹

Enligt SOM-institutets analys sjunker förtroendet för SVT med 2,4 procentenheter om man viktar om för partisympati, och förtroendet för SR sjunker med 2 procentenheter. Att enbart justera resultaten efter partisympati resulterar alltså i att förtroendet för SVT sjunker från 70,1 till 67,7 procent, enligt SOM-institutets egen analys (där man också pekar på att skillnaden ligger inom felmarginalen).

SOM-institutet har i sin analys dock valt att endast vikta om resultaten för partisympati, och inte för andra grupper med lägre förtroende för public service som också brukar vara underrepresenterade i mätningen – exempelvis unga och personer med lägre utbildning.

Att endast vikta om resultat för en variabel är ovanligt, enligt Dan Hedlin, professor i statistik vid Stockholms universitet.

– Ja, bara partisympati, det var nog ett inlägg i någon debatt tror jag, det är ju inte vanligt att man bara använder den, säger han.

Hedlin menar att det bästa skulle vara att vikta om resultaten även för ålder, kön, utrikes födda och boendeort, för att bättre spegla befolkningen.

Kommenterade debatten på Linkedin

I ett inlägg på Linkedin skriver han att han ”blev förvånad över att SOM-institutet inte viktar”, och ”att inte vikta innebär att man litar på en modell som är orealistisk”.²

– Det är just det att man får resultat som inte ligger så nära verkligheten. Det man gör är att man har ett antal som har svarat på undersökningen som inte är representativa för populationen, säger Dan Hedlin.

På Linkedin skriver han att ”viktning är ett jobb för välutbildade statistiker”, och kommenterar också en skillnad i hur han menar att statistiker och statsvetare kan se på den här typen av frågor:

”Att somliga samhällsvetenskapliga forskare svarar nej på frågan om SOM ska införa viktning förvånar mig inte. De vill inte ha tidsseriebrott. En forskare sa till mig att det är bättre att behålla en dålig fråga i en enkät än att ändra den till en bra fråga. Extrem prioritering av att undvika tidsseriebrott tycker jag.”

Uppskattning: Minst 3-4 procentenheter

Inför publiceringen av vår granskning genomförde vi med hjälp av Johan Martinsson, tidigare föreståndare på SOM-institutet och opinionschef på Demoskop, en preliminär uppskattning av hur stor effekt en viktning endast på partisympati skulle kunna få. Denna uppskattning baserades på de tabellrapporter SOM-institutet publicerar. (Eftersom SOM-institutet inte lämnat ut den underliggande datan till oss har vi inte kunnat genomföra viktning av alla variabler baserade på själva datan.)

Analysen visar att förtroendet för SVT och SR kan sjunka med uppåt 3–4 procentenheter 2024 (rapporten som släpptes 2025) om man endast viktar om resultaten på partisympati. Viss osäkerhet finns dock i denna uppskattning bland annat då siffrorna i rapporterna är avrundade heltal.

– Det är sannolikt att det skulle bli en något större skillnad om man viktade på även de andra variablerna samtidigt, men det är osäkert hur mycket, säger Johan Martinsson.

SOM-institutet: ”Små skillnader”

Annika Bergström, föreståndare för SOM-institutet, återkommer med ett skriftligt svar kring varför man valt att publicera en analys där man endast viktat på en av flera relevanta variabler:

”I vår senaste rapport om viktning ser vi enbart små skillnader när vi har testat andra faktorer kring underrepresenterade grupper. Vi rekommenderar alla att läsa rapporten. När det kommer till frågan om just underrepresentation av sverigedemokratiska sympatisörer så var det tydligt att detta var fokus i er artikelserie, t.ex. med det här citatet: ’Jag tror inte att någon enskild faktor slår partisympatier’. Vi valde därför att bemöta just denna aspekt av viktningen. Vi har inte hävdat någonstans att detta är det optimala sättet att vikta men varit tydliga med hur vi genomfört viktningen.”

Bergström hänvisar i sitt svar till en rapport om effekterna av viktning som SOM-institutet gjort, där man testat att vikta undersökningens resultat för bland annat ålder och kön, men inte för partisympati.³

Hon svarar även på Dan Hedlins uttalanden i denna artikel:

”Vi är väl medvetna om vikters brister och förtjänster. Vi fortsätter gärna den vetenskapliga diskussion vi haft i många år om vikter med olika aktörer inom forskarsamhället.”