Kvartal har i fyra artiklar granskat de metoder som opinionsinstitutet Novus använder i sina väljarbarometrar. Novus utmärker sig genom att i sina telefonundersökningar ha kunnat redovisa en större andel svar än något annat företag i branschen, vilket naturligtvis varit en konkurrensfördel. Efter Kvartals granskning, där det kommit fram att Novus fabricerat siffror i redovisningen av sina väljarbarometrar, fick tidigare samarbetspartnern SVT korrigera i de metodbeskrivningar man publicerat.
Påverkan på demokratin
Novus och dess vd Torbjörn Sjöström har också hävdat att de lyckas få fram telefonnummer till runt 90 procent av ett slumpmässigt urval personer ur befolkningsregistret, som ingår i väljarbarometern, en skyhög siffra som ingen annan privat aktör kommer i närheten av. Återigen fick metodbeskrivningen korrigeras efter Kvartals granskning, den här gången i Svenska Dagbladet. Det visade sig, efter Kvartals granskningar, att Novus i själva verket utgår från ett urval personer som man redan har telefonnummer till, och som utgör runt 90 procent av det totala urvalet. För resterande 10 procent har man valt personer som man bara har adress till, och till dessa skickar man vykort. Det förklarar den höga ”deltagarfrekvensen”, eftersom man har telefonnummer till samtliga i telefonenkäten. Men det blir ett skevt urval genom att man utesluter de som man inte har telefonnummer till, framförallt ungdomar.
Frågan är viktig, eftersom opinionsundersökningar faktiskt kan ha en direkt inverkan på hur väljarna röstar och därmed på det demokratiska systemet. Hur undersökningarna görs är alltså centralt för att kunna avgöra hur trovärdigt resultatet är. Om det finns metodfel i urvalet är risken särskilt stor för ett missvisande resultat i enskilda frågor, som Nato eller kärnkraft, som statsvetarprofessorn Henrik Ekengren Oscarsson påpekat.
Torbjörn Sjöström svarar nu i ett blogginlägg, ”Fakta om Novus väljarbarometer”, att Kvartal gett en felaktig bild av Novus metoder och att det inte stämmer att Novus fabricerat siffror i sina undersökningar. Men det är lätt att konstatera att det i själva verket är Torbjörn Sjöström som återigen slirar på sanningen och ger en oriktig bild av det som kommit fram om Novus undersökningar, vilket är allvarligt och förtjänar ett bemötande.
Systematiskt fel i mätning efter mätning
Torbjörn Sjöström medger att de haft felaktiga uppgifter i sina metodbeskrivningar, nämligen att antalet personer man sökt i väljarbarometrarna inte stämt med verkligheten. Han kallar det för en ”administrativ miss” och ett ”avrundningsfel”, och att det bara gällde ”några” av Novus undersökningar.
Sanningen är att det har varit ett systematiskt fel i mätning efter mätning i mer än två års tid. Och det handlar inte om ett ”avrundningsfel”, utan om att Novus lagt in en stående deltagarfrekvens på 51 procent i en mall för väljarbarometern. Sedan har man använt den i kombination med det redovisade antal svar man fått in och räknat baklänges och på så vis kommit fram till en – felaktig – siffra för antalet deltagare som man sökt. Detta medgav till slut Torbjörn Sjöström – inte ”direkt” som han påstår i svaret på sin blogg utan först efter flera omgångar med frågor och svar över mejl.
Räknat baklänges
Det är detta system, där man räknat baklänges och på så sätt fått fram felaktiga siffror för hur många personer som ingår i underlaget för väljarbarometern, som Kvartals första granskning avslöjade. Det har alltså pågått under mer än två år, uppenbarligen utan att någon på Novus reagerat, och det är orsaken till att vi hävdar att Novus fabricerat siffror, det vill säga ”tillverkat”, enligt ordboken, vilket är en korrekt bild av vad som skett. Om det skett medvetet vet vi inte. Men det är allvarligt för ett företag i förtroendebranschen, och det fick också SVT att begära in riktiga siffror för att kunna korrigera de metodbeskrivningar man publicerat.
Novus vd Torbjörn Sjöström påstår att Kvartals granskningar hotar förtroendet för undersökningar generellt. Jag tror tvärtom att den här typen av granskningar är viktiga för att hitta felaktigheter och därmed på sikt stärka förtroendet. Däremot drar felaktiga metodbeskrivningar och fabricerade siffror med rätta ner förtroendet.