Av svaret framkommer också att Novus helt enkelt använt en mall i sina rapporter där man lagt in en fast deltagarfrekvens på 51 procent, en mycket hög siffra för branschen. ”Siffran 51 procent har legat statiskt i den rapportmall som används för att sammanställa bl.a. väljarbarometern”, skriver han.
SVT reagerar nu på uppgifterna.
— Vi har varje månad fått in uppgifter från Novus på ett exakt antal svarande och ett exakt antal tillfrågade. Stämmer inte de uppgifterna i detalj är vi förstås inte nöjda med det, kommenterar Kiki Bek, inrikeschef på SVT.
SVT har efter Kvartals avslöjande varit i kontakt med Torbjörn Sjöström och begärt att få de verkliga siffrorna som ligger bakom den redovisade deltagarfrekvensen på 51 procent.
— Jag bad om att få dem idag, och han sa att vi skulle få dem, alltså det faktiska antalet sökta personer i undersökningarna. Sedan ska vi ändra på vår sajt. Rätt ska vara rätt, säger Kiki Bek.
”Förtroendeskadande för Novus”
Hon är inte den enda som reagerar på Novus förklaring till hur man redovisat underlaget för väljarbarometrarna.
— Vi skulle aldrig lägga in svarsfrekvensen i en mall eftersom den varierar. Det är förtroendeskadande för Novus om inte bättre kontroller gjorts, säger Sebastian Lundmark, forskare på SOM-institutet, som drivs av Göteborgs universitet.
Han har arbetat med fältstudier för SOM-institutets opinionsmätningar i 13 år och har aldrig förut hört talas om att ett opinionsinstitut fabricerat siffror för antal sökta personer på det här sättet.
— Det är ett märkligt sätt att rapportera antalet inbjudna personer. Det är tråkigt för oss alla som håller på med opinionsundersökningar för det är ju så klart viktigt att branschen inte uppfattas som skum, säger Sebastian Lundmark.
En hög svarsfrekvens i opinionsundersökningar är en konkurrensfördel i branschen men också ett sätt att minimera ett systematiskt bortfall, som kan snedvrida en undersökning. Novus har länge haft en högre andel svar än konkurrenterna. Även om de redovisade siffrorna var fel hävdar Torbjörn Sjöström ändå att deltagarfrekvensen tenderar att ligga på mellan 50,5 och 51,4 procent, vilket avrundats till 51 procent. Men trots upprepade frågor har han ännu inte redovisat de riktiga siffror som ska ligga bakom den höga svarsfrekvensen. I stället förklarar han att det var ett misstag att siffror för antal sökta personer och antal svar publicerades och att de efter Kvartals avslöjande inte längre kommer att redovisas.
Vi skapar förtroende genom att vara öppna med våra siffror – det är det Novus borde göra för att få tillbaka förtroende.
Det anser Sebastian Lundmark är ett steg i fel riktning.
— Jag tycker som forskare och medborgare att det är viktigt att veta hur siffran räknas ut när ett parti påstås gå framåt. Detta gäller ju även om svarsfrekvensen inte är den viktigaste siffran, säger han.
SOM-institutet hör till de opinionsinstitut som redovisar hur många man sökt och hur många som svarat.
— Vi skapar förtroende genom att vara öppna med våra siffror. Det är det Novus borde göra för att få tillbaka förtroende.
Sebastian Lundmark är frågande till Novus höga svarsfrekvens. Särskilt när det gäller de dagliga mätningarna inför förra valet, som presenterades i samarbete med SVT under tre veckor. Mätperioderna var då bara tre dagar men deltagarfrekvensen var ändå lika hög i varje mätning.
— Det låter helt osannolikt att bibehålla 51 procent svar när fältperioden kortas ner till tre dagar. Vår svarsfrekvens sjunker markant om vi kortar ner vår fältperiod, säger Sebastian Lundmark.
På SVT har man fått en metodbeskrivning av Novus, där det framgår att undersökningarna görs med telefon och SMS. Men hur de lyckas nå en deltagarfrekvens på 51 procent vet de inte.
— Den frågan får du ställa till Novus. Vi anlitade ett välrenommerat företag och förlitade oss på deras expertis, säger Kiki Bek, som betonar att de just under mätningarna inför valet inte fick några exakta siffror.
Erik Hedtjärn, politikchef på SvD, kommenterar Kvartals uppgifter i ett sms:
”Att vara en trovärdig nyhetsförmedlare är helt centralt för SvD. Vi arbetar därför med att försäkra oss om att de undersökningar som görs för oss är helt och hållet tillförlitliga.”
Ekengren Oscarsson: ”Kan skada förtroendet för hela branschen”
Även Henrik Ekengren Oscarsson, professor i statsvetenskap med inriktning på valforskning, anser att transparens från Novus sida är det viktiga i det här läget:
— Det bästa för trovärdigheten skulle vara att han berättar allt om hur det här gått till. Och agerar snabbt på det.
Med tanke på att Novus andel svar är så pass mycket högre än hos konkurrenterna, önskar han att företaget framöver är öppna med hur man räknar. Till exempel undrar han om “sökt urval” motsvarar alla i det ursprungliga urvalet, eller om man till exempel räknar bort de man inte hittar telefonnummer till. Något som skulle kunna påverka andelen avsevärt.
— Man bör använda de termer som är gängse inom statistisk forskning. Deltagarfrekvens är ju heller inte samma sak som svarsfrekvens. Det är ju nästan orimligt att tänka sig att man på tre dagar kan komma upp i 51 procent brutto.
Oscarsson poängterar att frågan om vilket parti väljarna ska rösta på är relativt stabil, men att det finns andra frågor där den statistiska metodiken är än viktigare.
— Om det handlar om mer rörliga mål så riskerar man att hamna riktigt fel även i resultaten. Till exempel vad gäller Nato-opinionen, inställningen till regeringens prestationer eller förtroendet för partiledarna.
— Jag tror tyvärr att det här avslöjandet kan skada förtroendet för hela branschen. För gemene man kan det nog vara svårt att skilja mellan Novus, Demoskop, Verian [tidigare Sifo] eller SOM-institutet. Bollen ligger nu inte bara hos Novus, utan hos alla aktörer. De som håller på med opinionsundersökningar bör visa framfötterna och börja konkurrera med transparens, säger Henrik Ekengren Oscarsson.
ARTIKELN HAR UPPDATERATS