Därför kan vi inte längre lita på Pisa

Den senaste i raden av Pisa-undersökningar, som utfördes under 2018 och offentliggjordes den 3 december i år, visar att Sverige har hämtat upp mycket av det stora fallet under åren 2000–2012. Svenska 15-åringar ligger återigen över OECD-snittet i samtliga de ämnen/förmågor som Pisa mäter: läsförståelse, matematik och naturvetenskap. Om vi tillämpar samma logik som tidigare, borde även vi kunna stämma in i de glädjerop som har höjts i Regeringskansliet¹ och på Skolverket.²

Mycket talar emellertid för att det är alltför tidigt att jubla

Som redan har uppmärksammats, hade Sverige i Pisa 2018 den högsta uteslutningsgraden (elever som inte får göra provet) av alla deltagande länder: 11,1 procent, eller en niondel av 15-åringarna.³ Detta var en fördubbling från den föregående mätningen, Pisa 2015, och avvek kraftigt från OECD:s genomsnitt på fyra procent. Till detta kan läggas ytterligare 3,2 procentenheter av 15-åringarna som av olika anledningar inte återfinns i årskurs 7 eller högre, vilket ger en så kallad täckningsprocent på 85,7. Med andra ord utelämnar undersökningen helt 14,3 procent av 15-åringarna.

Det har antagits att den höga uteslutningsgraden hade att göra med tillströmningen av flyktingar till Sverige efter 2015, och det har i debatten antytts att det hade varit orättvist mot systemet att inkludera dessa nykomlingar i Pisa-undersökningen. Men om Sverige i alla andra sammanhang hävdar att landet bär ett lika stort ansvar för flyktingbarns skolgång som för infödda elevers skolgång, framstår det minst sagt som märkligt att de förra inte räknas in när det ges ett tillfälle att utvärdera vad den genomsnittliga kunskapsnivån är bland 15-åringarna i den svenska skolan.

Detta är naturligtvis viktigt att veta om skolan ska fungera väl för alla elever och inte bara för de etniskt svenska, vilka förbättrade sina resultat mest i Pisa. Här kan också noteras att Tyskland, ett annat land i Europa som tagit emot många flyktingar, hade en täckningsprocent på 99.⁴ Uppenbarligen gjorde Tyskland en annan, och för landet mindre gynnsam,⁵ bedömning av hur OECD:s riktlinjer för uteslutning skulle tillämpas än vad Sverige gjorde.

En tredjedel är på lägsta nivån för läsfärdighet

Lägg därtill, att bortfallet i den grupp av svenska elever som inkluderades i Pisa-undersökningen var mycket stort, 13,5 procent.⁶ Även denna andel innebar en ökning jämfört med Pisa-undersökningen 2015, då det svenska bortfallet var 9,3 procent. Bortfallet översteg även OECD:s genomsnitt 2018 på 9,9 procent. Sammantaget innebär uteslutningen och bortfallet, att en dryg fjärdedel av 15-åringarna (25,9 procent) antingen var uteslutna i förväg eller föll bort på grund av att de var uttagna att göra provet men sen inte gjorde det.

Gissningsvis är svaga elever överrepresenterade bland dem som har varit frånvarande. Skolverket noterar själva att ”[eftersom] andra studier har visat att elever som av olika anledningar inte deltar på ett prov allt som oftast i genomsnitt är relativt lågpresterande jämfört med de som skriver ett prov, finns det anledning att misstänka att så även är fallet i PISA.”⁷

Att Sverige alltså både uteslöt en stor grupp, kanske främst nyanlända, elever och såg ett betydande bortfall bland eleverna som var uttagna att skriva Pisa-provet, innebar att botten kapades och att fördelningen i Pisa 2018 flyttades uppåt på ett artificiellt sätt. Bland dem som skrev provet låg trots detta 18,4 procent på den lägsta nivån av sju möjliga i läsning.⁸ Det är sannolikt att de 14,3 procent som var definitionsmässigt uteslutna också skulle ha presterat på den lägsta nivån. Om vi försiktigtvis antar att hälften av de 13,5 procent som föll bort också skulle presterat på lägsta nivån i läsning innebär detta sammantaget att en dryg tredjedel av 15-åringarna i Sverige befinner sig på den lägsta nivån vad gäller läsfärdighet.

Att det i praktiken är en annan population än tidigare som har testats minskar naturligtvis de svenska resultatens tillförlitlighet. Därutöver finns det ett par andra faktorer kring Pisa 2018 som får oss att misstänka, att Pisa som sådant kan ha förlorat sin giltighet som objektiv måttstock av elevers kunskaper och förmågor.

Testet går inte längre att jämföra över tid

I samband med den förra undersökningen, Pisa 2015, övergav OECD det gamla sättet att utföra provet – papper och penna. I stället blev provet digitalt och utfördes på dator. Egendomligt nog visade det stora resultatfall i tidigare högpresterande länder, samtidigt som Sverige visade sig ha hejdat fallet sedan år 2000.

Enligt den brittiske forskaren John Jerrim gynnades länder som i hög utsträckning använder digitala verktyg i undervisningen av bytet till dator. Även Sverige gynnades i relativa termer.⁹ Jerrim anser därför att Pisa 2015 inneburit försämrad jämförbarhet med de Pisa-prov som skrevs under perioden 2000–2012.¹⁰

Inför 2018 års Pisa-undersökning gick OECD ett steg längre och införde vad som kallas computer-adaptive testing. Det innebär att Pisa-provet fick en dynamisk karaktär och att inte alla elever fick samma provfrågor. Elever som svarade rätt på tidiga frågor, fick svårare frågor längre fram, och omvänt fick svagare elever enklare frågor.

OECD:s tekniska rapport, som publiceras först längre fram, kommer förhoppningsvis att förklara hur denna nya teknologi har använts i Pisa-undersökningen. Tills vidare bör svenska myndigheter och debattörer vara oerhört försiktiga med uttalanden av typen ”Sverige är tillbaka på 2006 års nivå”, då provet fortfarande skrevs för hand och alla fick samma frågor. Dessutom var en betydligt mindre andel av de svenska eleverna exkluderade.

Kunskapsföraktet har nått Pisa-ledningen

Att OECD laborerar med olika tekniska förändringar av Pisa-undersökningen tyder på att jämförbarhet över tid är av underordnat värde för OECD. Andreas Schleicher, chef för bl.a. Pisa vid OECD, har så sent som i våras också sagt, att OECD vill förändra själva syftet med Pisa. Det ska inte längre främst vara en traditionell kunskapsmätning, eftersom ämneskunskaper, enligt Schleicher, bara kan googlas fram och långsiktigt är av mindre betydelse. I stället ska provet fånga andra egenskaper hos eleverna:¹¹

We’re thinking about 2030, knowledge about maths and science is easy to digitise but the future is different, the modern world doesn’t reward us for what we know, we can get that from Google, but how we apply knowledge.

Just denna kunskapssyn har präglat svensk skola de senaste decennierna och betraktas i allt vidare kretsar som en bidragande orsak till skolans försämring. Att OECD avser tillämpa den i utformningen av provet framstår därför som illavarslande för Pisa-undersökningens kvalitet. Kanske har det redan skett på subtila sätt. Även av denna anledning avstår vi från att sälla oss till dem som redan har analysen klar och tvärsäkert hävdar att kunskapskrisen i svensk skola är över.