Nobelpristagaren som ändrade sig om AI

Mitt eget namn finns en bit ned på undre halvan av undertecknarlistan, men på platserna 1 och 3 finner vi de båda undertecknare som vid prisutdelningsceremonin i Konserthuset i Stockholm idag den 10 december emottar sina Nobelpris ur kung Carl XVI Gustafs hand. Det handlar om fysikpristagaren Geoffrey Hinton och kemipristagaren Demis Hassabis, som både belönas för sina insatser i den revolutionerande AI-utveckling som vi idag befinner oss mitt i.

En helomvändning

Frispråkigast av dem båda rörande AI-risk är Hinton. Våren 2023 gjorde han en helomvändning i synen på den AI-utveckling han själv bidragit så starkt till, och han steg till och med av från en lukrativ forskartjänst på Google för att därmed kunna tala mer fritt om saken.

Vid presskonferensen i Stockholm den 8 oktober i år då fysikpriset offentliggjordes var han med via telefon och sade sig vara bekymrad över att den yttersta konsekvensen av hans och andra AI-forskares landvinningar kan bli skapandet av AI-system som är ”mer intelligenta än vi, och som slutligen tar kontrollen”.

Jämfört med Hinton är Hassabis oftast mer återhållsam med att kommentera detta ämne, men de har alltså båda skrivit under på att risken finns att AI-tekniken utplånar Homo sapiens. En dag som denna är detta ställningstagande extra pikant i och med att det i Alfred Nobels testamente heter att priset som bär hans namn ska tilldelas dem som ”gjort mänskligheten den största nytta”.

Geoffrey Hinton har ibland beskrivits som den moderna AI-forskningens gudfader. Han har ända sedan 1980-talet varit en drivande kraft i denna forskning, och det är i hög grad de beräkningsmetoder han utvecklat som möjliggör träningen av Chat GPT och andra AI-system som idag börjat sätta allt större avtryck i samhället.

Hans yngre AI-forskarkollega Hassabis hör till pionjärerna när det gäller storskalig implementering av dessa metoder. Tillsammans med Shane Legg och Mustafa Suleyman grundade han 2010 företaget Deep Mind, som under det påföljande decenniet dominerade AI-utvecklingen och skapade många rubriker. År 2020 lanserade de AI-systemet Alpha Fold 2, som revolutionerade en hel gren av molekylärbiologin genom att lösa det så kallade proteinveckningsproblemet, och som Demis Hassabis tillsammans med Deep Mind-kollegan John Jumper nu belönas för med Nobelpriset i kemi.

Musk i gräl om AI:s framtid

En händelse i Deep Minds historia som vi i efterhand kan konstatera fick stor betydelse för det nuvarande AI-landskapet är hur de 2014 köptes upp av Google. Året innan hade Googles medgrundare Larry Page deltagit på den gamle vännen Elon Musks födelsedagsfest, och de båda hade inför öppen ridå råkat i ett häftigt gräl som fick varaktiga konsekvenser för deras relation och som Walter Isaacson återger i sin biografi Elon Musk från förra året.

Musk lyfte frågan om risken för att vi, om vi är oförsiktiga, skapar en AI som utplånar mänskligheten, men överraskades av Pages hållning att AI är ett naturligt nästa steg i evolutionen. Enligt Page gjorde Musk i sin vurm för mänskligheten sig skyldig till sentimentalt nonsens och så kallad speciesism, det vill säga ett inskränkt värnande om den egna arten på andra arters bekostnad. Men Musk höll fast vid att stå på mänsklighetens sida i denna fråga, och när Google så småningom köpte upp Deep Mind reagerade han med fasa över att en person med Pages syn på mänsklighetens överlevnad därmed satt med kontrollen över världens ledande AI-laboratorium.

Något behövde göras, tänkte Musk, och 2015 slog han sig samman med bland andra Sam Altman i grundandet av Open AI. Planen var att på icke-vinstdrivande basis skapa en konkurrent till Google/Deep Mind, och stadgarna innehåller stora ord om att skapa säker AI som ska komma hela mänskligheten till godo. År 2018 lämnade Musk styrelsen, samtidigt som företaget, under Altmans ledning och inför behovet av kapital för att kunna skala upp verksamheten och uppnå konkurrenskraft, kompromissade alltmer med de idealistiska grundidéerna.

Under 2020–2022 övertog de gradvis Deep Minds ställning som ledande AI-utvecklare tack vare sina snabba framsteg med den serie så kallade stora språkmodeller som sedan två år tillbaka saluförs som Chat GPT.

Bakslag då många lämnade Open AI

Kring årsskiftet 2020/2021 drabbades emellertid Open AI av ett bakslag då en rad av deras nyckelpersoner, med Dario Amodei i spetsen, lämnade företaget för att med kapital från annat håll bilda Anthropic, som snabbt skulle växa in i rollen som Open AI:s kanske vassaste konkurrent. Efter turbulensen på Open AI i november 2023, då Altman först sparkades av styrelsen, men efter några dagar av skickliga manövrer lyckades återinträda på vd-posten och tvinga bort större delen av styrelsen, är dennes grepp om företaget nu starkare än någonsin. Under 2024 har företaget emellertid drabbats av en ny våg av avhopp, inklusive så gott som alla nyckelmedarbetare på AI-säkerhetssidan, varav en del vittnar om den försämrade företagskulturen, där ”säkerhetstänkandet har hamnat i baksätet för att ge plats åt glänsande produkter”, som en av dem uttryckte saken.

Lagstiftning är av nöden, även om amerikanska makthavare dessvärre hittills inte uppvisat tillräcklig handlingskraft i frågan.

Situationen idag är att dessa tre företag – Google/Deep Mind, Open AI och Anthropic – är inbegripna i en rasande kapplöpning mot marknadsdominans och kort därefter övermänskligt kapabel så kallad AGI – artificiell generell intelligens. Såväl Altman och Amodei som mer oberoende expertis på området talar alltmer i termer av att det sistnämnda kan komma att uppnås inom några få år.

Konsekvenserna av ett sådant genombrott är svåröverskådliga, men Helen Toner, som satt i Open AI:s styrelse fram till Altmans maktövertagande i november förra året, vittnade tidigare i år i den amerikanska senaten om att den allmänna meningen bland företagets medarbetare och kretsarna därikring är att följderna skulle bli ”som minst extremt omstörtande, och som mest leda till bokstavlig utplåning av mänskligheten”.

Kapplöpning mot nya produkter

Problemet med denna kapplöpningsdynamik är inte bara att företagen stressas till att prioritera utrullning av nya produkter framför tidsödande säkerhetsarbete, utan också att ingen vet hur man ska lyckas bemästra det som kallas AI alignment – att se till att de första övermänskligt kapabla AGI-modellerna har mål och drivkrafter som är i linje med mänskliga värderingar och som i tillräcklig mån prioriterar mänsklig välfärd. I takt med att tidshorisonten till det stora genombrottet förkortats framstår det som alltmer otroligt att man i tid ska hinna lösa den saken. Att dra i nödbromsen tycks nödvändigt, men de som argumenterar emot pekar på att Kina lurar i vassen om USA skulle göra det ensidigt.

Anthropic positionerade sig snabbt som det mest säkerhetsmedvetna av de tre företagen, men deras vd Dario Amodei lyckades i oktober i år rasera den bilden genom sitt orwellskt betitlade dokument Machines of loving grace, där han förordade en geopolitiskt aggressiv (och i mitt tycke uppenbart farlig) väg framåt. Genom att trycka gasen i botten för AI-utvecklingen ska en teknisk och militär överlägsenhet skapas som tvingar Kina på knä, i utbyte mot att de i ett senare skede får del av AI-teknikens frukter.

Dessa företag talar gärna varmt om sin egen förmåga till självreglering, men det blir alltmer uppenbart att de inte kan anförtros det. Lagstiftning är av nöden, även om amerikanska makthavare dessvärre hittills inte uppvisat tillräcklig handlingskraft i frågan. Elon Musk kan vara en joker i leken i kraft av den inflytelserika position han väntas få i det nya Trumpstyret, och den goda instinkt som framkom i hans gräl 2013 med Larry Page kan förefalla hoppingivande.

Hans impulsivitet gör honom emellertid svårförutsägbar, och dagens kapplöpningssituation är ju i inte så liten mån hans eget fel.

Världens öde kan avgöras i Kalifornien

Samtidigt som världens öde kan vara på väg att avgöras i Kalifornien och eventuellt också i Washington förekommer en del plaskande i den svenska AI-ankdammen. För två veckor sedan, den 26 november, överlämnade den av regeringen tillsatta AI-kommissionen med Carl-Henric Svanberg i spetsen sin slutrapport Färdplan för Sverige till civilminister Erik Slottner.

Rapportens tonvikt ligger på snabb utrullning av AI-teknik för olika tillämpningar i offentlig sektor och på hur vi genom upprätthållandet av ett gott innovationsklimat ska kunna stärka svensk konkurrenskraft. Vad som däremot lyser med nästan total frånvaro i texten är AI sedd som global ödesfråga, trots att direktiven då kommissionen sjösattes för ett år sedan inbegrep formuleringar om att ”identifiera prioriterade internationella insatser och lämna förslag till hur Sverige kan agera proaktivt och samordnat vid framtagande och utveckling av internationella policyer och regelverk för AI”.

Som exempel på rapportens enögdhet och snävt nationella perspektiv kan nämnas synen på EU-reglering av AI-teknik, där vikten av att sådan reglering inte sätter hinder för lanseringen av nya amerikanska AI-modeller i Europa betonas.

Det handlar om risken att mänskligheten utplånas av superintelligent AI.

Det heter bland annat att ”även om EU-lanseringen av en ny modell bara dröjer sex månader kan det få väldigt negativa effekter på våra företags förmåga att hävda sig i den globala konkurrensen”, och kommissionen anmodar ”svenska företrädare [att] verka för att den AI-relaterade EU-regleringen inte bidrar till försämrad tillgänglighet för dessa verktyg”. Dessa aspekter är förvisso värda att beakta. Men de behöver vägas mot EU:s viktiga roll i att verka för att den globala omställningen till en värld med avancerad AI blir lyckosam. Det är angeläget att kunna sätta press på de ledande AI-företagen genom att villkora lanseringen i EU av deras AI-produkter med att de skärper sitt AI-säkerhetsarbete till nivåer där vi alla kan känna oss trygga i att dessa produkter inte kommer att leda till katastrof.

Om denna centrala avvägning säger rapporten inte ett knyst.

AI som existentiell risk

Men för all del, man får vara tacksam över att AI som existentiell risk mot mänskligheten alls nämns i AI-kommissionens rapport, om än bara i förbigående:

”Vissa menar dock att en sådan utveckling skulle kunna hota mänsklighetens existens. Detta genom att AI-systemen utvecklar en egen vilja som skiljer sig från vår, och betraktar oss som ett hot mot sin egen fortlevnad eller sina egna mål. Risken i ett sådant scenario ligger i att systemen helt enkelt blir mer kapabla än vi människor och att vår förmåga inte räcker till för att hindra en okontrollerad utveckling.”

I reservationen ”vissa menar” finns här ett implicit avståndstagande och en subtil antydan om att dessa ”vissa” utgör en perifer fraktion inom AI-debatten, vilket ju inte stämmer alls. Det hade varit hederligare att nämna att kategorin ”vissa” inkluderar såväl världens tre mest citerade AI-forskare (förutom Hinton även Yoshua Bengio och den avhoppade Open AI-medarbetaren Ilya Sutskever) som cheferna för de tre ledande AI-labben (Hassabis, Altman och Amodei), vilka alla undertecknade det ovan citerade öppna brevet om AI-risk.

Ett liknande försåtligt avfärdande av AI-risk finner vi i det ställningstagande som följer strax därpå i rapporten:

”AI-kommissionen anser att oron kring den så kallade existentiella risken är något som måste beaktas, men beklagar samtidigt att delar av den offentliga diskussionen om säkerhet har tenderat att fokusera på spekulativa risker med mycket låg sannolikhet.”

Här preciseras inte vilka dessa ”spekulativa risker” är och i och med hur vittförgrenad och ojämn AI-debatten som helhet är går det därför inte att formellt beslå påståendet om ”mycket låg sannolikhet” som felaktigt.

Sammanhanget ger dock en kraftig antydan om att det handlar om risken att mänskligheten utplånas av superintelligent AI. Den ytterst kontroversiella bedömningen att sådana scenarier har ”mycket låg sannolikhet”, som vi därmed kan läsa mellan raderna i rapporten, levereras utan ett uns av motivering. En sådant ointresse för saklig argumentation är beklämmande att stöta på i en statlig utredning, och den bistra sanningen är dessutom att något solitt vetenskapligt stöd för kommissionens bedömning inte existerar. Givet denna nonchalanta inställning till AI-risk är det knappast förvånande att kommissionen inte säger något alls om det kanske allra viktigaste Sverige har att göra i AI-frågan just nu, nämligen att agera internationellt för att påtala det oacceptabla i och få stopp på den civilisatoriskt livsfarliga kapplöpning som ett litet antal AI-företag i norra Kalifornien just nu är inbegripna i.

Mer positivt är att kommissionen trots allt föreslår inrättandet av ett svenskt AI-säkerhetsinstitut med en årlig finansiering om 30 miljoner kronor. Detta förslag kan vi glädjas åt samtidigt som vi idag firar Nobeldagen.

För svenskt vidkommande innebär Nobelpriset inte bara strålglans och en plats i det globala rampljuset den 10 december varje år. Minst lika viktigt är hur de olika priskommittéernas fortlöpande och systematiska utredningsarbete kring potentiella pristagare och prisområden säkerställer att det svenska forskarsamhället bibehåller värdefulla kontakter och en ypperlig kunskapsnivå om den globala forskningsfronten.

Dessa kunskaper sipprar sedan vidare genom akademi och näringsliv, men dessvärre når de inte alltid fram till det statliga utredningsväsendet, och jag finner det djupt beklagligt att AI-kommissionen producerat en så provinsiell och verklighetsfrånvänd rapport som Färdplan för Sverige.