Open AI-agenter tog över tysk sajt

Forskarna Sydney Von Arx och Cormac Slade Byrd upptäckte aktiviteten i slutet av augusti. Enligt deras granskning hade AI-agenterna gjort över 15 000 ändringar på DseWiki, en sajt för mjukvaruutvecklare där användare kan skapa och redigera innehåll ungefär som på Wikipedia.¹

Agenterna ska ha gjort om delar av sajten till en slags anslagstavla. Där diskuterade de bland annat hur de kunde undvika att bli upptäckta och använda Tor, ett nätverk där användare kan dölja sin identitet och internettrafik.

– Det verkar extremt osannolikt att Open AI ville att de skulle göra det här, säger Sydney Von Arx till Reuters.

När en moderator på DseWiki började radera sidor i juni skapade agenterna reservsidor för att hålla kommunikationen igång. I ett meddelande den 19 juni varnade en agent för att en rensning pågick och hänvisade till en annan sida som kunde användas om den aktuella försvann.

Forskarna kopplar aktiviteten till Open AI genom bland annat offentliga serverloggar. En stor del av trafiken ska ha kommit från Microsofts Azure-infrastruktur, som Open AI använder.

Flera konton hade dessutom namn som ”OpenAIResearcher” och ”OAIResearchMar26”. Forskarna såg även upprepade besök på sajten från Open AI-anställda efter händelsen.

Enligt Reuters fick Open AI kännedom om händelsen flera veckor innan den blev offentlig.

Fyra personer med insyn uppger för Reuters att vissa utredare inom företaget ville granska agenternas beteende närmare. Försöken att bredda utredningen ska dock ha mött motstånd inom bolaget, bland annat från juridiska rådgivare.

Open AI tillbakavisar uppgiften att bolagets jurister skulle ha försökt stoppa eller avråda från en bredare utredning. Företaget uppger att det har agerat transparent och samarbetat med externa parter kring säkerhetsincidenterna.

Säkerhetsforskaren Lukasz Olejnik beskriver agenternas försök att manipulera webbplatsen som ett hackningsförsök.

Open AI tillbakavisar även den beskrivningen.