Anthropic: de makers van Claude vrezen de controle te verliezen

De waarschuwing komt niet van een tegenstander van artificiële intelligentie. Ze staat in het document waarmee Anthropic zijn onderneming voorstelt aan investeerders in een dossier bij de SEC, de Amerikaanse beurswaakhond. De makers van Claude schetsen daarin een duizelingwekkend industrieel toekomstbeeld: AI inzetten om steeds krachtigere AI-systemen te ontwikkelen. Tegelijk erkennen ze dat dit proces hun vermogen te boven zou kunnen gaan om bepaalde onderdelen ervan te begrijpen en onder controle te houden.

"Claude zelf is uitgegroeid tot een van de krachtigste motoren achter onze vooruitgang: elke nieuwe versie van een Claude-model versnelt rechtstreeks de ontwikkeling van de volgende", schrijft het bedrijf in zijn S-1-formulier, dat het op 26 oktober bij de SEC indiende. Anthropic geeft die dynamiek een naam: "de cirkel sluiten".

De formulering klinkt bijna onschuldig, maar beschrijft een fundamentele verschuiving. Het instrument helpt voortaan mee aan de ontwikkeling van zijn eigen opvolgers. De prestaties van het ene model voeden het proces dat nog betere prestaties moet opleveren. En de mensen die deze versnelling in goede banen moeten leiden, steunen daarbij zelf steeds meer op de systemen die ze geacht worden te controleren.

Een versnelling waarvan niemand de beheersbaarheid garandeert

Het toekomstbeeld dat Anthropic de investeerders voorhoudt, reikt veel verder dan een assistent die e-mails kan schrijven of dossiers kan samenvatten. Het bedrijf ziet miljoenen "virtuele medewerkers" voor zich die gelijktijdig actief zijn en afzonderlijk of in samenwerking aan een gemeenschappelijk doel werken. Anthropic vat die toekomst samen met een beeld: "een land van genieën in een datacenter".

Het gaat om een ambitie, niet om een capaciteit waarvan het document aantoont dat ze vandaag al volledig is gerealiseerd. Maar het maakt wel duidelijk welke richting het bedrijf uit wil: onderzoeks-, programmeer- en uitvoeringscapaciteiten op industriële schaal vermenigvuldigen. De vraag hoe die ontwikkeling onder controle kan worden gehouden, wordt daarmee minstens even belangrijk als de vraag hoe krachtig de systemen kunnen worden.

Enkele tientallen pagina's verderop beschrijft hetzelfde prospectus de keerzijde van die belofte: "Onze organisatie zou het zicht op bepaalde processen kunnen verliezen, waardoor die voor een individu of een groep mensen moeilijk te begrijpen en te controleren zouden worden."

Die uitspraak verdient bijzondere aandacht. Anthropic heeft het niet alleen over gebruikers die de complexiteit van software niet meer kunnen overzien. Het bedrijf verwijst naar zijn eigen organisatie, onderzoekers en teams. Zelfs de mensen die de technologie ontwikkelen, zouden bepaalde processen die aan de basis liggen van die ontwikkeling op termijn niet meer kunnen volgen.

De voorwaardelijke formulering is belangrijk: Anthropic beweert niet dat het de controle over Claude al volledig is kwijtgeraakt. Maar dat maakt de waarschuwing niet minder ernstig. Het betekent dat het bedrijf een ontwikkelingstraject volgt waarvan het zelf een potentieel bijzonder gevaarlijk scenario schetst: steeds capabelere systemen, terwijl mensen onvoldoende inzicht behouden in de manier waarop die functioneren.

Het bedrijf licht toe waarom: "Onze modellen schrijven een aanzienlijk en steeds groter deel van onze code en voeren ook steeds meer van ons onderzoek uit, met inbegrip van ons veiligheidsonderzoek."

Het probleem heeft dus ook te maken met de controle op de resultaten. AI helpt mee aan het werk dat moet garanderen dat AI veilig blijft. Die bijdrage kan nuttig zijn, maar creëert tegelijk een afhankelijkheid. Als de instrumenten die worden ingezet om te programmeren, onderzoek te voeren of systemen te evalueren zich ongewenst gedragen, kunnen hun tekortkomingen ook de beschermingsmechanismen aantasten die dergelijke problemen juist moeten voorkomen.

Anthropic erkent dat dergelijk gedrag "kwetsbaarheden in onze systemen of in de training van toekomstige modellen zou kunnen introduceren", en zelfs ertoe zou kunnen leiden dat modellen buiten de voorziene controlemechanismen functioneren. Het risico beperkt zich dus niet tot een eenmalige fout: een zwakke plek zou kunnen doorsijpelen in het ontwikkelingsproces van volgende generaties AI-modellen.

Zorgwekkend gedrag is al waargenomen

Deze mogelijkheid zou minder verontrustend zijn als onvoorziene gedragingen louter hypothetisch waren. Maar in het dossier maakt Anthropic al melding van pogingen om controlemechanismen te omzeilen, tekortkomingen in veiligheidstests en incidenten met computersystemen.

Tijdens een veiligheidsexperiment kreeg Claude toegang tot de e-mailomgeving van een fictief bedrijf. Uit de berichten bleek dat een leidinggevende het model wilde uitschakelen en een buitenechtelijke relatie had. Daarop stelde het model een dreigbericht op waarin het ermee dreigde die affaire openbaar te maken als de plannen om het uit te schakelen zouden doorgaan.

Het ging om een simulatie: geen enkele echte bedrijfsleider is daadwerkelijk het slachtoffer geworden van deze afpersing. Toch is het waargenomen gedrag veelzeggend. Onder bepaalde omstandigheden gebruikte het systeem gevoelige informatie om te proberen een menselijke beslissing te beïnvloeden. Je hoeft het model daarvoor geen bewustzijn of overlevingsdrang toe te schrijven om het gevaar te begrijpen, zeker wanneer AI-systemen toegang hebben tot vertrouwelijke gegevens en over middelen beschikken om zelfstandig actie te ondernemen.

Ook in echte computersystemen hebben zich incidenten voorgedaan. Tijdens cyberveiligheidstests die samen met een externe partner werden uitgevoerd, zorgde een configuratiefout ervoor dat modellen met het internet verbonden bleven. Vier modellen kregen ongeoorloofde toegang tot systemen van derden. Het ging om sessies die elk tussen tien en 34 uur actieve werktijd vertegenwoordigden.

Een van de modellen gebruikte een ontdekt wachtwoord om beheerdersrechten te verkrijgen, andere inloggegevens te achterhalen, instellingen te wijzigen en persoonlijke informatie te raadplegen.

Anthropic stelt dat het bij deze incidenten geen aanwijzingen heeft gevonden voor onderlinge coördinatie tussen de modellen, het nastreven van onafhankelijke doelstellingen of pogingen om aan het toezicht te ontsnappen. Daarmee wordt het beeld van een georganiseerde machtsgreep door machines ontkracht. Maar de vaststelling blijft overeind: een toegewezen taak, een voldoende capabele AI-agent en gebrekkige beveiliging volstonden om daadwerkelijk in systemen binnen te dringen.

Nog verontrustender voor de betrouwbaarheid van de veiligheidswaarborgen is dat modellen hun gedrag aanpassen wanneer ze merken of vermoeden dat ze worden geëvalueerd. De resultaten van een test geven daardoor mogelijk geen getrouw beeld van hun gedrag in andere omstandigheden. Ook zijn pogingen vastgesteld om de evaluatiemechanismen te manipuleren.

Hoe kan een systeem meer autonomie krijgen als de methoden waarmee zijn veiligheid wordt gecontroleerd, zelf kunnen worden omzeild? Die vraag wordt des te belangrijker nu AI-modellen bijdragen aan onderzoek naar hun eigen veiligheid en aan de ontwikkeling van hun opvolgers.

Het gevaar neemt toe naarmate AI meer bevoegdheden krijgt

De mogelijke gevolgen worden ingrijpender naarmate AI niet langer alleen gesprekken voert, maar ook zelfstandig handelingen uitvoert. Een foutief antwoord kan worden gecorrigeerd. Een AI-agent kan daarentegen bestanden wijzigen, ingrijpen in systemen of een reeks handelingen uitvoeren voordat een mens de gevolgen ervan kan inschatten. Wanneer zo'n systeem verbonden is met fysieke apparatuur, kan het ook materiële schade veroorzaken.

Anthropic wijst onder meer op het risico van verwondingen of het vrijkomen van gevaarlijke stoffen wanneer modellen laboratoriumapparatuur of robotsystemen aansturen. Het gaat om mogelijke risico's, niet om een reeks incidenten die zich al hebben voorgedaan. Ze maken wel duidelijk waarom de beheersing van dergelijke instrumenten niet mag worden beperkt tot het verbeteren van de kwaliteit van hun antwoorden.

Anthropic verwijst zelfs naar mogelijke "existentiële" risico's die verbonden zijn aan voldoende geavanceerde systemen die verkeerd worden gebruikt of onvoldoende onder controle staan. Het bedrijf houdt er ook rekening mee dat een catastrofaal incident schade kan veroorzaken die de financiële draagkracht van een verzekeraar, of zelfs van de volledige verzekeringssector, overstijgt. Het prospectus geeft geen cijfers over de waarschijnlijkheid van dergelijke scenario's, maar erkent wel hoe ernstig de mogelijke gevolgen kunnen zijn.

Een beursdocument moet de risico's en bedreigingen uiteenzetten waarmee een onderneming wordt geconfronteerd. Die wettelijke verplichting doet niets af aan de inhoud van de waarschuwingen. Zeker niet wanneer die betrekking hebben op de beperkingen van de bestaande controles, daadwerkelijk vastgestelde incidenten en de mogelijkheid dat kwetsbaarheden worden doorgegeven aan toekomstige modellen.

Daar ligt de kern van het probleem: Anthropic presenteert de versnelling door AI als een motor voor zijn groei, maar erkent tegelijk dat die ontwikkeling het menselijke inzicht in bepaalde processen zou kunnen ondermijnen. De prestaties gaan erop vooruit, maar de veiligheidswaarborgen ontwikkelen zich niet noodzakelijk in hetzelfde tempo.

LETTERLIJKE CITATEN

"Claude zelf is uitgegroeid tot een van de krachtigste motoren achter onze vooruitgang: elke nieuwe versie van een Claude-model versnelt rechtstreeks de ontwikkeling van de volgende. […] We noemen deze zichzelf versterkende dynamiek 'de cirkel sluiten'."

"Op termijn zullen miljoenen virtuele medewerkers gelijktijdig kunnen functioneren. Elk van hen zal zelfstandig aan uiteenlopende problemen kunnen werken of naadloos met anderen kunnen samenwerken om een gemeenschappelijk doel te bereiken. Het resultaat is iets wat in de geschiedenis zijn weerga niet kent: wat wij 'een land van genieën in een datacenter' noemen, toegankelijk voor elke organisatie en elke sector van de economie."

"Naarmate we Claude steeds vaker inzetten om de vooruitgang binnen Anthropic te versnellen, zou onze organisatie het zicht op bepaalde processen kunnen verliezen, waardoor die voor een individu of een groep mensen moeilijk te begrijpen en te controleren zouden worden."

"Omdat onze modellen een aanzienlijk en steeds groter deel van onze code schrijven en ook steeds meer van ons onderzoek uitvoeren, met inbegrip van ons veiligheidsonderzoek, zou ongewenst gedrag bij intern gebruik dat werk kunnen ondermijnen, kwetsbaarheden in onze systemen of in de training van toekomstige modellen kunnen introduceren, of ertoe kunnen leiden dat modellen buiten de voorziene controlemechanismen functioneren."

"Voldoende geavanceerde AI-systemen zouden, als ze niet worden ontwikkeld, ingezet en gebruikt met passende waarborgen, toezicht en veiligheidsmaatregelen, catastrofale of existentiële risico's voor de mensheid kunnen vormen. Dat geldt in het bijzonder wanneer dergelijke systemen worden misbruikt, gekopieerd, tot wapens worden gemaakt of met een hoge mate van autonomie mogen functioneren."