Anthropics store, umulige drøm

Silvija Seres er teknolog og strategisk rådgiver.

Silvija Seres er KI-ekspert og strategisk rådgiver med bakgrunn fra institusjoner som Oxford og Silicon Valley. Hun er kjent for å gjøre komplekse teknologiske konsepter enkle å forstå og anvende. Hun skriver om teknologi, KI, digitalisering og ledelse i Dagens Perspektiv.

ESSAY. Da Anthropic denne uken tok til orde for muligheten for å bremse utviklingen av de mest avanserte KI-modellene, var det egentlig en repetisjon av debatten utviklere av KI har hatt siden lenge før ChatGPT eksisterte. Paradokset er at teknologene som sier dette, fortsetter å bygge det de advarer mot. Man kan bli forvirret av mindre.

Anthropics medgründer Jack Clark beskriver neste fase i KI. At KI ikke lenger bare brukes av mennesker, men også av KI til å forbedre andre KI-systemer. Modeller skriver kode, evaluerer modeller, designer eksperimenter, genererer treningsdata og deltar i forskningsprosesser som tidligere krevde store grupper av eksperter. Intelligens brukes til å produsere mer intelligens. Dette er kjernen i ideen om rekursiv selvforbedring.

Da Nick Bostrom publiserte Superintelligence i 2014, beskrev han en mulig utviklingsbane som fremdeles preger hele debatten. En maskin når menneskelig nivå på stadig flere områder. Den brukes deretter til å forbedre sin egen arkitektur, sin egen programvare og sine egne etterfølgere. Hver ny generasjon blir bedre til å utvikle neste generasjon. Resultatet er en positiv tilbakekoblingssløyfe hvor forbedringsprosessen selv akselererer.

LES MER:

Anthropics rop om KI-pause: Skummel advarsel eller smart PR-stunt?

KI-selskapet Anthropic ber om en pause i utviklingen av de kraftigste KI-modellene, da de begynner å bli smartere uten menneskers hjelp. Er dette en reell «alarm», eller noe som kan minne om et PR-stunt? Litt av begge deler, mener ekspertene.

 Handler ikke om bevissthet og følelser

Vi må ikke forveksle denne teorien med diskusjoner om KI og bevissthet, følelser, etikk og moral. Det er en systemteoretisk debatt om forskning og utvikling. Hvis intelligens er den viktigste innsatsfaktoren i produksjonen av mer intelligens, oppstår et åpenbart spørsmål: Hva skjer når en betydelig del av forskningen utføres av systemene som forskningen handler om? Og det viktigste problemet: Hvem kontrollerer denne akselererende intelligensen, hvem sine oppgaver og mål jobber den for og hvordan vet vi at dette rimer med våre felles mål og behov og verdier? Dette er i sin kjerne et koordineringsproblem, og matematikken gir ikke mye grunn til optimisme.

I mer enn ti år har verdens fremste KI-forskere diskutert hvordan man skal kontrollere en fremtidig superintelligens. Nick Bostrom kalte det kontrollproblemet. Geoffrey Hinton og hans student Yoshua Bengio advarer om at vi ikke lenger forstår systemene vi bygger, og at vi kan stå overfor «ting som er mer intelligente enn oss, og som ikke nødvendigvis deler våre mål» ... Eliezer Yudkowsky mener utviklingen bør stanses før det er for sent, med bøker som har titler «The Alignment Problem» og «If they build it we all die». 

Bill Gates har pekt på at kunstig intelligens er «like fundamentalt som oppfinnelsen av mikroprosessoren, PC-en, internett og mobiltelefonen», og samtidig advart om at tempoet i utviklingen gjør det vanskelig å sikre at systemene brukes ansvarlig. Han har også uttalt at vi går inn i en fremtid der det ikke vil være jobber for folk flest.

Elon Musk var med på å grunnlegge OpenAI for å så trekke seg ut på grunn av sin bekymring om kontrollproblemet. Eller kanskje det var fordi han ville fokusere på å bygge mer raketter og satellitter. Man kan aldri vite med disse teknologi-geniene, som nå også eier den nye vekstinfrastrukturen.

Anthropic argumenterer nå (igjen og igjen) for at verden burde kunne bremse de mest avanserte modellene dersom risikoen blir for stor. Etter et tiår med forskning, milliarder av dollar i investeringer og eksplosiv teknologisk fremgang står én ting igjen som slående: Verden er ikke en centimeter nærmere en løsning på det egentlige problemet.

Koordinering

Anthropic snakker om risiko, og innrømmer samtidig at de ikke ser noen realistisk mekanisme for å håndtere risikoen dersom den blir stor nok. De beskriver en situasjon hvor det ville vært ønskelig å bremse utviklingen, men hvor ingen enkelt aktør kan gjøre det alene. Dermed flyttes diskusjonen bort fra teknologi og over til noe langt mer grunnleggende: Koordinering.

Nick Bostrom stilte disse spørsmålene allerede i 2014. Hva skjer dersom vi bygger systemer som er bedre enn oss til å løse problemer, drive forskning, skrive programvare, utvikle teknologi og planlegge strategier? Hvordan kontrollerer man noe som er smartere enn kontrolløren? Tolv år senere er det fortsatt ingen som har et tilfredsstillende svar på det spørsmålet. Teknologien har beveget seg med en hastighet få turte å drømme om. Styringsproblemet står urørt.

Hvis fremtidige intelligente systemer blir svært kraftige, må de utvikles slik at deres mål forblir kompatible med menneskelige mål. Store deler av dagens KI-sikkerhetsforskning bygger på denne antagelsen. Eliezer Yudkowsky ble etter hvert den mest kjente kritikeren av optimismen som lå bak, og argumenterte for at problemet kanskje ikke kan løses i tide. De siste årene har han beveget seg fra å diskutere alignment (justering) til å argumentere for at de kraftigste systemene rett og slett ikke bør bygges. Mange oppfatter dette som ekstremt. Problemet er at selv den ekstreme posisjonen ikke løser det virkelige problemet.

Hvem tør være først?

For hvem skal stoppe først?

Hvis Anthropic stopper utviklingen, fortsetter OpenAI. Hvis OpenAI stopper, fortsetter Google. Hvis Google stopper, fortsetter Meta. Hvis USA bestemmer seg for å bremse, fortsetter Kina. Hvis både USA og Kina bremser, finnes det fortsatt forskningsmiljøer, forsvarsorganisasjoner, oppstartsbedrifter og åpne modeller som beveger seg videre. Jo større de forventede gevinstene er, desto svakere blir insentivet til å vente. Hvis teknologien faktisk er så viktig som både optimister og pessimister hevder, blir argumentet for å fortsette sterkere, ikke svakere.

For rettferdighetens skyld, bør vi også nevne noen alternative grunner til at Anthropic skriver om dette igjen nå: De kan ønske seg regulering som konkurransevåpen. De er blant verdens mest verdifulle KI-selskaper, og store selskaper tåler regulering bedre enn små. Pauseretorikken fungerer også som en måte å låse inn dagens markedsledere på. En annen grunn er timing. Anthropic forbereder børsnotering, og skeptikere spør om deler av budskapet også handler om posisjonering. Til slutt, selv de som støtter sikkerhetsargumentet innrømmer at global koordinering er ekstremt vanskelig. Hvis USA bremser og Kina ikke gjør det, endrer hele regnestykket seg.

De lærde strides

Det har også lenge vært flere siden i denne debatten. KI-verdenen har en årlig internasjonal sikkerhetsrapport, som viser at mange av bekymringene ikke bare kommer fra selskapene selv, men fra et bredt forskningsmiljø.

De to fremste KI-forskerne i verden er uenige om tematikken. Geoffrey Hinton og Yann LeCun var lenge ledende skikkelser i det mest fremragende faglige miljøet innen generativ KI, og mottok sammen Turing-prisen for sitt arbeid med dyp læring. I dag representerer de to diametralt motsatte syn på risiko. Uenigheten har blitt personlig. Et tidligere dypt og verdensformende samarbeid er nå en åpen konflikt om hvordan vi skal forstå fremtiden.

Hinton har forlatt Google for å kunne advare friere om risikoen, og advarer mot at systemene kan utvikle mål og strategier vi ikke forstår eller kontrollerer. Han (og Anthropic) mener at utviklingen nå går så raskt at samfunnet trenger bedre tid til å forstå konsekvensene. LeCun avviser dette som urealistisk, og insisterer på at dagens modeller mangler grunnleggende egenskaper som gjør slike scenarier plausible. Modellene mangler forståelse av verden, langsiktig planlegging, sunn fornuft og evnen til å lære kontinuerlig. De er imponerende mønstergjenkjennere, men ikke på vei mot selvstendige digitale vesener. Frykten for superintelligens er etter hans syn en distraksjon fra mer konkrete problemer som feilinformasjon, maktkonsentrasjon og økonomiske omstillinger.

Fra teknologi til politikk

Det som faktisk har skjedd de siste årene, er at forskerne flere ganger har oppdaget evner i modellene som de ikke eksplisitt har programmert inn. Resonering, planlegging, programmering og vitenskapelig problemløsning har i stor grad dukket opp som fremvoksende egenskaper når modellene ble store nok. Ingen kan derfor med full sikkerhet si hvor grensene går. Problemet er at vi mangler et måleinstrument for intelligens som fungerer på maskiner som lærer på en annen måte enn mennesker.

Derfor diskuterer vi egentlig to forskjellige spørsmål samtidig. Det første spørsmålet er teknologisk: Kan systemene bli vesentlig smartere enn mennesker på stadig flere områder? Det andre spørsmålet er politisk: Hvem skal bestemme hvor fort vi beveger oss dersom svaret viser seg å være ja?

For selv om verdens ledende KI-selskaper i teorien skulle bli enige om en pause, er det uklart hvordan den kunne håndheves. KI er ikke som atomvåpen. Det finnes ingen uranminer som kan overvåkes, ingen rakettsiloer som kan fotograferes fra satellitt. Kunnskapen er distribuert globalt. Modellene utvikles i private selskaper, universiteter, forskningsinstitutter og etter hvert også av åpne miljøer. Dessuten er de økonomiske insentivene enorme.

Det er vanskelig å se for seg at USA og Kina samtidig skulle bli enige om å bremse en teknologi som begge oppfatter som avgjørende for økonomisk vekst, militær styrke og geopolitisk innflytelse. USA og Kina ser på KI som en strategisk teknologi på linje med energi, halvledere og forsvar. Historien gir ingen eksempler på at stormakter frivillig har satt teknologiske kappløp på pause. Derfor er det lite sannsynlig at verden får en full stopp. Det mer sannsynlige utfallet er at vi får gradvis sterkere regulering, strengere sikkerhetskrav og økende krav til dokumentasjon, testing og ansvarlighet. Akkurat som vi gjorde med legemidler, luftfart og finans.

Over- eller undervurdring?

De som bygger de mest avanserte systemene i verden, er ikke lenger enige om hvor utviklingen fører. Noen mener vi overvurderer risikoen, andre mener vi undervurderer den dramatisk. Begge grupper består av mennesker som forstår teknologien langt bedre enn de fleste politikere, journalister og bedriftsledere.

Når ekspertene er så grunnleggende uenige om fremtiden, er den riktige reaksjonen å ta usikkerheten på alvor, og prøve å forstå mulighetsrommet i dette nye globale tek-diplomatiet, der usikkerheten har flyttet seg fra ytterkanten av debatten og inn i sentrum, og enes om at vi alle trenger en koordinert og verifiserbar internasjonal ordning.

LeCun, Hinton og Yudkowsky er uenige om hvor langt teknologien kan gå. Men de diskuterer alle de samme grunnleggende spørsmål: Hva skjer dersom disse systemene blir ekstremt kapable? Hvem kontrollerer dem? Hvem bestemmer hva de skal brukes til? Hvem har tilgang? Hvem har ansvaret dersom noe går galt? Dette er spørsmål om makt, styring og institusjoner mer enn teknologi.

Makt

Dersom fem eller ti selskaper kontrollerer den viktigste produksjonsfaktoren i kunnskapsøkonomien, dreier dette seg om maktkonsentrasjon. Den handler om hvem som får definere fremtidens økonomi, arbeidsmarked, forskning, forsvar og informasjonsflyt. Når selskapene som bygger teknologien bruker stadig mer KI til å utvikle ny KI, er det vanskelig å argumentere for at KI bare er enda en teknologibølge som vil hjelpe oss å kutte kostnader. Det er allerede blitt infrastrukturen for den neste.

Det finnes noen tanker om hvordan en pause skulle se ut, fra internasjonale overvåkningsorganer og konvensjoner til forslag om å sende langtrekkende missiler mot datasentre som er på vei mot superintelligens. Nesten ingen diskuterer hvorfor en pause skulle fungere.

Spillteorien har analysert denne typen situasjoner: Fangens dilemma handler om at to aktører sammenlagt ville vært best tjent med samarbeid, men at begge har et individuelt insentiv til å bryte samarbeidet. Det teoretiske utfallet «individualistisk optimalisering» og et dårlig resultat for felleskapet. Kunstig intelligens har gjort problemet mye mer komplekst. Her er det ikke to aktører. Det er hundrevis. Selskaper konkurrerer om markedsmakt. Investorer konkurrerer om avkastning. Stater konkurrerer om økonomisk vekst, militær kapasitet og geopolitisk innflytelse. Hver enkelt beslutning fremstår rasjonell for den som tar den. Summen av beslutningene produserer et system som ingen kontrollerer. 

Historien er full av teknologier som mange mente burde reguleres strengere eller utvikles langsommere. Atomvåpen. Raketteknologi. Sosiale medier. Masseovervåkning. Hver gang oppstod den samme dynamikken. Gevinstene var synlige. Risikoen var diffus. Konkurransen var umiddelbar. Koordineringen var vanskelig. Resultatet ble videre utvikling.

Menneskene er det største problemet

Forskjellen denne gangen er at flere av dem som leder utviklingen selv ser problemet. Anthropic, OpenAI og flere av de ledende forskerne har de siste årene brukt stadig mer tid på sikkerhet, kontroll og styring. Det står ikke på intelligens hos dem som styrer dette systemet, eller penger og oppmerksomhet. Men verden i 2026 står uten en troverdig mekanisme for å håndtere et scenario som har vært diskutert siden Bostrom skrev om det for mer enn et tiår siden.

Dette dreier seg både om kontroll og koordinering. Bostroms generasjon trodde kontrollproblemet handlet om maskiner. Anthropic beskriver i praksis et kontrollproblem mellom selskaper, stater og markeder. Verdens fremste teknologer bruker enorme ressurser på å løse alignment-problemet mellom mennesker og maskiner. Koordinering mellom mennesker vil vise seg mer umulig enn koordinering med maskiner.

KI skal snart bli smartere enn oss. Den er i ferd med å bli viktig nok til at ingen tør å stoppe.