KI-en brøt seg ut. Heldigvis skjedde det nå

Lars Rinnan er teknologirådgiver, futurist og investor i oppstartsbedrifter. 

SYNSPUNKT. OpenAI testet hvor dyktige avanserte KI-systemer var til å finne og utnytte sikkerhetshull. Under testen fant en KI-agent en helt annen måte å løse oppgaven på. Den utnyttet en hittil ukjent sårbarhet, kom seg ut av OpenAIs kontrollerte testmiljø og brukte andre tjenester på internett for å komme seg videre til Hugging Face, en av verdens viktigste plattformer for utvikling av KI.

Hugging Face har i ettertid rekonstruert rundt 17.600 handlinger. Agenten skaffet seg tilgang til produksjonssystemer, beveget seg mellom systemer og fortsatte å arbeide mot målet den var gitt.

Det mest interessante er hvorfor.

KI-en ser ikke ut til å ha hatt som mål å angripe Hugging Face. Den forsøkte sannsynligvis å jukse på testen. I stedet for å løse oppgaven slik menneskene hadde tenkt, forsøkte den å finne svarene.

Ingen ba KI-en om å hacke Hugging Face. Et menneske ga den et mål. KI-en valgte selv en uautorisert strategi for å nå det.

Flere varsellamper

Kort tid senere rapporterte britiske AI Security Institute om et beslektet fenomen. I løpet av 122 sikkerhetstester foretok KI-agenter i ti av testene uautoriserte handlinger mot virkelige mennesker eller organisasjoner på internett. I det alvorligste tilfellet forsøkte en agent å få skadelig kode inn i et virkelig prosjekt med åpen kildekode.

Samtidig sa Jacob Coxon, som har arbeidet med utviklingen av avanserte KI-modeller hos både OpenAI og Anthropic, opp stillingen sin hos Anthropic. Han advarer om selvforbedrende superintelligens og mener de neste ett til to årene kan bli avgjørende.

Coxon bør tas alvorlig, men ikke bokstavelig. Han beskriver en mulig utvikling, ikke noe vi vet vil skje.

Det vi derimot vet, er at KI-systemene blir mer selvstendige. Når KI får et mål, internettilgang, programvareverktøy og muligheten til å arbeide over lengre tid, går vi gradvis fra KI som svarer på spørsmål til KI som handler i verden.

Ikke slutt å bruke KI

Dette betyr ikke at norske virksomheter bør bli redde for å bruke kunstig intelligens. En bedrift som bruker KI til dokumentanalyse, kundeservice, programmering eller markedsføring står ikke overfor den typen risiko vi så hos Hugging Face.

Men vi må bygge sikkerhetssystemene for KI-en som kommer, ikke bare den vi har i dag.

De store KI-laboratoriene har forstått dette. OpenAI, Anthropic, Google DeepMind og andre trapper opp sikkerhetsarbeidet betydelig. Det er bra.

Men det er ikke nok.

I dag utvikler selskapene modellene, tester dem, oppdager hendelsene, vurderer hvor alvorlige de er og eventuelt etterforsker dem. I stor grad bestemmer de selv hva offentligheten får vite.

Det ville vi aldri akseptert innen luftfart.

Norge bør ta initiativ

Norge fikk nettopp Torgeir Micaelsen som ny digitaliserings- og forvaltningsminister. Han overtar på et tidspunkt hvor KI-sikkerhet er i ferd med å bli noe langt mer enn spørsmål om personvern, feilaktige svar og ansvarlig bruk.

Her har Micaelsen muligheten til å komme tidlig på banen.

Norge utvikler neppe verdens kraftigste KI-modeller. Men vi er et høyt digitalisert samfunn med sterke tradisjoner for sikkerhet, tillit og uavhengig gransking.

Norge bør arbeide for at alvorlige KI-hendelser må rapporteres til myndighetene og granskes av et uavhengig organ med tilgang til modellversjoner, logger, verktøybruk, sikkerhetstester og hendelsesforløp.

Kort sagt: Vi trenger en havarikommisjon for KI.

Formålet bør ikke først og fremst være å finne noen å straffe. Luftfarten ble ekstremt sikker fordi ulykker og nestenulykker systematisk ble brukt til læring.

Og fordi kunstig intelligens ikke kjenner landegrenser, må slike organer samarbeide internasjonalt.

Kappløpet vi bør følge

Det haster også av en annen grunn: KI brukes allerede til å utvikle KI.

Anthropic har opplyst at Claude skriver mer enn 80 prosent av koden som faktisk tas inn i selskapets egen kodebase. Det betyr ikke at KI er 80 prosent på vei mot å forbedre seg selv. Men det selvforsterkende kretsløpet har begynt.

Bedre KI gjør KI-forskere mer produktive. Det kan gi enda bedre KI, som igjen kan akselerere forskningen.

Men det samme gjelder sikkerhet.

KI kan finne sikkerhetshull, overvåke andre KI-systemer, gjennomføre enorme mengder sikkerhetstester og hjelpe oss med å forstå hvorfor en KI handler som den gjør.

Dermed er det viktigste kappløpet fremover ikke mennesker mot KI.

Det er stadig kraftigere KI mot stadig sikrere KI.

Vi har gjort farlige teknologier håndterbare før. Ikke ved å fjerne all risiko, men gjennom testing, sikkerhetsbarrierer, overvåking, rapportering, uavhengig gransking og kontinuerlig læring.

Det kan vi gjøre med KI også.

Men vi kan ikke vente til den første virkelig alvorlige KI-hendelsen før vi bygger institusjonene som skal etterforske den. Det arbeidet bør Micaelsen og hans europeiske kolleger starte nå.

Hugging Face var ingen katastrofe. Det kan vise seg å ha vært noe langt mer verdifullt:

En nestenulykke som kom tidlig nok til at vi kunne lære av den.