Erlend Vestre: Kunstig intelligens utfordrer strategisk styring i staten

Erlend Vestre er sjefskonsulent i Devoteam Norway. 

SYNSPUNKT. Gjennom mål- og resultatstyring, styringsdialoger og internkontroll skal statlige virksomheter sikre effektiv oppgaveløsning i tråd med demokratiske prinsipper. Denne styringsmodellen forutsetter at beslutninger kan forklares, dokumenteres og følges opp. 

Utfordringene er her allerede. Skatteetaten, NAV og UDI bruker KI for å effektivisere arbeidet, og bruken øker. For å sikre borgernes rettigheter og bevare tilliten til forvaltningen må vi derfor revurdere hvordan vi styrer, rapporterer og fordeler ansvar.

Hvordan utfordrer KI strategisk styring?

En sentral utfordring ved bruk av kunstig intelligens i staten er spørsmålet om ansvar og etterprøvbarhet. For det første utfordrer KI prinsippet om klar ansvarsfordeling. Hvor ligger ansvaret når en KI-modell avslår en søknad om sosial støtte - hos den som trente modellen, godkjente bruken eller fulgte opp vedtaket?

For det andre er det behov for nye indikatorer for rettferdighet, forklarbarhet og brukeropplevelse. Tradisjonelle KPI-er, som f.eks. saksbehandlingstid eller antall behandlede saker, gir ikke innsikt i kvaliteten på KI-baserte beslutninger. Ufullstendige eller skjeve datasett kan forplante systematiske feil eller diskriminering inn i KI-verktøyene.

For det tredje utfordres transparens og tillit. For å unngå mistillit og protester, må innbyggerne oppleve beslutninger som rettferdige og forståelige.

EU AI Act bringer nye krav som staten må forholde seg til: risikoklassifisering av KI-systemer, krav til menneskelig tilsyn, dokumentasjon og transparens. Kravene forutsetter en styringskapasitet som de fleste statlige virksomheter mangler, både når det gjelder kompetanse, ressurser og systemer nødvendig for å kunne sikre etterlevelse.

Rettssikkerheten kan ryke

Manglende strategisk styring av KI kan få alvorlige konsekvenser for borgerne. Rettssikkerheten svekkes når det blir uklart hvem som har ansvar for beslutninger tatt av KI. Det samme gjelder når det mangler innsyn og klagemuligheter. Uten god styring kan KI forsterke eksisterende skjevheter og forskjellsbehandle sårbare grupper. Det kan undergrave tilliten til offentlig sektor. Mark Rutte gikk av som Nederlands statsminister i 2021 pga. skandale forårsaket av skjevhet i skatteetatens KI-system.

Staten mister demokratisk kontroll over beslutninger dersom disse overlates til automatiserte prosesser. Personvernet står i fare hvis databruken ikke reguleres og følges opp godt nok. Det kan også oppstå store forskjeller i tjenestekvalitet og tilgjengelighet, som igjen bidrar til å utfordre prinsippet om likeverdige offentlige tjenester.

Les også: 

Derfor tar innføring av KI lengre tid i offentlig sektor

Hva bør overordene instanser gjøre?

Riksrevisjonen skriver i rapporten «Bruk av kunstig intelligens i staten» at samordningen er mangelfull. Det er gjort for få tiltak for å løse overordnede utfordringer, det åpner for betydelige grep fra Digitaliserings- og forvaltningsdepartementet.

Virksomheter som DigDir og DFØ har en sentral rolle i å legge til rette for en helhetlig og ansvarlig bruk av kunstig intelligens i offentlig sektor. Et viktig grep er et nasjonalt rammeverk for KI-styring og risikohåndtering, med felles retningslinjer for å vurdere, anskaffe, implementere og følge opp teknologien. Myndighetene må også tilpasse lovverket og styringssystem slik at kravene i EUs AI Act blir anvendbare og relevante.

Det bør også etableres felles læringsarenaer og strukturer for deling av erfaringer i og mellom offentlige virksomheter.

Hva bør virksomhetsledere gjøre?

KI-teknologien må forankres i virksomhetens overordnede strategi og samfunnsoppdrag, det vil si å koble KI til oppgavene som skal løses, og verdiene som skal skapes.

KI-løsninger bør kartlegges mht. risiko, bruksområde og datakvalitet. Algorithmic impact assessments kan for eksempel kartlegge konsekvensene KI-løsninger kan få for ulike brukergrupper. KI kan aldri overgå kvaliteten på datasettene, og dårlig datagrunnlag kan skape store problemer.

I tillegg kreves rutiner for testing, kvalitetssikring og dokumentasjon av KI-modellene, slik at løsningene fungerer etter hensikten og at beslutninger kan forklares og etterprøves.

Lederne må forstå hvordan KI virker, hva den gjør, og hvilke vurderinger som må ligge til grunn for å bruke teknologien på en forsvarlig måte. Det vil kreve et løft i kompetanse for hele organisasjonen, særlig innen etikk, personvern og styring.

Veien videre for styring av KI i staten

Strategisk styring av KI i staten må ta hensyn til hele spekteret av utfordringer: ansvar, datakvalitet, gjennomsiktighet, borgerinvolvering og nye regulatoriske krav. Grepene er å integrere KI i virksomhetsstyringen, styrke kompetansen i ledergruppen og etablere felles rammeverk og standarder. På den måten kan staten møte de teknologiske mulighetene uten å gå på akkord med rettssikkerhet og tillit.