Diskriminering og KI: Henter ekspertise for å gjennomgå regelverket

Diskriminerer kunstig intelligens? Likestillings- og diskrimineringsombudet (LDO) har gitt ut «En veileder for å avdekke og forebygge diskriminering i utvikling og bruk av kunstig intelligens».

Ulovlig forskjellsbehandling

Her gis det flere eksempler på ulovlig forskjellsbehandling:

• Et forsikringsselskap tilbyr konsekvent høyere forsikringspriser til kunder med innvandrerbakgrunn
• Et boligutleieselskap sorterer ut søknader fra interessenter fordi de har besøkt nettsider som retter seg mot homofile
• Politiet arresterer feil person fordi ansiktsgjenkjenningsteknologien ikke fungerer tilstrekkelig på personer med mørk hudfarge
• En arbeidsgiver benytter seg ukritisk av en rekrutteringsalgoritme som kun anbefaler norske menn mellom 18 og 30 år og undervurderer andre grupper
• En blind person innvilges uføretrygd automatisk og mister retten til jobbsøkerkurs

LES MER | Finansforbundet: – Kunstig intelligens skal ikke erstatte menneskelig ledelse

Mangler saker

Utfordringen for ombud Bjørn Erik Thon er denne:

– Vi får så godt som ingen henvendelser fra enkeltpersoner som mistenker seg diskriminert på bakgrunn av KI, sier han til Dagens Perspektiv.

Mangelen på såkalte veiledningssaker fra den virkelige verden er en av hovedutfordringene med KI i et diskrimineringsperspektiv.

– Det er vanskelig både å avdekke og bevise diskriminerende bruk av KI fordi det er utfordrende å få innsyn og forstå hvordan et KI-system kommer fram til beslutningene sine, sier Thon og bruker boliglån som eksempel.

– Du får bare avslag, uten en forklaring.

God økonomi, men…

Her er to konkrete eksempler Bjørn Erik Thon og LDO har vært i befatning med:

I en sak var det en kvinne som fikk avslag på kreditt på noen sekunder etter at hun hadde sendt sin søknad. Hun sa at hun ikke visste hvordan banken hadde kommet frem til den konklusjonen fordi hun hadde veldig god økonomi, men mistenkte at det var fordi hun hadde aleneansvaret for et eldre barn. Altså at det var markører ved hennes privatliv som deres systemer hadde regnet ut at betydde dårlig kredittverdighet. Men det var bare en mistanke, og også uvisst om dette var KI-generert. Hun ble bedt av veileder hos oss om å undersøke med banken og komme tilbake til oss, men hun gjorde det ikke.

I en annen sak var det noen som fikk jobbannonser rettet mot seg på Facebook. Da han trykket på «hvorfor får jeg denne annonsen» kom det opp i liten grå tekst om at han fikk den annonsen fordi den passet til alderen hans. Men dette kan ha vært initiert av arbeidsgiveren, og behøver ikke å ha vært KI-generert.

Internasjonalt avdekkes det også diskriminering. I Nederland stoppet rettsvesenet regjeringssystemet «System Risk Indication» (SyRI) av hensyn til menneskerettigheter. Systemet skulle avdekke velferdsbedragerier, og saksøkerne representerte fattige og mennesker med minoritetsbakgrunn.

– Saken handlet egentlig om diskriminering, men fordi man ikke fikk innsyn i hvordan systemet kom fram til beslutningene sine, måtte man bruke personvernregelverket i stedet, og prosedere på inngrep i retten til privatliv, selv om det egentlig var snakk om usaklig forskjellsbehandling på grunn av etnisitet, forklarer Bjørn Erik Thon.

Gjennomgår lovverket

LDO har nå engasjert ekspert i likestillings- og diskrimineringsloven Vibeke Blaker Strand til å gjennomgå loven i et KI-perspektiv. Hun er professor ved Institutt for offentlig rett ved Universitet i Oslo.

– Målet er å få kartlagt bedre hvor utfordringene ligger og om det trengs endringer i loven, sier Bjørn Erik Thon.

Likestillings- og diskrimineringsombudet er ikke alene om å være opptatt av kunstig intelligens. Det statlige Digitaliseringsdirektoratet (DigDir) har en veileder for hvordan KI kan brukes i offentlige sektor ute i såkalt «åpen beta», altså en versjon som stadig endres.

Tillit og risiko

To perspektiver står sentralt, ifølge DigDir :

• Ivareta innbyggernes rettigheter for å sikre tilliten. Det er mange ulike regelverk som gir uttrykk for rettigheter, prinsipper og hensyn som skal ivaretas ved det offentlige forvaltnings oppgaveløsning. Dette gjelder også ved utvikling og bruk av kunstig intelligens. Selv om regelverk ikke er tilpasset kunstig intelligens, gjelder de kravene som følger av dem likevel.
• Nødvendigheten av å akseptere risiko. Grunnleggende rettigheter og friheter står ofte i et spenningsforhold til hverandre. For stort fokus på en rettighet kan gå på bekostning av en annen. Et eksempel er forholdet mellom personvern og retten til helsehjelp. Rettigheter må balanseres. Selv om kunstig intelligens kan utfordre noen av våre grunnleggende rettigheter og friheter, kan også en overdreven varsomhet lede til at vi ikke ivaretar samfunnsoppgaver på så god måte eller så effektivt som vi burde. Hvorvidt og hvordan du skal ta i bruk kunstig intelligens handler om risiko. Bruk av kunstig intelligens kan innføre nye eller andre typer risiko. Hvorvidt en virksomhet skal ta denne risikoen, beror på en avveining mellom risikoens størrelse og den mulige gevinsten.

LES MER | Har du fått med deg temasakene våre om kunstig intelligens? Du finner dem her.