Tilfeldig «støy» forstyrrer beslutningene våre mer enn vi tror

Stiftelsen Dam oppdaget at de behandlet søknader ulikt, og at 79 prosent av variasjonen skyldtes helt andre ting enn selve søknaden.

Det gjorde at de forandret måten de tar beslutninger på.

– Nå er prosessene mye mer pålitelige, uten at det koster oss mer, sier Jan-Ole Hesselberg, programsjef i Stiftelsen Dam og psykolog.

Hesselberg er i gang med en doktorgrad i psykologi ved Universitetet i Oslo om beslutninger, og forsker på arbeidet de gjør med å forbedre beslutningsprosesser i stiftelsen.

Etter at Stiftelsen Dam iverksatte tiltak og endret beslutningningsprosessene, har den uønskede variasjonen i vurderingene av søknader falt fra 79 til 22 prosent.

– Dette gir en helt annen trygghet både for søkerne og for oss, sier Hesselberg, som presiserer at beslutningsstøyen aldri kan bli null.

Der det er mennesker involvert i vurderinger som er forbundet med usikkerhet, vil det alltid være noe variasjon.

• Generalsekretæren i Stiftelsen Dam: – Å få vite at så mye av variasjonen i søknadsbehandlingen var tilfeldig, var ganske forskrekkende

• Nederst i denne artikkelen finner du også: 5 gruppefeller – derfor lar folk være å si det de mener i grupper

• Les også: – Ta beslutningsstøy på alvor

Vanlig problem

Ifølge analysene sprikte vurderingene i Stiftelsen Dam i ulike retninger – mye på grunn av tilfeldigheter, og dét er ikke spesielt for Stiftelsen Dam.

Det samme er ifølge Hesselberg avdekket i et bredt spekter av internasjonale studier i ulike situasjoner. Herunder dommeres beslutninger om straff, entreprenørers vurderinger av tilbud og eiendomsmegleres prisvurderinger.

I beslutningspsykologien kalles det gjerne «støy», alternativt at beslutningene er «inkonsistente» eller «ikke reliable».

Problemet med støy i menneskelige beslutninger er ikke at den fins, påpeker Hesselberg i boka «Bedre beslutninger», som han har skrevet sammen med Reidunn Lognvik Reinholdt.

Problemet er at det er så mye av det.

Psykolog og nobelprisvinner Daniel Kahneman beskriver sammen med Oliver Sibony og Cass R. Sunstein den store utbredelsen av problemet i boka «Støy», som kom i 2021.

De viser til en lang rekke studier og eksempler og mener at beslutninger i grupper forstyrres av støy langt oftere enn vi tror. Sjokkerende ofte, og ofte uten at det tas tak i.

Humør og rekkefølge

Tematikken berører ledere, som har som jobb å fatte beslutninger. Ingen ønsker vel at viktige beslutninger skal påvirkes av faktorer som ikke har noe med saken å gjøre; som for eksempel når på dagen det er og hva slags humør beslutningstageren måtte være i.

Tas beslutningen i grupper, påvirker også psykologien i gruppa utfallet.

Alle sier for eksempel ikke det de har tenkt å si, selv om de har gode argumenter, påpeker Hesselberg.

Definisjonen på «støy» er uønsket, usystematisk variasjon i beslutningene våre. Det kan sammenlignes med ei skyteskive med en blink i midten, der bomskuddene har truffet vilkårlig rundt omkring på skiva; utenfor blinken.

De kommer på toppen av feilkilder som er mer systematiske, som kalles «skjevheter»; som når alle bomskuddene treffer nede til venstre for blinken.

Store penger i spill

Tilbake til Stiftelsen Dam, som deler ut midler til prosjekter i regi av frivillige helseorganisasjoner. Midlene kommer blant annet fra Norsk Tipping og fra offentlige myndigheter, og det er store summer i spill. I

2021 delte stiftelsen ut 484 millioner kroner til 1151 forskjellige prosjekter drevet av frivillige helseorganisasjoner.

Stiftelsen får inn over 2000 søknader til vurdering årlig, og jobben er å velge ut de beste prosjektene og sikre at pengene som deles ut kommer til best mulig nytte. Dette er da også grunnen til at de vil kvalitetssikre vurderingene sine.

I 2016 hentet de inn psykolog Jan-Ole Hesselberg som programsjef. Han fikk ansvar for å sikre at utdelingene og vurderingene var så gode som mulig.

Noe av det første han gjorde, var å undersøke hvor enige ekspertene var i vurderingen av søknadene. Ekspertene satte karakterer på søknadene, og hver søknad ble vurdert av minst to eksperter; uavhengig av hverandre.

Noe uenighet forventet han. Det er derfor man setter flere eksperter på hver søknad, men de første analysene viste at ekspertene ofte var svært uenige.

I en analyse fant Hesselberg og kollega Ida Svege at søknadene som ble innvilget det året, bare ville hatt 28 prosent sjanse for å bli innvilget på nytt hvis de hadde blitt vurdert av to andre eksperter.

Den viktigste forklaringen på om en søknad ble innvilget eller ikke, var med andre ord hvilke eksperter som fikk tildelt søknaden, ikke innholdet i søknaden.

To viktige oppdagelser

I «Bedre beslutninger» skriver forfatterne om hvordan Stiftelsen Dam endret beslutningsprosessene, de oppsummerer forskning om beslutninger, beskriver måter å måle på og ulike beslutningsfeller. I stiftelsen målte de graden av støy i vurderingene ved hjelp av statistisk metode.

– Vi analyserte beslutningsprosessene i våre nøye, målte graden av støy i vurderingene som lå til grunn for utdelingen av midlene og fant at prosessen var uholdbart upålitelig, forteller Hesselberg.

– Søknaden forklarte bare 21 prosent av utfallet til behandlingen av søknaden. Det vil si at 79 prosent ble forklart av ting som ikke hadde med søknaden å gjøre, som hvem som vurderte den, når på dagen søknaden ble vurdert og så videre. I tillegg fant vi, gjennom analysene, at kostbare deler av beslutningsprosessen ikke spilte noen rolle for utfallet til beslutningene. Disse to funnene førte til at det ble iverksatt store endringer.

Les mer om dette i dette intervjuet med generalsekretær Hans Christian Lillehagen.

Hvorfor skjer det?

– Hvorfor vurderte ekspertene søknadene så forskjellig?

– Vi har ikke oversikt over alle faktorene, men en gjenganger er at noen er strengere enn andre og at noen er mer optimistiske enn andre. Det kalles gjerne nivåforskjeller; eller nivåstøy, forklarer Hesselberg, og legger til at kilde nummer to er mønsterstøy; eller mønsterforskjeller.

– Noen foretrekker for eksempel søknader som gjelder psykisk helse, mens andre synes at søknader som gjelder kreft er bedre. Det er ulike mønstre.

På toppen kommer situasjonsstøyen, som for eksempel kan handle om rekkefølgen søknader behandles i, når på dagen de behandles og om de behandles under tidspress eller ikke.

Ingenting ved disse støykildene har med selve søknaden å gjøre, og om et helseprosjekt får midler eller ikke burde da ideelt sett heller ikke vært påvirket av dette.

De viktigste tiltakene

Da de så tallene fra de første analysene, bestemte Stiftelsen Dam seg for å endre måten de behandlet søknader på.

Det viktigste de gjorde var ifølge Hesselberg å sørge for at flere enn før behandlet samme søknad. Fem eksperter skulle behandle hver søknad, før hadde det vært to.

– Mange vil si at er dette er kjempedyrt, men vi forenklet prosessen i andre ledd og dermed koster det ikke mer, forklarer Hesselberg.

En annen analyse hadde vist at en tredagers samling der 19 eksperter diskuterte totalporteføljen av søknader over tre dager hadde nesten ingen betydning for søknadenes utfall. Diskusjonen endret utfallet for bare tre prosent av beslutningene om hvem som skulle få penger.

Store plenumsdiskusjoner ble dermed kuttet ut, og selve søknadsprosedyren ble forandret til at søkerne først skulle sende inn en forenklet skisse. Disse blir nå vurdert, og noen går videre til neste runde; der de sender inn en fullstendig søknad.

Dette har ifølge Hesselberg effektivisert prosessen.

Gruppepsykologi

I runde to av søknadsprosessen diskuterer ekspertene søknadene i grupper, men det er ikke lenger slik at ekspertene først gjør vurderinger hver for seg - for så å samles i gruppen for å bli enige om én karakter.

For å redusere gruppetenkning og andre typer beslutningsfeller som typisk oppstår i grupper (se faktaboks nederst i artikkelen) har stiftelsen gått over til et system der ekspertene først setter karakterer hver for seg, så samles de for å diskutere, før de til slutt går tilbake til sin egen vurdering og vurdere om de vil justere den.

Til slutt vurderer stiftelsen hvilke søknader som totalt får høyest score, i snitt.

– Vi tar hensyn til gruppediskusjonene, men samtidig forplikter hver ekspert seg til å faktisk gjøre en individuell vurdering før de blir påvirket av andre, forklarer Hesselberg.

Råd til grupper

– Hva er vanligste «feilene» som gjøres når beslutninger tas i grupper?

– Å sette i gang et møte om en viktig beslutning uten å ha klart definert hva beslutningen handler om. Man antar at folk har samme forståelse av problemstillingen, men slik er det sjelden. En annen vanlig feil er at det ikke er struktur på møtet, og da er bordet dekket for alle gruppefellene. Den verste av dem er autoritetsfellen; der man lar argumentene til én eller flere i gruppen få uforholdsmessig mye å si, sier psykologen.

Han gir disse rådene om viktige beslutninger i grupper:

Godt samarbeid

Til tross for at vurderinger i grupper har noen svakheter, er beslutninger som baserer seg på vurderinger fra personer med ulik kunnskap og ulike perspektiver som regel bedre enn dem vi tar alene.

Det må bare gjøres på en god måte, mener Hesselberg.

For å få fram kritiske spørsmål og ulike perspektiver anbefaler han å samle folk som tenker forskjellig.

Man kan også gi noen rollen som «djevelens advokat», som ikke betyr å være uenig i alt som blir sagt, men å stille konstruktive spørsmål slik at ulike perspektiver kommer fram.

Psykologien i at vi har lyst til å tilpasse oss de andre i gruppen, ligger for øvrig dypt i oss.

Hesselberg viser til at det skaper sosiale nettverk; folk har lettere for å like deg hvis du tilpasser deg dem. Det kan med andre ord være en stor fordel for den enkelte. Når vi forsøker å lese hverandre og tilpasse oss, blir det også enklere å samarbeide på jobben.

– Samarbeidet har en verdi, så noen ganger kan det være fornuftig å ofre beslutningskvalitet på samarbeidets alter, sier psykologen, som legger til at det å ta gode, veloverveide beslutninger krever både tid og innsats. Og i grupper koster det antagelig også litt god stemning.

– Å få fram uenighet og dvele ved uenighet er bra når man skal ta gode beslutninger, men det kan være ubehagelig å stå i det.

– Sovepute

I «Bedre beslutninger» gjøres det et poeng at det i mindre viktige beslutninger kan være godt nok å ta snarveier. Det går raskere og krever mindre enn grundige prosesser.

Å jobbe grundig og godt er forbeholdt viktige beslutninger.

– Men jeg tror norske ledere bruker dette som hvilepute og bortforklaring altfor ofte, sier Hesselberg.

– De har hørt om beslutningsfellene, men tenker at det er viktigere med tempo, sier psykologen, som mener at ledere flest har mye å hente på å forbedre beslutningsprosessene i organisasjonene de leder.

Hesselberg mener at tiltak og analyser av støy ikke nødvendigvis tar så mye tid som man forestiller seg.

Han anbefaler å måle støy, men hvis man ikke ønsker å gjøre det, går det an å legge til rette for bedre beslutningsprosesser ved å organisere gruppediskusjoner på bedre måter og være nøye med å forsøke å innhente informasjon fra flere kilder enn vanlig.

Bedre beslutninger?

– Gir målinger og tiltak bedre beslutninger?

– Det finnes sjelden noe fasitsvar på om en beslutning har vært god eller ikke, men i mangel på dette, er graden av støy viktig. Det sier noe om hvor konsistente beslutningene er, sier Hesselberg.

De grunnleggende mekanismene rundt måten beslutninger tas på, gjelder for alle som vurderer informasjon som er tvetydig, argumenterer han.

Om det gjelder et oppkjøp eller en ansettelse; de fleste har noe å vinne på å strukturere beslutningsprosessene bedre, mener han. Han mener det er grunn til å anta at beslutninger blir bedre når flere tilfeldigheter og mindre støy påvirker dem.

– Sannsynligheten for å treffe bedre flere ganger bør øke, selv om også tilfeldigheter kan føre til at man lander på «rett» beslutning.

– Det blir som et termometer. Hvis du måler tre ganger etter hverandre og får vidt forskjellige resultater, kan du ikke bruke det lenger. Fordelen med å måle beslutningsstøy, er at man kan følge med på utviklingen. Det er en kvalitetsindikator som kan gi mening for mange.