Likestillings- og diskrimineringsombudet

Likestillings- og diskrimineringsombudet viser til høringsbrev av 14.11.2022 der Kommunal- og distriktsdepartementet sendte Personvernkommisjonens utredning, NOU 2022:11 Ditt personvern – vårt felles ansvar , på høring med frist 10.02.2023.

Likestillings- og diskrimineringsombudet jobber for å fremme reell likestilling og hindre diskriminering på bakgrunn av kjønn, graviditet, etnisitet, religion, funksjonsevne, seksuell orientering, kjønnsidentitet, kjønnsuttrykk og alder på alle samfunnsområder.

Ombudet fører tilsyn med at norsk rett og forvaltningspraksis er i samsvar med de forpliktelsene Norge har etter FNs kvinnekonvensjon (CEDAW), FNs rasediskrimineringskonvensjon (CERD) og FNs konvensjon for rettigheter til personer med nedsatt funksjonsevne (CRPD). Ombudet følger også opp offentlige myndigheters aktivitets- og redegjørelsesplikt etter likestillings- og diskrimineringslovens (ldl) § 24.

2. Om behovet for en helhetlig, nasjonal personvernpolitikk

Ombudet erfarer at debatten om digital teknologi ofte er svært individfokusert, med vekt på hva vi som enkeltindivider kan gjøre for å beskytte oss selv på nett og sosiale medier. Ombudet mener at det trengs en helhetlig politikk og en informert, offentlig debatt om hvordan digitaliseringen påvirker samfunnet vårt – og ikke om minst hvordan vi kan regulere denne teknologien i fellesskapets interesse. Både retten til personvern og retten til å ikke bli diskriminert er grunnleggende menneskerettigheter. Kort sagt kan man hevde at manglende bevissthet og kunnskap om personvernet øker risikoen for diskriminering.

Vi gir derfor vår støtte til kommisjonens forslag om en nasjonal personvernpolitikk som legger føringer for digitaliseringen av samfunnet. En slik politikk vil også gjøre samfunnet bedre rustet til å forebygge og hindre data-drevet diskriminering og overdreven kontroll av utsatte grupper i samfunnet. Vi vil i tillegg understreke viktigheten av at norske myndigheter spiller en aktiv rolle i pågående lovprosesser i EU, knyttet til EUs forordninger om digitale tjenester (Digital Services Act), digitale markeder (Digital Markets Act) og kunstig intelligens (EU AI Act).

3. Personvern i den digitale forvaltningen

Ombudet støtter kommisjonens anbefaling om at virksomheter bør rapportere hvordan de motvirker diskriminering ved bruk av maskinlæringssystemer for å profilere og segmentere personer (s. 166). Ombudet vil samtidig understreke at offentlige myndigheter allerede har en lovfestet plikt (ldl § 24) til å arbeide aktivt, målrettet og planmessig for å fremme likestilling og hindre diskriminering i all sin virksomhet , og å redegjøre for hva de gjør for å innlemme hensynet til likestilling og ikke-diskriminering i sitt arbeid. Redegjørelsen skal være offentlig tilgjengelig.

Etter ombudets vurdering vil offentlig sektors likestillingsplikt også gjelde når myndighetene anskaffer og benytter maskinlæring for profilering av innbyggerne. Dette forutsetter at bestillere og beslutningstakere i offentlig sektor har nok kompetanse om diskrimineringsrisiko ved bruk av maskinlæring. Dette er ikke tilfelle i dag. For eksempel viser Bloomfields og Lintvedts (2022) forskning at diskusjoner om diskriminering eller utilsiktet forskjellsbehandling er fraværende i offentlige dokumenter som beskriver og diskuterer bruken av prediktive modeller i Skatteetaten og NAV. En kommende rapport som Rambøll og Vestlandsforskning har utført på oppdrag fra Bufdir, viser at kunnskapen om diskrimineringsrisiko ved bruk av KI ofte er mangelfull blant beslutningstakere i offentlig sektor. Ombudet mener, i likhet med Broomfield og Lintvedt, at det er nødvendig med mer forskning for å kartlegge og analysere hva offentlige etater gjør innen kunstig intelligens og bruk av profileringsmodeller rettet mot innbyggerne.

«Særlig oppmerksomhet bør vies til bruken av prediktive modeller i kombinasjon med kontroll for å sikre at bruken ikke forsterker usaklig forskjellsbehandling. Dette bør gjøres i forkant og ikke i etterkant, for konsekvensene for enkeltpersoner kan bli alvorlige før feil blir rettet. Det er et politisk valg om forvaltningen skal bruke prediktive modeller for å målrette gransking av særlige grupper og hvilke grep som kan tas for å unngå skade på sårbare grupper.»

Av den grunn mener vi at offentlig sektor også grad bør bidra til å utvikle verktøy som eksempelvis gjør det enklere for særlig sårbare grupper å ivareta sine rettigheter, kontrollere forvaltningspraksis, bruke teknologi på helsefremmende områder og utvikle digitale hjelpemidler til personer med nedsatt funksjonsevne, for å nevne noe.

En annen utfordring er at offentlig myndigheters bruk av prediktive modeller er lite kjent i befolkningen. Dette medfører en risiko for at uheldig eller ulovlig forvaltningspraksis går under radaren til dem som rammes. I dag har ikke forvaltningen noen plikt til å rapportere om bruken av profileringsmodeller. Dermed har ikke forskere, sivilt samfunn og tilsynsmyndigheter anledning til å undersøke om forvaltningsregelverket etterleves. Som utvalget er inne på, vil manglende åpenhet om bruken av profileringsmodeller kunne redusere tilliten til myndighetene. For å sikre åpenhet og tillit til forvaltningen på dette feltet, mener ombudet at det bør opprettes et offentlig register over offentlige myndigheters bruk av profileringsmodeller rettet mot befolkningen. Ansvaret for et slikt register kan for eksempel legges til Digitaliseringsdirektoratet.

Ombudet har allerede et godt samarbeid med Datatilsynet gjennom vår deltakelse i referansegruppen til Datatilsynets regulatoriske sandkasse for kunstig intelligens. Vi har bidratt inn med kompetanse om diskrimineringslovverket og algoritmeskjevhet i to sandkasse-prosjekter hvor det har vært risiko for diskriminering på bakgrunn av bruk av særlig sensitive personopplysninger.

Vi erfarer at det er stor etterspørsel etter kompetanse om diskrimineringsrisiko ved utvikling og bruk av maskinlæringssystemer, og hvordan slike systemer kan utvikles i tråd med likestillings- og diskrimineringsloven. På bakgrunn av dette jobber Likestillings- og diskrimineringsombudet med å utvikle veiledning i diskrimineringslovverket tilpasset utviklere og innkjøpere av maskinlæringssystemer. Vi har mål om økt samarbeid med øvrige tilsyn, næringslivet, sivilt samfunn og offentlige myndigheter for å øke kompetansen om diskrimineringsrisiko ved bruk av maskinlæring.

Vi støtter forslaget om en styrking av Datatilsynet, men mener at øvrige organer som fører tilsyn med forvaltningen også trenger økt kompetanse og ressurser. Tilsyn med digitale løsninger og tjenester krever en utstrakt koordinering mellom tilsynsmyndighetene for å unngå pulverisering av ansvar i saker som berører flere ulike regelverk, og hvor tilsynsmandatene overlapper.

Flere av utfordringene som nevnes over, gjør seg også gjeldende i justissektoren. Ombudet viser særlig til behovet for at politimyndighetene og domstolene har mulighet til å ettergå beslutningsstøttesystemer eller stordataanalyser, for å påse at systemene opererer i henhold til gjeldende regelverk og rettsstatsprinsipper. Et prinsipp som raskt kan trues av beslutningsstøttesystemer er uskyldspresumsjonen. Dersom et maskinlæringssystem peker ut en mistenkt, uten at overprøvingsmekanismer er intakt, vil den mistenkte måtte bevise sin uskyld, hvilket er i strid med grunnleggende menneskerettigheter.

På justisområdet er åpenhetskulturen en større utfordring enn i forvaltningen, jamfør kommisjonens rapport, fotnote 90. Som nevnt vil bruken av maskinlæring generelt i offentlige myndigheter stille nye og høyere krav til tilsynsorganenes årvåkenhet. For justissektoren spesielt, må også domstolene rustes tilstrekkelig som kontrollfunksjon i straffesaker.

Som utvalget påpeker, er det fare for at maskinlæringssystemer inneholder feilkilder som kan føre til uriktig resultat og videreføre eller forsterke diskriminerende mønstre, blant annet fordi at systemets treningsdata kan inneholde diskriminerende praksiser. Flere av eksemplene på uheldig bruk av maskinlæringssystemer som nevnes av kommisjonen er hentet fra andre land. Ombudet vil imidlertid påpeke at risiko for diskriminering ved bruk av maskinlæringsmodeller også er relevant i en norsk kontekst. Vi vil i denne forbindelse trekke fram vår rapport, Kontroller uten kontroll fra 2022, som demonstrerer at noen grupper er mer utsatt enn andre når det gjelder å bli mistenkeliggjort og havne i politiets søkelys. Etniske minoritetsungdom opplever å bli hyppigere kontrollert av politiet enn majoritetsbefolkningen , og opplevd overkontroll påvirker borgernes tillit til politiet. Tilliten til politiet er dermed svakere blant enkelte grupper enn det som nevnes i kommisjons rapport i boks 7.1.

Dersom etnisk profilering skjer på kontrollstadiet, er det grunn til å anta at en eventuell diskriminerende praksis gir seg utslag i øvrige ledd i straffesakskjeden. Ombudet etterlyser forskning på omfanget av eventuelt diskriminerende kontrollpraksis og hvordan konsekvensene kan gjøre seg gjeldende på etterforskningsstadiet, samt ved domstolenes behandling av straffesaker. Dette representerer et kunnskapshull innen justissektoren, og er relevant å kartlegge før politimyndighetene eventuelt tar i bruk maskinlæringssystemer hvor denne type data benyttes i opplæring av modellen.

Ombudet støtter kommisjonsflertallets forslag om at et generelt forbud mot atferdsbasert markedsføring bør utredes. Ombudet deler flertallets vurdering i at slik markedsføring også kan være skadelig for den øvrige befolkningen, ikke bare barn og unge. Dessuten er særlige kategorier av personopplysninger i mange tilfeller omfattet av forbudet mot diskriminering (ldl § 6), for eksempel opplysninger om etnisk opprinnelse, religion og seksuell orientering. Atferdsbasert markedsføring føre til diskriminering, ved at personer ekskluderes fra eller må betale mer for varer og tjenester, basert på for eksempel kjønn, etnisitet eller seksuell orientering ( Forbrukerrådet 2021 ).

Personvernkommisjonen anbefaler at Regjeringen nedsetter et lovutvalg for å gjennomgå og foreslå endringer i regelverk for å beskytte barn og unge i digitale flater. Ombudet støtter dette forslaget. I lys av den raske teknologiutviklingen må reglene gjennomgås, forbedres og gjøres mer tilgjengelige.

Kommisjonen mener et forbud mot manipulerende design, som foreslått i DSA, vil styrke forbrukeres muligheter til å ivareta eget personvern på nett. Ombudet deler kommisjonens vurdering. Her kreves det langt bedre regulering og håndheving.

Ombudet støtter kommisjonens anbefalinger om at det må stilles krav til ivaretakelse av personvernet, når Oljefondet investerer i teknologiselskaper (s. 166). Vi vil legge til at det også bør stilles krav til ivaretakelse retten til ikke-diskriminering. Oljefondet bør generelt avstå fra å investere i selskaper som ikke kan vise til at de har gjort helhetlige, menneskerettslige vurderinger av sin virksomhet.