Introduksjon
Norges Røde Kors har et særlig ansvar for å fremme humanitærretten og påse at Genèvekonvensjonene og øvrige relevante humanitærrettslige regler og prinsipper ivaretas ved utformingen av norske rettsregler. Vår samtid er preget av global opprusting og en omveltende teknologisk utvikling i sivil så vel som militær sektor. Den internasjonale Røde Kors-bevegelsen følger tett med på utviklingen i den hensikt å adressere humanitære utfordringer knyttet til ny teknologi. I korte trekk er vi opptatt av at det rettslige og moralske ansvaret må forbli hos mennesket når ny teknologi utvikles og tas i bruk. Røde Kors mener at teknologien må tjene mennesker og forbedre menneskelig vurderinger.
KI-forordningen er avgrenset mot KI-systemer for militære formål, forsvarsformål og formål knyttet til nasjonal sikkerhet. Vi har forståelse for at hensikten med KI-loven er å gjennomføre en rettsakt fra EU, og at departementet vil fastholde forordningens avgrensing i dette lovarbeidet. Vi mener imidlertid at avgrensningen mellom militære og andre formål ikke er tilstrekkelig klart formulert i forordningen, og at betydningen av dette skillet bør avklares av departementet. Utfordringene rundt KI brukt for militære formål får stadig mer og sterkere internasjonal oppmerksomhet, bl.a. i Den internasjonale Røde Kors-komiteen [1] og i FN. [2] [3]
KI-forordningen er avgrenset mot KI-systemer for militære formål, forsvarsformål og formål knyttet til nasjonal sikkerhet. Vi har forståelse for at hensikten med KI-loven er å gjennomføre en rettsakt fra EU, og at departementet vil fastholde forordningens avgrensing i dette lovarbeidet. Vi mener imidlertid at avgrensningen mellom militære og andre formål ikke er tilstrekkelig klart formulert i forordningen, og at betydningen av dette skillet bør avklares av departementet. Utfordringene rundt KI brukt for militære formål får stadig mer og sterkere internasjonal oppmerksomhet, bl.a. i Den internasjonale Røde Kors-komiteen [1] og i FN. [2] [3]
Avgrensning mot KI-systemer som brukes for militære formål mv.
KI-forordningen gjelder ikke for KI-systemer «dersom og i den grad de bringes i omsetning, tas i bruk eller brukes […] utelukkende for militære formål, forsvarsformål eller formål knyttet til nasjonal sikkerhet», jf. artikkel 2 nr. 3. Avgrensningen gjelder uavhengig om det er statlige eller private aktører som tar systemet i bruk. Departementet foreslår at KI-loven skal ha samme saklige virkeområde som forordningen (med de avgrensninger som følger av EØS-avtalen).
I forordningens fortale punkt 24 begrunnes dette bl.a. med at nasjonal sikkerhet er medlemsstatenes eneansvar, jf. EU-traktaten artikkel 4 nr. 2, og at medlemsstatenes felles forsvarspolitikk er underlagt folkeretten. Folkeretten er derfor «den mest hensiktsmessige rettslige rammen for regulering av KI-systemer i forbindelse med bruk av dødelig makt og andre KI-systemer i forbindelse med militær virksomhet og forsvarsvirksomhet.»
KI-forordningen er imidlertid uklar på hvilke KI-systemer som i praksis faller innenfor og utenfor anvendelsesområdet. Det fremgår videre av fortalen punkt 24 at KI-systemer som er unntatt forordningens anvendelsesområde likevel omfattes av forordningen
Dette betyr at KI-systemer som i utgangspunktet var ment for ivaretakelse av nasjonal sikkerhet eller militære formål likevel omfattes av forordningen, dersom de brukes for andre formål som faller inn under anvendelsesområdet. I disse tilfellene er det enheten som tar KI-systemet i bruk som har ansvar for at systemet er i tråd med forordningen. Videre gjelder forordningen for KI-systemer som omsettes eller tas i bruk for nasjonal sikkerhet eller militære formål og samtidig ett eller flere formål som er omfattet av forordningen. Vi leser dette som å omfatte KI-systemer med dobbelt bruksområde. I disse tilfellene er det leverandøren som bærer ansvaret for at systemet er i samsvar med forordningen.
Norges Røde Kors understreker at det er vanlig at systemer med sivile formål blir tatt i bruk til militære formål - og omvendt. I tillegg vil vi peke på viktigheten av den tidlige fasen av utforming av KI-systemer inkludert deres trening, med tanke på deres forutsettinger for å kunne genere «output» som er i henhold til, i dette felle, internasjonal humanitærrett. Å endre formål til et system som ikke var utviklet for å kunne fungere i henhold til internasjonal humanitærrett kan i så fall slett ikke forventes å gjøre det. Vi forstår KI-forordningen dithen at fortalen punkt 24 søker å avklare i hvilke tilfeller KI-forordningen gjelder når det er tale om slike vekslende formål. Vi mener imidlertid dette ikke er klart formulert og vi stiller derfor spørsmål ved i hvilken utstrekning KI-loven vil gjelde forsvarssektorens utvikling og bruk av KI-systemer for militære formål (militær KI) eller KI hvor formålet er knyttet til nasjonal sikkerhet, og hvordan aktørene skal forholde seg til systemer med vekslende formål. Vi mener at det ikke er åpenbart hvor grensen går mellom formål som omfattes av forordningen og formål som er unntatt og at vi risikerer å ta i bruk systemer utviklet og trent på andre premiss enn det som er nødvendig for militære formål.
Eksempelvis er ikke utvikling og testing av KI-systemer omfattet av forordningens ordlyd i artikkel 2 nr. 3, så det er uklart om man på dette stadiet uansett er omfattet av forordningen. I så fall er det ikke selvsagt at utvikling og bruk for slike formål omfattes av EØS-avtalens saklige virkeområde. Videre er det uklart når et KI-konsept som kan tenkes interessant for forsvarsformål går over til å bli et KI-system som er unntatt fra forordningen. Vi mener KI-loven bør være klar på hvilke KI-systemer og aktører som er omfattet og unntatt, og at dette bør utredes nærmere i samråd med berørte departementer og tydeliggjøres i forarbeidene. Det bør også stilles visse krav til hvilke virksomheter eller konsepter som omfattes av unntaket, slik at det ikke anses som tilstrekkelig at tanken bak innovativ virksomhet er å utvikle KI-systemer brukt for militære formål mv. Vi mener en tydeligere grensedragning eksemplifisert med typetilfeller vil ha betydning for hvordan myndighetene og sivilsamfunnet innretter arbeidet med å få på plass regulering av militær KI.
I forordningens fortale punkt 24 begrunnes dette bl.a. med at nasjonal sikkerhet er medlemsstatenes eneansvar, jf. EU-traktaten artikkel 4 nr. 2, og at medlemsstatenes felles forsvarspolitikk er underlagt folkeretten. Folkeretten er derfor «den mest hensiktsmessige rettslige rammen for regulering av KI-systemer i forbindelse med bruk av dødelig makt og andre KI-systemer i forbindelse med militær virksomhet og forsvarsvirksomhet.»
KI-forordningen er imidlertid uklar på hvilke KI-systemer som i praksis faller innenfor og utenfor anvendelsesområdet. Det fremgår videre av fortalen punkt 24 at KI-systemer som er unntatt forordningens anvendelsesområde likevel omfattes av forordningen
Dette betyr at KI-systemer som i utgangspunktet var ment for ivaretakelse av nasjonal sikkerhet eller militære formål likevel omfattes av forordningen, dersom de brukes for andre formål som faller inn under anvendelsesområdet. I disse tilfellene er det enheten som tar KI-systemet i bruk som har ansvar for at systemet er i tråd med forordningen. Videre gjelder forordningen for KI-systemer som omsettes eller tas i bruk for nasjonal sikkerhet eller militære formål og samtidig ett eller flere formål som er omfattet av forordningen. Vi leser dette som å omfatte KI-systemer med dobbelt bruksområde. I disse tilfellene er det leverandøren som bærer ansvaret for at systemet er i samsvar med forordningen.
Norges Røde Kors understreker at det er vanlig at systemer med sivile formål blir tatt i bruk til militære formål - og omvendt. I tillegg vil vi peke på viktigheten av den tidlige fasen av utforming av KI-systemer inkludert deres trening, med tanke på deres forutsettinger for å kunne genere «output» som er i henhold til, i dette felle, internasjonal humanitærrett. Å endre formål til et system som ikke var utviklet for å kunne fungere i henhold til internasjonal humanitærrett kan i så fall slett ikke forventes å gjøre det. Vi forstår KI-forordningen dithen at fortalen punkt 24 søker å avklare i hvilke tilfeller KI-forordningen gjelder når det er tale om slike vekslende formål. Vi mener imidlertid dette ikke er klart formulert og vi stiller derfor spørsmål ved i hvilken utstrekning KI-loven vil gjelde forsvarssektorens utvikling og bruk av KI-systemer for militære formål (militær KI) eller KI hvor formålet er knyttet til nasjonal sikkerhet, og hvordan aktørene skal forholde seg til systemer med vekslende formål. Vi mener at det ikke er åpenbart hvor grensen går mellom formål som omfattes av forordningen og formål som er unntatt og at vi risikerer å ta i bruk systemer utviklet og trent på andre premiss enn det som er nødvendig for militære formål.
Eksempelvis er ikke utvikling og testing av KI-systemer omfattet av forordningens ordlyd i artikkel 2 nr. 3, så det er uklart om man på dette stadiet uansett er omfattet av forordningen. I så fall er det ikke selvsagt at utvikling og bruk for slike formål omfattes av EØS-avtalens saklige virkeområde. Videre er det uklart når et KI-konsept som kan tenkes interessant for forsvarsformål går over til å bli et KI-system som er unntatt fra forordningen. Vi mener KI-loven bør være klar på hvilke KI-systemer og aktører som er omfattet og unntatt, og at dette bør utredes nærmere i samråd med berørte departementer og tydeliggjøres i forarbeidene. Det bør også stilles visse krav til hvilke virksomheter eller konsepter som omfattes av unntaket, slik at det ikke anses som tilstrekkelig at tanken bak innovativ virksomhet er å utvikle KI-systemer brukt for militære formål mv. Vi mener en tydeligere grensedragning eksemplifisert med typetilfeller vil ha betydning for hvordan myndighetene og sivilsamfunnet innretter arbeidet med å få på plass regulering av militær KI.
Behov for folkerettslige vurderinger og regulering av militær KI
KI-forordningens avgrensning mot KI-systemer for militære formål mv. er bl.a. begrunnet i særtrekkene ved medlemsstatenes og EUs forsvarspolitikk, som er underlagt folkeretten. Internasjonal humanitærrett angir regler for bruk av dødelig makt i væpnede konflikter. Genèvekonvensjonene I–IV av 1949 (GK I–IV) og de to tilleggsprotokollene av 1977 (TP I–II) har til hensikt å skjerme sivile og andre beskyttede personer fra virkningene av væpnet konflikt og å begrense parters bruk av metoder og midler. Reglene får primært anvendelse når en væpnet konflikt har brutt ut, men enkelte bestemmelser gjelder også i fredstid. Humanitærrettslige regler som får anvendelse i fredstid har til hensikt å sikre at reglene er inntatt i nasjonal lovgivning. Dette øker evnen til etterlevelse i tilfelle væpnet konflikt.
Norges Røde Kors vil særlig trekke frem TP I artikkel 36 som pålegger konvensjonspartene å foreta en folkerettslig vurdering av nye våpen, krigføringsmidler og krigføringsmetoder. Vi legger til grunn at kunstig intelligens i nye krigføringsmidler eller –metoder etter omstendighetene må underlegges en slik folkerettslig vurdering, og at vurderingen må gjennomføres så tidlig som mulig og på nytt ved evt. systemoppdateringer. Dersom grensesnittet mellom teknologi som omfattes/unntas fra KI-lovensvirkeområde ikke blir tydeligere beskrevet, risikerer vi at teknologi som skulle vært vurdert i tråd med artikkel 36, ikke blir vurdert rettidig eller i det hele tatt.
Tatt i betraktning at utviklingen av militær KI skjer raskt og at en utvikling uten et tydelig rettslig og etisk rammeverk kan medføre alvorlige konsekvenser for internasjonal fred, sikkerhet og under væpnet konflikt, ber vi departementet om å kommentere norske myndigheters forpliktelse til å vurdere KI-systemer for bruk av dødelig makt i samsvar med TP I artikkel 36 i lovproposisjonen.
Vi understreker at behovet for regulering av KI-systemer for militære formål, forsvarsformål og nasjonal sikkerhet er presserende og at det så raskt som mulig bør innføres nasjonal regulering som så langt det er mulig reflekterer prinsippene som gjelder etter KI-forordningen.
Ved spørsmål kontakt juridisk seniorrådgiver, Erika Steinholt Mortensen på e-post erika.steinholt.mortensen@redcross.no
[1] 2504 FINAL ICRC Submission on AI to UNSG report process
[2] Military use of AI technology needs urgent regulation, UN warns - ABC News
[3] Artificial intelligence in the military domain and its implications for international peace and security
Norges Røde Kors vil særlig trekke frem TP I artikkel 36 som pålegger konvensjonspartene å foreta en folkerettslig vurdering av nye våpen, krigføringsmidler og krigføringsmetoder. Vi legger til grunn at kunstig intelligens i nye krigføringsmidler eller –metoder etter omstendighetene må underlegges en slik folkerettslig vurdering, og at vurderingen må gjennomføres så tidlig som mulig og på nytt ved evt. systemoppdateringer. Dersom grensesnittet mellom teknologi som omfattes/unntas fra KI-lovensvirkeområde ikke blir tydeligere beskrevet, risikerer vi at teknologi som skulle vært vurdert i tråd med artikkel 36, ikke blir vurdert rettidig eller i det hele tatt.
Tatt i betraktning at utviklingen av militær KI skjer raskt og at en utvikling uten et tydelig rettslig og etisk rammeverk kan medføre alvorlige konsekvenser for internasjonal fred, sikkerhet og under væpnet konflikt, ber vi departementet om å kommentere norske myndigheters forpliktelse til å vurdere KI-systemer for bruk av dødelig makt i samsvar med TP I artikkel 36 i lovproposisjonen.
Vi understreker at behovet for regulering av KI-systemer for militære formål, forsvarsformål og nasjonal sikkerhet er presserende og at det så raskt som mulig bør innføres nasjonal regulering som så langt det er mulig reflekterer prinsippene som gjelder etter KI-forordningen.
Ved spørsmål kontakt juridisk seniorrådgiver, Erika Steinholt Mortensen på e-post erika.steinholt.mortensen@redcross.no
[1] 2504 FINAL ICRC Submission on AI to UNSG report process
[2] Military use of AI technology needs urgent regulation, UN warns - ABC News
[3] Artificial intelligence in the military domain and its implications for international peace and security