Handelshøyskolen BI (heretter BI) takker for muligheten til å gi høringsinnspill til NOU 2023:19. BIs innspill omfatter kun de deler av NOU-en som omhandler høyere utdanning. Høringsuttalelsen har blitt til gjennom bredt inviterte innspill internt samt et seminar 5. september 2023 hvor også Ekspertgruppas leder presenterte NOU-en og deltok i den påfølgende diskusjonen.
BI har valgt å strukturere høringsinnspillet tematisk etter de tre hovedmomentene i høringsbrevet.
Før våre innspill til hvert av temaene Ekspertgruppa etterspør, vil BI påpeke at varsomheten sektoren til nå virker å ha vist i møte med læringsanalyse ikke må ligge til hinder for videre utvikling på feltet. Når Ekspertgruppa beskriver «manglende interesse» og samtidig uklarhet i lovverket, er det høyst sannsynlig at disse to faktorene trekker hverandre ned. Det snakkes – og satses – mye for å gjøre Norge mer datadrevet og KI-kompetent i framtida. BI mener at læringsanalyse er en sjølsagt komponent i denne satsninga.
BIs inntrykk er at Ekspertgruppa har gjort gode vurderinger i dette kapitlet og er enig i hovedkonklusjonene i delkapittel 7.5. BIs merknader til vurderingene følger under.
De fleste digitale læringsverktøy BI bruker i dag, rapporterer i stor grad kun studentaktivitet, ikke prestasjoner eller læring, og det er veldig viktig at de to ikke forveksles. Samtidig er det, som det påpekes i NOU-en, en sammenheng mellom aktivitet (tid brukt på studier) og resultater, så verktøy kan designes slik at de oppmuntrer til jevnlig aktivitet – uten å gå på akkord med studentenes rett til privatliv, jamfør de omtalte forutsetningene først på s. 68.
Slik vi leser vurderingene i kapitlet, uttrykkes det en viss skepsis til å la tidsstempler være del av datagrunnlaget for læringsanalyse. Tidsstempler er, slik BI ser det, ei forutsetning for å gå fra rein «aktivitetsanalyse» til mer avansert oversikt over læringsprosessen, jamfør for eksempel Hilpert et al 2023 (doi: 10.1111/bjet.13340) og Peach et al. 2019 (doi: s41539-019-0054-0). Tidsstempler er også helt nødvendige for å forstå studenters interaksjoner på tvers av plattformer; hvilken rekkefølge kurselementer brukes, og hvordan bruken knytter seg til strukturerte læringsaktiviteter som forelesninger og kollokvier. Studenters engstelse for at skillet mellom privatliv og studenttilværelsen skal viskes ut må tas på alvor, men bør behandles på institusjonsnivå.
BI ønsker debatten om hvilke datapunkter som kan sies å ha høy pedagogisk verdi velkommen. Samtidig opplever vi det som mildt sagt utfordrende å få leverandører av digitale læringsverktøy til å opprette nye datapunkter i tråd med hva som er pedagogisk mest verdifullt.
Arbeidet med å utvikle datapunkter med høy pedagogisk verdi, særlig for tjenester som brukes på tvers av sektoren, kan derfor med fordel sentraliseres for å få fortgang i prosessen, fordele eventuelle ytterligere kostnader og sørge for at informasjon om endringene spres blant tjenestebrukerne.
Ekspertgruppa skriver i 7.4.3 at datastøtta kvalitetsutvikling og institusjonell analyse innebærer lavere risiko for personvernet. BI mener dette utsagnet bør presiseres noe. Vi er enige i at beslutninger på institusjonelt nivå skal foretas utelukkende på bakgrunn av aggregerte data, og tiltak derav ikke skal rette seg direkte mot enkeltpersoner. Dersom en institusjon henter inn informasjon om studentaktivitet (og -læring) fra flere kilder og bruker disse til institusjonell analyse/kvalitetsarbeid, vil aggregeringa imidlertid typisk skje etter sammenstillinga for å sikre datakvalitet og sammenliknbarhet. Dessuten vil denne tilnærminga gi fleksibilitet i hvilke konkrete problemstillinger som utforskes og besvares. Med andre ord finnes det et stadium av databehandlingsprosessen hvor potensielt store mengder aktivitetsdata om et høyt antall personer finnes sammenstilt (eller teknisk sett sammenstillbart), med den personvernrisikoen dette innebærer. Nevnte risiko er ikke nødvendigvis uakseptabel, men høyere enn den Ekspertgruppa synes å forutsette.
BI er i all hovedsak enige i Ekspertgruppas vurderinger og støtter konklusjonene slik de formuleres i delkapittel 8.8. BI er særlig opptatt av at datakyndighet og analytisk kompetanse skal utvikles slik at den institusjonelle forståelsen av hva dataene betyr og hvilke slutninger som kan – og ikke kan – trekkes fra dem, skal bli best mulig. BIs merknader til vurderingene følger under.
I kap. 8.3.1 skriver Ekspertgruppa at flere digitale læringsplattformer i bruk i UH-sektoren i dag inneholder muligheter for noe læringsanalyse. Analysefunksjonaliteten i plattformer som Panopto, Zoom, LMS-er som Canvas og Itslearning inneholder personopplysninger og beskriver progresjon på individnivå. Disse henger ved kursrommet etter endt kursgjennomføring, for eksempel ved at kursrommet bevisst holdes åpent som ressursbibliotek, eller bare ikke lukkes. Datagrunnlaget for analysefunksjonaliteten, som regel i en noe forenkla versjon, kan også lastes ned av underviserne så lenge kursrommet eksisterer. Undervisere har altså tilgang på personopplysninger om studenter de ikke lenger underviser – potensielt ikke lenger aktive studenter. BI savner en personvernmessig redegjørelse for denne praksisen da den virker å være utbredt.
Videre vil BI påpeke at indikatorer for «god læring» allerede er integrerte i de fleste moderne læringsverktøy og -plattformer. Samtidig er det en fordel at institusjonene sjøl bygger kapasitet og kompetanse til å definere hvordan læringskvalitet skal måles i studentenes læringsarbeid, slik at det ikke aleine avhenger av hvilke parametere leverandører har lagt inn i integrerte analyseverktøy. Her er risikoen at studenters læringsutbytte vurderes på grunnlag av parametere som måler andre forhold og er bestemt av integrerte analyseverktøy. Denne kommentaren kan ses i sammenheng med vårt forslag om et nasjonalt samarbeid om å utarbeide datapunkter med høy pedagogisk verdi i våre merknader til NOU-ens kapittel 7 over.
Ekspertgruppa skriver også i avsnitt 8.3.1 at det er opp til hver enkelt underviser hvordan hen utfører læringsanalyse innafor de rammene UH-loven setter for sjølstendig faglig ansvar og akademisk frihet. BI er i utgangspunktet enige i vurderinga, men vil presisere at tredelinga av analysenes mottakere på student-, underviser- og institusjonelt nivå, som Ekspertgruppa legger opp til, vil innebære at dataene som genereres har flere vektige interessenter enn kun den enkelte underviser. God læringsanalyse hviler tungt på gjennomgående god datakvalitet, og ansvaret for denne datakvaliteten kan ikke overlates til den enkelte underviser. Løsninga på dette spørsmålet er antakelig gode tekniske retningslinjer for dataforvaltning i systemer uavhengige av undervisernes pedagogiske valg, for eksempel gjennom API-oppkopling med ulike læringssystemer. Ei slik tilnærming vil også, etter hva BI anser, være mer i tråd med prinsippene i GDPR enn dersom enkeltundervisere skulle få sitte med definisjonsmakta.
Spørsmålet om hvilke data som skal inngå i læringsanalyse i praksis, er vanskelig å få entydige svar på. Undervisere på BI er svært opptatte av at deres frihet til å undervise ikke må begrenses for å bedre datatilgangen eller datakvaliteten. Samtidig er de til dels svært opptatte av og bevisste mulighetene for djupere innsikt som følger av datasammenkopling, både fra kilder til digital aktivitet og registerdata som demografiske variabler eller eksamenskarakterer. BIs undervisere var videre tydelige på at datainnsamling og læringsanalyse må støtte, ikke hindre, personlige initiativer til kursutvikling. Slik BI ser det, vil det være fornuftig å identifisere datakilder som brukes av en tilstrekkelig andel av institusjonens undervisere og la denne danne grunnlag for videre læringsanalyse.
Underviserne er også positive til å jobbe kunnskapsbasert med kurs- og undervisningsforbedring, da med aggregerte data som basis. Ingen av underviserne som har uttalt seg i forbindelse med dette høringssvaret ytra noe ønske om å følge enkeltstudenters aktivitet eller atferd.
BI mener at læringsanalyse er etisk forsvarlig når den bygger på data av god kvalitet, er gjennomsiktig, etterprøvbar, og gir innsikt som fører til gyldige beslutninger. Mens de første tre punktene til en viss grad kan automatiseres, er det siste punktet ikke automatiserbart og skal heller ikke være det. Innsikt som følger av læringsanalyse, skal gi beslutningsstøtte for mennesker. Denne forutsetninga impliserer at mottakerne av innsikten er kompetente til å handle etisk og pedagogisk forsvarlig på bakgrunn av den.
BI mener derfor at læringsanalyse er pedagogisk forsvarlig når den, i tillegg til å være etisk forsvarlig, ikke aleine danner grunnlag for vurdering og oppfølging av studentene, men anvendes hensiktsmessig som et verktøy for å forstå læringsprosessen. Læringsanalyse må videre ikke reduseres til å bare måle konkrete kunnskaper, på bekostning av problemløsning, sammenstilling av informasjon og perspektiver, kritisk tenkning og andre generiske kompetanser.
Som beskrevet over er det sentralt å bygge en kultur for datadrevet undervisning og læring i organisasjonen for at mer omfattende og avanserte initiativer kan implementeres med hell og til tenkt bruk.
Gjennom diskusjoner med vidt ulike interessenter innad i BI har det blitt tydelig at læringsanalyse er et veldig komplekst felt som krever spesialistkompetanse simpelthen for å holde alle trådene samla. Det kan ikke forutsettes teknisk eller personvernmessig innsikt, og i begrensa grad datakyndighet, hos flere av de sentrale mottakerne og brukerne av læringsanalyse-løsninger. Denne innsikten legger sterkt press på løsningene til å være lettforståelige og intuitive. Systematisk og gjennomarbeida og pedagogisk design er en nøkkel for god implementering.
Samtidig sitter gjerne sentraliserte avdelinger med spisskompetanse innen digital infrastruktur (it-avdelinger og utviklermiljø) eller juss (jurister, personvernombud m.fl.) uten innsikt i hverken hverandres faghverdag eller – og dette betones som kanskje viktigst i NOU-en - pedagogisk praksis og design. Læringssentre eller tilsvarende sentralt plasserte administrative avdelinger for underviser-støtte er dem som kanskje besitter størst andel av kapasiteten som trengs for å jobbe systematisk med LA
Dette er svært viktig ettersom det ofte kan ende opp med å være slike sentere, eller miljøer med liknende roller på fakultets- eller instituttnivå, som vil ende opp med å bruke innsikten til å formidle pedagogiske råd til undervisere. Som admin- og superbrukere i universitetets læringsplattformer sitter også ofte ansatte i læringssentre nær utviklermiljøer i it-avdelinga. BI vil derfor anbefale at utvikling av læringsanalyse skjer i regi av, eller i tett og forpliktende samarbeid med, institusjonenes læringssentre eller tilsvarende avdelinger.
BI har valgt å strukturere høringsinnspillet tematisk etter de tre hovedmomentene i høringsbrevet.
Før våre innspill til hvert av temaene Ekspertgruppa etterspør, vil BI påpeke at varsomheten sektoren til nå virker å ha vist i møte med læringsanalyse ikke må ligge til hinder for videre utvikling på feltet. Når Ekspertgruppa beskriver «manglende interesse» og samtidig uklarhet i lovverket, er det høyst sannsynlig at disse to faktorene trekker hverandre ned. Det snakkes – og satses – mye for å gjøre Norge mer datadrevet og KI-kompetent i framtida. BI mener at læringsanalyse er en sjølsagt komponent i denne satsninga.
BIs inntrykk er at Ekspertgruppa har gjort gode vurderinger i dette kapitlet og er enig i hovedkonklusjonene i delkapittel 7.5. BIs merknader til vurderingene følger under.
De fleste digitale læringsverktøy BI bruker i dag, rapporterer i stor grad kun studentaktivitet, ikke prestasjoner eller læring, og det er veldig viktig at de to ikke forveksles. Samtidig er det, som det påpekes i NOU-en, en sammenheng mellom aktivitet (tid brukt på studier) og resultater, så verktøy kan designes slik at de oppmuntrer til jevnlig aktivitet – uten å gå på akkord med studentenes rett til privatliv, jamfør de omtalte forutsetningene først på s. 68.
Slik vi leser vurderingene i kapitlet, uttrykkes det en viss skepsis til å la tidsstempler være del av datagrunnlaget for læringsanalyse. Tidsstempler er, slik BI ser det, ei forutsetning for å gå fra rein «aktivitetsanalyse» til mer avansert oversikt over læringsprosessen, jamfør for eksempel Hilpert et al 2023 (doi: 10.1111/bjet.13340) og Peach et al. 2019 (doi: s41539-019-0054-0). Tidsstempler er også helt nødvendige for å forstå studenters interaksjoner på tvers av plattformer; hvilken rekkefølge kurselementer brukes, og hvordan bruken knytter seg til strukturerte læringsaktiviteter som forelesninger og kollokvier. Studenters engstelse for at skillet mellom privatliv og studenttilværelsen skal viskes ut må tas på alvor, men bør behandles på institusjonsnivå.
BI ønsker debatten om hvilke datapunkter som kan sies å ha høy pedagogisk verdi velkommen. Samtidig opplever vi det som mildt sagt utfordrende å få leverandører av digitale læringsverktøy til å opprette nye datapunkter i tråd med hva som er pedagogisk mest verdifullt.
Arbeidet med å utvikle datapunkter med høy pedagogisk verdi, særlig for tjenester som brukes på tvers av sektoren, kan derfor med fordel sentraliseres for å få fortgang i prosessen, fordele eventuelle ytterligere kostnader og sørge for at informasjon om endringene spres blant tjenestebrukerne.
Ekspertgruppa skriver i 7.4.3 at datastøtta kvalitetsutvikling og institusjonell analyse innebærer lavere risiko for personvernet. BI mener dette utsagnet bør presiseres noe. Vi er enige i at beslutninger på institusjonelt nivå skal foretas utelukkende på bakgrunn av aggregerte data, og tiltak derav ikke skal rette seg direkte mot enkeltpersoner. Dersom en institusjon henter inn informasjon om studentaktivitet (og -læring) fra flere kilder og bruker disse til institusjonell analyse/kvalitetsarbeid, vil aggregeringa imidlertid typisk skje etter sammenstillinga for å sikre datakvalitet og sammenliknbarhet. Dessuten vil denne tilnærminga gi fleksibilitet i hvilke konkrete problemstillinger som utforskes og besvares. Med andre ord finnes det et stadium av databehandlingsprosessen hvor potensielt store mengder aktivitetsdata om et høyt antall personer finnes sammenstilt (eller teknisk sett sammenstillbart), med den personvernrisikoen dette innebærer. Nevnte risiko er ikke nødvendigvis uakseptabel, men høyere enn den Ekspertgruppa synes å forutsette.
BI er i all hovedsak enige i Ekspertgruppas vurderinger og støtter konklusjonene slik de formuleres i delkapittel 8.8. BI er særlig opptatt av at datakyndighet og analytisk kompetanse skal utvikles slik at den institusjonelle forståelsen av hva dataene betyr og hvilke slutninger som kan – og ikke kan – trekkes fra dem, skal bli best mulig. BIs merknader til vurderingene følger under.
I kap. 8.3.1 skriver Ekspertgruppa at flere digitale læringsplattformer i bruk i UH-sektoren i dag inneholder muligheter for noe læringsanalyse. Analysefunksjonaliteten i plattformer som Panopto, Zoom, LMS-er som Canvas og Itslearning inneholder personopplysninger og beskriver progresjon på individnivå. Disse henger ved kursrommet etter endt kursgjennomføring, for eksempel ved at kursrommet bevisst holdes åpent som ressursbibliotek, eller bare ikke lukkes. Datagrunnlaget for analysefunksjonaliteten, som regel i en noe forenkla versjon, kan også lastes ned av underviserne så lenge kursrommet eksisterer. Undervisere har altså tilgang på personopplysninger om studenter de ikke lenger underviser – potensielt ikke lenger aktive studenter. BI savner en personvernmessig redegjørelse for denne praksisen da den virker å være utbredt.
Videre vil BI påpeke at indikatorer for «god læring» allerede er integrerte i de fleste moderne læringsverktøy og -plattformer. Samtidig er det en fordel at institusjonene sjøl bygger kapasitet og kompetanse til å definere hvordan læringskvalitet skal måles i studentenes læringsarbeid, slik at det ikke aleine avhenger av hvilke parametere leverandører har lagt inn i integrerte analyseverktøy. Her er risikoen at studenters læringsutbytte vurderes på grunnlag av parametere som måler andre forhold og er bestemt av integrerte analyseverktøy. Denne kommentaren kan ses i sammenheng med vårt forslag om et nasjonalt samarbeid om å utarbeide datapunkter med høy pedagogisk verdi i våre merknader til NOU-ens kapittel 7 over.
Ekspertgruppa skriver også i avsnitt 8.3.1 at det er opp til hver enkelt underviser hvordan hen utfører læringsanalyse innafor de rammene UH-loven setter for sjølstendig faglig ansvar og akademisk frihet. BI er i utgangspunktet enige i vurderinga, men vil presisere at tredelinga av analysenes mottakere på student-, underviser- og institusjonelt nivå, som Ekspertgruppa legger opp til, vil innebære at dataene som genereres har flere vektige interessenter enn kun den enkelte underviser. God læringsanalyse hviler tungt på gjennomgående god datakvalitet, og ansvaret for denne datakvaliteten kan ikke overlates til den enkelte underviser. Løsninga på dette spørsmålet er antakelig gode tekniske retningslinjer for dataforvaltning i systemer uavhengige av undervisernes pedagogiske valg, for eksempel gjennom API-oppkopling med ulike læringssystemer. Ei slik tilnærming vil også, etter hva BI anser, være mer i tråd med prinsippene i GDPR enn dersom enkeltundervisere skulle få sitte med definisjonsmakta.
Spørsmålet om hvilke data som skal inngå i læringsanalyse i praksis, er vanskelig å få entydige svar på. Undervisere på BI er svært opptatte av at deres frihet til å undervise ikke må begrenses for å bedre datatilgangen eller datakvaliteten. Samtidig er de til dels svært opptatte av og bevisste mulighetene for djupere innsikt som følger av datasammenkopling, både fra kilder til digital aktivitet og registerdata som demografiske variabler eller eksamenskarakterer. BIs undervisere var videre tydelige på at datainnsamling og læringsanalyse må støtte, ikke hindre, personlige initiativer til kursutvikling. Slik BI ser det, vil det være fornuftig å identifisere datakilder som brukes av en tilstrekkelig andel av institusjonens undervisere og la denne danne grunnlag for videre læringsanalyse.
Underviserne er også positive til å jobbe kunnskapsbasert med kurs- og undervisningsforbedring, da med aggregerte data som basis. Ingen av underviserne som har uttalt seg i forbindelse med dette høringssvaret ytra noe ønske om å følge enkeltstudenters aktivitet eller atferd.
BI mener at læringsanalyse er etisk forsvarlig når den bygger på data av god kvalitet, er gjennomsiktig, etterprøvbar, og gir innsikt som fører til gyldige beslutninger. Mens de første tre punktene til en viss grad kan automatiseres, er det siste punktet ikke automatiserbart og skal heller ikke være det. Innsikt som følger av læringsanalyse, skal gi beslutningsstøtte for mennesker. Denne forutsetninga impliserer at mottakerne av innsikten er kompetente til å handle etisk og pedagogisk forsvarlig på bakgrunn av den.
BI mener derfor at læringsanalyse er pedagogisk forsvarlig når den, i tillegg til å være etisk forsvarlig, ikke aleine danner grunnlag for vurdering og oppfølging av studentene, men anvendes hensiktsmessig som et verktøy for å forstå læringsprosessen. Læringsanalyse må videre ikke reduseres til å bare måle konkrete kunnskaper, på bekostning av problemløsning, sammenstilling av informasjon og perspektiver, kritisk tenkning og andre generiske kompetanser.
Som beskrevet over er det sentralt å bygge en kultur for datadrevet undervisning og læring i organisasjonen for at mer omfattende og avanserte initiativer kan implementeres med hell og til tenkt bruk.
Gjennom diskusjoner med vidt ulike interessenter innad i BI har det blitt tydelig at læringsanalyse er et veldig komplekst felt som krever spesialistkompetanse simpelthen for å holde alle trådene samla. Det kan ikke forutsettes teknisk eller personvernmessig innsikt, og i begrensa grad datakyndighet, hos flere av de sentrale mottakerne og brukerne av læringsanalyse-løsninger. Denne innsikten legger sterkt press på løsningene til å være lettforståelige og intuitive. Systematisk og gjennomarbeida og pedagogisk design er en nøkkel for god implementering.
Samtidig sitter gjerne sentraliserte avdelinger med spisskompetanse innen digital infrastruktur (it-avdelinger og utviklermiljø) eller juss (jurister, personvernombud m.fl.) uten innsikt i hverken hverandres faghverdag eller – og dette betones som kanskje viktigst i NOU-en - pedagogisk praksis og design. Læringssentre eller tilsvarende sentralt plasserte administrative avdelinger for underviser-støtte er dem som kanskje besitter størst andel av kapasiteten som trengs for å jobbe systematisk med LA
Dette er svært viktig ettersom det ofte kan ende opp med å være slike sentere, eller miljøer med liknende roller på fakultets- eller instituttnivå, som vil ende opp med å bruke innsikten til å formidle pedagogiske råd til undervisere. Som admin- og superbrukere i universitetets læringsplattformer sitter også ofte ansatte i læringssentre nær utviklermiljøer i it-avdelinga. BI vil derfor anbefale at utvikling av læringsanalyse skjer i regi av, eller i tett og forpliktende samarbeid med, institusjonenes læringssentre eller tilsvarende avdelinger.