Det utdanningsvitenskapelige fakultetet (UV) ved Universitet i Oslo deler ekspertgruppens oppfatning om at læringsanalyse kan spille en viktig rolle både som læringsstøtte for studentene og i institusjonens systematiske kvalitetsarbeid. Rapporten viser en grundig og viktig utredning av begreper, forskningsfunn og etiske retningslinjer om læringsanalyse, samt utfordringer knyttet til innsamling og bruk av læringsanalyse til utdanningsformål.
UV stiller seg også bak ekspertgruppens forslag for utvikling av retningslinjer for god og forsvarlig læringsanalyse i høyere utdanning. Her ønsker vi spesielt å trekke frem områder vi mener er spesielt viktige å følge opp eller utdype:
Vi støtter videre de syv overordnede forutsetningene fremsatt av utvalget som må være til stede for at merverdien av læringsanalyse skal kunne realiseres, og at læringsanalyse skal kunne fremme læring og forbedre undervisning på en forsvarlig måte (kap 7., s. 64). Dette innebærer en avansert vurdering av hensiktsmessigheten av de konkrete verktøy og data som skoler og høyere utdanningsinstitusjoner kan ta i bruk, som fører til at det som er «lett å måle» ikke kan bli stående som uttrykk for kvalitet. Her må statlige myndigheter ta et overordnet ansvar for å kvalitetssikre de verktøyene som tas i bruk, og tilrettelegge for kompetanseheving i utdanningsinstitusjoner.
Utvalgets gjentatte påpeking av forutsetninger for at bruk av læringsanalyse skal være vellykket på de ulike områdene som behandles, er av stor betydning. Samtidig etterlyser vi i hvilken grad disse forutsetningene oppfylles i dag. Vi foreslår at det oppfordres til forsiktighet med bruk av læringsanalyse til verktøyene som utvikles er mer sofistikerte, og til det har kommet mer forskning på feltet om pedagogisk og etisk bruk av slike verktøy.
Begrepene ‘etisk’ og ‘pedagogisk forsvarlig’ (kap. 7) gir mening for oss. De bør forstås som at alle avgjørelser knyttet til læringsanalyse innebærer etiske avveininger (for eksempel mht. personvern, økende stress og andre forhold som utvalget peker på) og også pedagogiske avveininger som omhandler de mer undervisningspraktiske vurderinger som må gjøres mht. hvilken kompetanse et verktøy kan bidra til å utvikle eller vurdere, når det er hensiktsmessig at elever arbeider individuelt eller i fellesskap, hvilken tematikk som er tilpasset den enkelte klasse eller elev etc.
Vi merker oss at det er en viss uenighet om det er behov for tydeliggjøring av det rettslige grunnlaget for læringsanalyse, og om hvordan dette er ivaretatt av eksisterende bestemmelser. Denne uenigheten tilsier at en eksplisitt hjemmel bør innføres, og vi stiller oss bak de foreslåtte endringene i både universitets- og høyskoleloven og i studietilsynsforskriften.
Vi er overordnet enig om forutsetninger som må være til stede for at læringsanalyse skal kunne brukes til å fremme læring og forbedre undervisning på en forsvarlig måte, og spesielt om «at dataene om elevenes og studentenes læring er relevante og av god kvalitet» (kap. 7, s.65).
Vi merker oss at rapporten i litt mindre grad redegjør for i hvilken grad data som brukes til læringsanalyse, har en slagside, «bias», noe som i stor grad vil kunne påvirke de slutningene man kan trekke fra slik læringsanalyse. I kap. 4.4 (s. 43-44) er datakvalitet definert som: fullstendige data, konsistente data, nøyaktige data, tidsaktuelle data, valide data og unike data. Her savner vi at det også redegjøres for «bias» i data, dvs. data som ikke oppleves som rettferdig (fair), men heller partiske (biased). Denne/disse «biasen/biasene» bør også gjenspeiles i kap. 7 og 8 fordi beskrivelse av eventuelle bias er en viktig forutsetning for om en læringsanalyse vil kunne bidra til å fremme læring eller forbedre undervisning på riktig grunnlag. Vi mener at dette med p artiske data for eksempel kunne legges inn i kap. 8.5, hvor det snakkes om "Data som er irrelevante, misvisende eller vanskelig å tolke". Funn fra rapport fra European Schoolnet (Erstad et al. 2023) om datafiseringen i skolen (s. 18, s. 21, s.26) understøtter betydningen av bias i læringsanalyse.
4) Algoritmens transparens
Algoritmens transparens («algorithmic transparency») er et viktig aspekt ved rettferdig og transparent bruk av læringsanalyse, og som ikke får stor plass i NOU rapporten. Lovdata tilbyr noen definisjoner og kriterier om temaet, se f.eks «Avsnitt 3. Den sorte boksen og algoritmeskjevhet». (ref nedenfor). Dette fanges opp i GDPR rammeverk «meaningful information about the logic involved» https://gdpr-info.eu/art-13-gdpr/ , avsnittet 10.1.1 «Å sørge for at en maskinlæringsmodell opptrer rettferdig og ikke diskriminerer er en utfordrende oppgave.» Eksempler fra utlandet understrekker viktigheten av å utforske algoritmens transparans i forbindelse med bruk av digital dataspor i utdanning (Mavroudi, 2023). Det anbefales at rapporten fremhever viktigheten av å utvikle systemisk kompetanse og praksiser i omgang med datakilder og deres opprinnelse. Dette er spesielt viktig i forbindelse med kompetanse(utvikling) for nasjonale aktørene som har ansvar for kvalitetssikring av løsninger i sektoren for høyere utdanning (f.eks. Sikt).
I lys av rapportens viktige anbefalinger ser vi behovet for et veikart for fremtidens bruk av læringsanalyse i Norge. Per i dag er det utfordrende å samle digitale spor om studentenes studiearbeid på en pedagogisk begrunnet og meningsfylt måte, mens forskningen (Leitner et al., 2017) tyder på at dette kan være aktuelt i framtida. Hva slags muligheter kan åpne seg for undervisere i høyere utdanning ifm med bruk av læringsnalyse i framtiden?
GDPR rammeverk: https://gdpr-info.eu/art-13-gdpr/
Leitner, P., Khalil, M., Ebner, M. (2017). Learning Analytics in Higher Education—A Literature Review. In: Peña-Ayala, A. (eds) Learning Analytics: Fundaments, Applications, and Trends. Studies in Systems, Decision and Control, vol 94. Springer, Cham. https://doi.org/10.1007/978-3-319-52977-6_1
Lovdata: https://lovdata.no/artikkel/apen_og_rettferdig_kunstig_intelligens/4139
Mavroudi, A. (2023). Challenges and Recommendations on the Ethical Usage of Learning Analytics in Higher Education. In Viberg, O. & Grönlund, Å. (eds) Practicable Learning Analytics. Advances in Analytics for Learning and Teaching. Springer, Cham. https://doi.org/10.1007/978-3-031-27646-0_11
Rapport European Schoolnet: http://agile-edu.eun.org/documents/9709807/9862864/Updated+D2.1+Datafication+in+and+of+Education_090623.pdf/3a549d79-6d8e-4dc7-b556-f8745414ee39
UV stiller seg også bak ekspertgruppens forslag for utvikling av retningslinjer for god og forsvarlig læringsanalyse i høyere utdanning. Her ønsker vi spesielt å trekke frem områder vi mener er spesielt viktige å følge opp eller utdype:
Vi støtter videre de syv overordnede forutsetningene fremsatt av utvalget som må være til stede for at merverdien av læringsanalyse skal kunne realiseres, og at læringsanalyse skal kunne fremme læring og forbedre undervisning på en forsvarlig måte (kap 7., s. 64). Dette innebærer en avansert vurdering av hensiktsmessigheten av de konkrete verktøy og data som skoler og høyere utdanningsinstitusjoner kan ta i bruk, som fører til at det som er «lett å måle» ikke kan bli stående som uttrykk for kvalitet. Her må statlige myndigheter ta et overordnet ansvar for å kvalitetssikre de verktøyene som tas i bruk, og tilrettelegge for kompetanseheving i utdanningsinstitusjoner.
Utvalgets gjentatte påpeking av forutsetninger for at bruk av læringsanalyse skal være vellykket på de ulike områdene som behandles, er av stor betydning. Samtidig etterlyser vi i hvilken grad disse forutsetningene oppfylles i dag. Vi foreslår at det oppfordres til forsiktighet med bruk av læringsanalyse til verktøyene som utvikles er mer sofistikerte, og til det har kommet mer forskning på feltet om pedagogisk og etisk bruk av slike verktøy.
Begrepene ‘etisk’ og ‘pedagogisk forsvarlig’ (kap. 7) gir mening for oss. De bør forstås som at alle avgjørelser knyttet til læringsanalyse innebærer etiske avveininger (for eksempel mht. personvern, økende stress og andre forhold som utvalget peker på) og også pedagogiske avveininger som omhandler de mer undervisningspraktiske vurderinger som må gjøres mht. hvilken kompetanse et verktøy kan bidra til å utvikle eller vurdere, når det er hensiktsmessig at elever arbeider individuelt eller i fellesskap, hvilken tematikk som er tilpasset den enkelte klasse eller elev etc.
Vi merker oss at det er en viss uenighet om det er behov for tydeliggjøring av det rettslige grunnlaget for læringsanalyse, og om hvordan dette er ivaretatt av eksisterende bestemmelser. Denne uenigheten tilsier at en eksplisitt hjemmel bør innføres, og vi stiller oss bak de foreslåtte endringene i både universitets- og høyskoleloven og i studietilsynsforskriften.
Vi er overordnet enig om forutsetninger som må være til stede for at læringsanalyse skal kunne brukes til å fremme læring og forbedre undervisning på en forsvarlig måte, og spesielt om «at dataene om elevenes og studentenes læring er relevante og av god kvalitet» (kap. 7, s.65).
Vi merker oss at rapporten i litt mindre grad redegjør for i hvilken grad data som brukes til læringsanalyse, har en slagside, «bias», noe som i stor grad vil kunne påvirke de slutningene man kan trekke fra slik læringsanalyse. I kap. 4.4 (s. 43-44) er datakvalitet definert som: fullstendige data, konsistente data, nøyaktige data, tidsaktuelle data, valide data og unike data. Her savner vi at det også redegjøres for «bias» i data, dvs. data som ikke oppleves som rettferdig (fair), men heller partiske (biased). Denne/disse «biasen/biasene» bør også gjenspeiles i kap. 7 og 8 fordi beskrivelse av eventuelle bias er en viktig forutsetning for om en læringsanalyse vil kunne bidra til å fremme læring eller forbedre undervisning på riktig grunnlag. Vi mener at dette med p artiske data for eksempel kunne legges inn i kap. 8.5, hvor det snakkes om "Data som er irrelevante, misvisende eller vanskelig å tolke". Funn fra rapport fra European Schoolnet (Erstad et al. 2023) om datafiseringen i skolen (s. 18, s. 21, s.26) understøtter betydningen av bias i læringsanalyse.
4) Algoritmens transparens
Algoritmens transparens («algorithmic transparency») er et viktig aspekt ved rettferdig og transparent bruk av læringsanalyse, og som ikke får stor plass i NOU rapporten. Lovdata tilbyr noen definisjoner og kriterier om temaet, se f.eks «Avsnitt 3. Den sorte boksen og algoritmeskjevhet». (ref nedenfor). Dette fanges opp i GDPR rammeverk «meaningful information about the logic involved» https://gdpr-info.eu/art-13-gdpr/ , avsnittet 10.1.1 «Å sørge for at en maskinlæringsmodell opptrer rettferdig og ikke diskriminerer er en utfordrende oppgave.» Eksempler fra utlandet understrekker viktigheten av å utforske algoritmens transparans i forbindelse med bruk av digital dataspor i utdanning (Mavroudi, 2023). Det anbefales at rapporten fremhever viktigheten av å utvikle systemisk kompetanse og praksiser i omgang med datakilder og deres opprinnelse. Dette er spesielt viktig i forbindelse med kompetanse(utvikling) for nasjonale aktørene som har ansvar for kvalitetssikring av løsninger i sektoren for høyere utdanning (f.eks. Sikt).
I lys av rapportens viktige anbefalinger ser vi behovet for et veikart for fremtidens bruk av læringsanalyse i Norge. Per i dag er det utfordrende å samle digitale spor om studentenes studiearbeid på en pedagogisk begrunnet og meningsfylt måte, mens forskningen (Leitner et al., 2017) tyder på at dette kan være aktuelt i framtida. Hva slags muligheter kan åpne seg for undervisere i høyere utdanning ifm med bruk av læringsnalyse i framtiden?
GDPR rammeverk: https://gdpr-info.eu/art-13-gdpr/
Leitner, P., Khalil, M., Ebner, M. (2017). Learning Analytics in Higher Education—A Literature Review. In: Peña-Ayala, A. (eds) Learning Analytics: Fundaments, Applications, and Trends. Studies in Systems, Decision and Control, vol 94. Springer, Cham. https://doi.org/10.1007/978-3-319-52977-6_1
Lovdata: https://lovdata.no/artikkel/apen_og_rettferdig_kunstig_intelligens/4139
Mavroudi, A. (2023). Challenges and Recommendations on the Ethical Usage of Learning Analytics in Higher Education. In Viberg, O. & Grönlund, Å. (eds) Practicable Learning Analytics. Advances in Analytics for Learning and Teaching. Springer, Cham. https://doi.org/10.1007/978-3-031-27646-0_11
Rapport European Schoolnet: http://agile-edu.eun.org/documents/9709807/9862864/Updated+D2.1+Datafication+in+and+of+Education_090623.pdf/3a549d79-6d8e-4dc7-b556-f8745414ee39