Meer kennis over AI in onderwijs nodig, reëel risico op discriminatie

15 mei 2024

Veel onderwijsinstellingen zetten digitale middelen in waarbij algoritmes keuzes maken, zoals leersystemen die oefeningen automatisch aanpassen op het gedrag van de leerling. De inzet van deze middelen kent voordelen, maar ook risico’s op discriminatie en kansenongelijkheid. Dit blijkt uit een verkennend onderzoek van het College voor de Rechten van de Mens dat op 13 mei 2024 verscheen.

 

Het onderzoek
De onderzoeksinstituten KBA Nijmegen en ResearchNed hebben in opdracht van het College onderzoek gedaan naar hoe algoritmes in het onderwijs in Nederland worden ingezet. Uit de MYRA-monitor 2023 blijkt dat ongeveer 30 procent van de middelbare scholen adaptieve leersystemen gebruikt, waarbij het systeem oefeningen, bijvoorbeeld bij taal en rekenen, automatisch aanpast op basis van het gedrag van de leerling.

 

Kansen en risico's

Het onderzoek laat zien dat digitale systemen op grote schaal worden toegepast in het (funderend) onderwijs in Nederland. Ze worden bijvoorbeeld ingezet door extra ondersteuning te bieden voor leerlingen die dat nodig hebben. Analyse van data kan docenten inzicht geven in het leerproces om zo aanpassingen te kunnen doen die goed aansluiten bij de behoefte van elke leerling.

Helaas spelen vooroordelen over groepen leerlingen ook een rol in het onderwijs. Zo krijgen leerlingen met een migratieachtergrond en leerlingen uit gezinnen waar de ouders praktisch opgeleid zijn of een laag inkomen hebben, vaker dan andere leerlingen een initieel schooladvies dat lager ligt dan het toetsadvies. Als digitale systemen niet goed getest worden, kunnen zij de vooroordelen van mensen versterken door deze te systematiseren en te verspreiden. Dit kan leiden tot discriminatie en kansenongelijkheid. Het kan ook zijn dat een systeem moeite heeft om het niveau van een leerling goed in te schatten. Of een systeem geeft een leerling het label “zwak” en houdt dat label aan, ook al is de leerling inmiddels beter gaan leren.

Advies aan scholen: voor gebruik, waarden afwegen en het systeem testen

Voordat onderwijsinstellingen digitale systemen gaan gebruiken, moeten zij een waardenafweging maken of en wanneer technologie een bijdrage levert aan goed onderwijs. Scholen hebben veel vrijheid in het kiezen van leermiddelen, maar zij kunnen en moeten ook (gezamenlijk) eisen stellen aan softwareleveranciers op het gebied van gelijke behandeling, privacy, autonomie en transparantie.

Oproep aan OCW: ondersteun scholen met een landelijke aanpak

De invloed van grote technologiebedrijven is groot en de informatie over de werking van algoritmen is beperkt. Het is belangrijk dat leveranciers transparant zijn hierover. Daarom roept het College voor de Rechten van de Mens het ministerie van OCW op om:

  1. onderzoek te doen naar de effecten van digitale systemen en te investeren bewustwording en kennisdeling over de risico's aan schoolbesturen, leraren, ouders en leerlingen.
     
  2. net als het ministerie op het gebied van privacy en informatiebeveiliging heeft gedaan, met kennisinstituten, sectororganisaties, en onderwijsinstellingen, een normenkader ontwikkelen dat duidelijkheid schept waar een systeem in ieder geval aan moet voldoen om discriminatie te voorkomen.
     
  3. kadersop te (laten) stellen voor leveranciers voor het ontwikkelen en testen op verschillende groepen leerlingen van digitale middelen.
     
  4. scholen te stimuleren elkaar te helpen door zich te verenigen in SIVON en samen deskundigheid op te bouwen en criteria te stellen aan softwareleveranciers.
     

Wat doet de VO-raad?

Vanuit de VO-raad en PO-Raad werken we aan meer bewustwording en professionalisering van schoolbesturen rondom digitalisering, waaronder digitale leermiddelen, in het onderwijs. Denk hierbij aan:

  • De Themacommissie digitalisering komt deze zomer met een advies over AI in het onderwijs. Hierin trekken we samen op met Kennisnet. Dit advies staat op de agenda van de ALV van 30 mei. Na de ALV publiceren we een artikel over het advies van de themacommissie.
     
  • We ontwikkelen leertrajecten, masterclasses en (digitale) workshops rondom het thema digitalisering met specifieke aandacht voor AI, ethiek en digitale veiligheid.
     

Aan de slag