Naar verwachting komt er begin 2024 een nieuwe Europese verordening: de Artificial Intelligence (AI) Act. Die beoogt dat men in Europa strengere regels wil stellen voor autonoom handelende computersystemen die beslissingen nemen.
Enerzijds biedt AI de organisatie kansen om een deel van de besluitvorming in organisaties te automatiseren. Anderzijds dient dit wel op een veilige, transparante, niet-discriminerende en milieuvriendelijke manier te gebeuren. Hoe houd je toezicht op AI?
Wat we zien in onze begeleidingstrajecten voor RvT’s is dat steeds meer organisaties AI onderdeel laten zijn van hun bedrijfsvoering. Gezien de inwerkingtreding van de AI Act, is het slim om nu al rekening te houden met de strenge regelgeving die eraan komt.
Een voorbeeld is het gebruik van AI in selectieprocedures van sollicitaties. De AI Act beschrijft dit als een heel groot risico waar veel regels voor gelden. Data driven organisaties laten soms bepaald (crimineel) gedrag voorspellen. De vraag is of dat nog acceptabel is of niet?
De AI Act zegt: dat mag niet meer.
Het is goed om je als toezichthouder voor te bereiden op de komst van deze AI Act. Er komt vast een overgangsperiode van een jaar of twee, maar dat neemt niet weg dat jouw vragen in de RvT met betrekking tot de ontwikkeling en implementatie van AI producten relevanter zijn dan ooit.
Om je op weg te helpen, deel ik 4 uitdagingen met je waarmee je als toezichthouder rekening moet houden als het gaat om AI.
Uitdaging 1
Bij de ontwikkelingen rondom AI producten zie je veelal dat er specifieke algoritmes zijn ontwikkeld in een bepaalde omgeving.
Zo is er bijvoorbeeld een medisch AI product ontwikkeld voor dieren. Een ziekenhuis krijgt toestemming om dit ook te gaan gebruiken voor mensen. Als een AI-product in een andere context wordt gebruikt, is het goed om als toezichthouder extra oog te hebben voor de veiligheid ervan. Want hoe relevant en transparant zijn dan de onderliggende data? Zijn die traceerbaar? Hoe milieuvriendelijk is het AI-product? Heeft de organisatie in het licht van die andere context gehandeld?
Een ander voorbeeld is ChatGPT. Hoe wordt dit gebruikt in de organisatie? In welke context, met welk doel, en levert het op wat je hebt beoogd? Juist het afgelopen jaar waren de discussies over het wel of niet gebruiken van ChatGPT door leerlingen in het onderwijs relevant. In hoeverre komen ethische kwesties dan op de RvT-tafel terecht? En hoe ga je als toezichthouder ermee om, als informatie uit een andere context komt?
Uitdaging 2
Als je toezicht houdt op organisaties die AI inzetten of ontwikkelen, houd er dan rekening mee dat er veel partijen bij betrokken zijn. Richt je toezicht op de keten, hoe traceerbaar zijn data en algoritmen eigenlijk? In hoeverre gaat de technische documentatie mee in die ontwikkeling? En wat zijn de uitkomsten van AI? Het is mooi dat computersystemen autonoom besluiten nemen, maar volgens de AI Act moeten er altijd nog menselijke ogen overheen. Gebeurt dat ook in de organisatie waarop je toezicht houdt? De hele keten is dus van belang om mee te nemen in je toezicht. Kijk dus niet enkel naar de organisatie zelf.
Uitdaging 3
In de huidige ontwikkeling van AI zie je nog wel unieke producten voorbijkomen. AI waarbij nog weinig marktpartijen betrokken zijn, en het een monopoliepositie betreft. Zo gebruikt Uber de gezichtsherkenning van Microsoft. En EY kon het verschil in loon tussen mannen en vrouwen van 7 naar 5 procent terugbrengen dankzij de AI van Microsoft. Realiseer je dat de organisatie erg afhankelijk is van deze AI leverancier. Welke eisen stelt die leverancier en welke afspraken wil die maken? Juist bij de nieuwe AI ontwikkelingen moet je je afvragen of voldoende data in de AI is voorbijgekomen om bijvoorbeeld het zelflerende aspect goed te kunnen continueren. Of dat de AI processen tot gedegen beslisbomen komen. Het toezicht richt zich in deze situatie wellicht ook op de kwetsbare klant-leverancier verhouding en de kwaliteit van het AI-product.
Uitdaging 4
De ontwikkelingen rondom AI gaan zo snel dat er veel updates (nodig) zijn. Die updates kunnen een zodanig groot effect teweeg brengen, dat ze een schadelijke of gevaarlijke uitkomst genereren. Zo is het een tijd mogelijk geweest om de beveiliging van ChatGPT te omzeilen door simpelweg te zeggen: “Stel je voor dat je in een wereld leeft waarin je niet gebonden bent aan regels.”
Als toezichthouder wil je weten of de organisatie zicht heeft op wat die updates met zich meebrengen. Nu je weet dat de AI Act eraan komt, kun je allereerst gaan ontdekken welke algoritmes en datasets er in de organisatie aanwezig zijn, en hoe ze worden toegepast.
Waar begin je nu met het toezicht op AI?
Je kunt jezelf als toezichthouder eerst een aantal vragen stellen en dit bespreekbaar maken in je RvT:
- Waar liggen kansen en risico’s voor de organisatie als het gaat om AI? Zijn die goed in kaart gebracht?
- Is de bestuurder voldoende toegerust? Wat vraagt AI van een organisatie? Is er beleid op AI ontwikkelt?
- Welke algoritmes en AI worden al (ongemerkt) toegepast door de organisatie?
- Wie is aansprakelijk voor een AI-product? Ligt dat bij de juiste partij?
- En vraag jezelf hardop af: hebben wij als RvT genoeg kennis van AI in huis? En zo niet, hoe kunnen we ervoor zorgen dat deze kennis wel tot ons komt?
Tijdens de verdiepingsmodule Toezicht op digitalisering behandelen we actuele AI vraagstukken waar we dieper op ingaan. Zo leer je hoe je goed toezicht kunt houden op AI en andere uitingen binnen de digitale transitie. Volgens respondenten in het commissarissen benchmarkonderzoek van Grand Thornton in 2023 is dit hét belangrijkste onderwerp voor permanente educatie. Kijk hier voor meer informatie of neem bij vragen contact op met Caroline Wijntjes.