Dit weekend meldde de NOS dat drie advocaten een waarschuwing hebben gekregen omdat zij AI (zoals ChatGPT) gebruikten in juridische argumentatie, met verwijzingen naar uitspraken die niet bleken te bestaan of over iets anders gingen.
(Het artikel: https://lnkd.in/eGAMGxmw)

Twee van hen zijn verplicht op AI-cursus gestuurd door de toezichthouder.
Wat hier zichtbaar wordt, is geen puur technologieprobleem dat je met een training oplost.
AI-uitkomsten worden al snel als gezaghebbend gezien. Een klassiek voorbeeld van automatiseringsbias, versterkt door AI: “De computer zal het wel beter weten.”

Met als gevolg:
● Uitkomsten die niet altijd kritisch worden geverifieerd
● Fouten die ongemerkt blijven

We zagen dit recent ook bij algoritmische besluitvorming (die overigens niet uitsluitend aan AI was toe te schrijven). Blind vertrouwen zonder effectieve controles leidt tot onjuiste uitkomsten.
De professionele verantwoordelijkheid blijft bij mensen liggen, terwijl het gebruik van deze systemen hoe dan ook toeneemt.

Training is daarbij uiteraard belangrijk.
Sterker nog: onder de EU AI Act moeten organisaties die AI gebruiken zorgen voor voldoende AI-geletterdheid.

Maar training alleen is niet genoeg.
Verantwoord AI-gebruik vraagt om duidelijke kaders, verificatieprocessen en toezicht. Het is óók een governance- en controleprobleem.
Deze zaken werden opgemerkt door rechters in Arnhem, Rotterdam en Groningen.
Maar AI wordt inmiddels veel breder toegepast: juridisch, bestuurlijk, financieel en operationeel.

Hoeveel van dit soort AI-gegenereerde fouten worden wél opgemerkt? En hoeveel niet?

Organisaties die AI structureel inzetten, hebben kaders nodig die risicogestuurd, toetsbaar en bestuurlijk verankerd zijn.