Op 12 juni 2018 was GreenGenius aanwezig bij een keynote speech en paneldiscussie met Cathy O’Neil, auteur van wereldwijde bestseller ‘Weapons of Math Destruction’. De discussie ging over de gevaren van algoritmiek en big data.

 

Een tijdje terug lag het onderwijssysteem in de VS onder vuur, met name de kwaliteit van leraren. Daarom werd er een algoritme ontwikkeld waarmee bepaald kon worden of docenten zouden voldoen aan een bepaalde kwaliteitsstandaard. Het rekenmodel nam o.a. rapportcijfers van studenten als uitgangspunt. Deze harde cijfers zouden een betere beoordeling moeten geven over de leraren, in plaats van de mening van de desbetreffende schoolleiding. Veel leraren en leraressen verloren hierdoor hun baan, ongeacht hoe geliefd ze waren door studenten en collega’s.

Cathy O’Neil las over deze zaak en vroeg om inzage in het algoritme. Deze inzage werd haar geweigerd. O’Neil ontdekte diverse vergelijkbare gevallen waarbij mensen dankzij algoritmen hun baan waren verloren of zelfs niet eens in overweging werden genomen voor een sollicitatiegesprek. Dit inspireerde haar om haar boek te schrijven: Weapons of Math Destruction.

Artificial Intelligence & mensenrechten

Want wie controleert eigenlijk de Artificial Intelligence (AI) algoritmen die massaal gebruikt worden in onze maatschappij? Wat betekent de opkomst van AI voor de ‘oude’ algoritmen en big data toepassingen? Wordt het wel ethisch verantwoord gebruikt? Hoe staat het met de bescherming van rechten van het individu?

Wat O’Neil ondervond in haar onderzoek was dat ondanks het feit dat inzicht in algoritmen zo goed als onmogelijk is, mensen er wel blind op vertrouwen. Ze verschuilen zich erachter en hebben het vertrouwen dat AI in staat is om een eerlijk oordeel te vellen, ook wanneer het om mensen gaat. Op die manier hoeft een bedrijf of persoon geen verantwoordelijkheid te dragen voor de uitkomst en het resultaat.
De rechten van het individu worden niet beschermd door deze rekenmodellen, stelt O’Neil in haar boek. Grote organisaties die inzetten op winstoptimalisatie maken gebruik van algoritmen om te bepalen of ze individuen kansen bieden of niet. Hierdoor laten we computers beslissingen maken over mensenlevens.

Probleem in techniek, ethiek of politiek?

Er zouden politieke, technische en ethische standaards moeten komen voor het gebruik van algoritmen, volgens O’Neil. We moeten ieder aspect meenemen hierin, om te kunnen bepalen of een algoritme goed functioneert. Big data en AI geeft ons ontzettend veel mogelijkheden en kennis, maar het is van belang om dit op de juiste manier in te zetten. Met name als je te maken hebt met meerdere belangen.

“Er moet een toezichthouder voor algoritmen komen, zoals de FDA doet met nieuwe medicijnen. Deze toezichthouder moet goed begrijpen hoe een algoritme werkt en of het goed uitpakt voor burgers.”

O’Neil heeft door haar boek dit onderwerp op de agenda gezet bij verschillende instanties.

 

Hier kan je het boek 'Weapons of Math Destruction' bestellen

 

Bron Bron