✉️ info@feminer.nl

Hack de Bias: de mythe van neutraliteit in data, technologie en ontwerp

Home > Magazine > De Diepte In > Hack de Bias: de mythe van neutraliteit in data, technologie en ontwerp
Data, tech en ontwerp lijken een stuk neutraler dan mensen. Helaas. Ook data, tech en ontwerp hebben gender biases. Het gevolg: discriminatie. Hoe werkt dit precies? En, waar komen gender biases in data, tech en ontwerp vandaan? Feminer zocht het uit.

Door Meike Wind

Meike doet de master Legal Research in Utrecht. Naast haar studie houdt ze van reizen, hardlopen en musea bezoeken. Ze leest graag en luistert veel naar podcasts, het liefst over de actualiteit, politiek of geschiedenis.

12 januari 2025

by | 12 januari 2025

Vraag een generatief AI-systeem een plaatje te genereren van een dokter. Grote kans dat deze dokter een man is. Dit voorbeeld staat niet op zichzelf. Het is eerder regel dan uitzondering dat vrouwen de dupe zijn van data, technologie en ontwerp.

De witte man als standaardmens

De witte man is altijd de standaardmens geweest in ontwerp. De wereld is ontworpen voor mannen en door mannen. Hierdoor is de wereld niet op vrouwen ingericht. De gevolgen van de gender bias in ontwerp variëren van oncomfortabel tot levensgevaarlijk. Misschien herken je het wel: je handen veranderen op kantoor in ijsklompjes, terwijl niet al je collega’s hier last van lijken te hebben. Dit ligt niet aan jou, maar aan de temperatuur in kantoorpanden, die is afgestemd op de mannelijke stofwisseling.

Vrouwen hebben ook dubbel zo vaak last van misselijkheid bij het gebruik van virtual reality-brillen als mannen. In vakgebieden, zoals de gezondheidszorg, neemt de prominentie van virtual reality toe. Wil jij bijvoorbeeld aan de slag met VR exposure therapy, dan is de kans kleiner dat je hiervan gebruik kunt maken dan bijvoorbeeld je buurman, vriend of broer.

Een levensgevaarlijk probleem dat je misschien wel kent, is dat vrouwen in het verkeer meer gevaar lopen dan mannen. Bij het testen van de veiligheid van auto’s bij ongelukken gebruiken producenten dummies die zijn ontworpen op basis van de gemiddelde man. Vrouwen lopen hierdoor 50% meer risico op ernstig letsel na een verkeersongeval. Bij frontale botsingen is dit zelfs 73%. Bovendien is de kans 17% groter dan vrouwen na een verkeersongeval overlijden. Als producenten wel vrouwelijke dummies gebruiken zijn dit vaak kleinere versie van mannelijke dummies die verder anatomisch niet op vrouwen lijken.

Bijna net zo schokkend als het gevaar, is het feit dat deze cijfers al sinds 1980 bekend zijn. Toch is er in 45 jaar weinig verbeterd. Onderzoekers vermoeden dat fabrikanten zonder dwingende overheidsregulering veiligheid onvoldoende prioriteit geven. De gender bias valt niet los te zien van de dominantie van mannen bij het ontwerpen van producten. Maar 19% van de industrieel ontwerpers is vrouw, en in leiderschapsposities is dat slechts 11%.

Een levensgevaarlijk probleem dat je misschien wel kent, is dat vrouwen in het verkeer meer gevaar lopen dan mannen. 

De mythe van neutrale technologie 

Genderongelijkheid is niet alleen zichtbaar in fysiek ontwerp, maar ook in technologisch ontwerp. Dr. Sian Brooke is universitair docent aan de UvA op het gebied van menselijke computer interactie en de relatie tussen gender en datawetenschappen. Zij licht toe: “Hier speelt een cultureel vooroordeel over de neutraliteit van technologie. Zodra iemand cijfers ergens aan toevoegt, ontstaat het idee dat er geen vooroordelen meer zijn, omdat cijfers objectief zijn. Daarom zien veel mensen technologie als neutraal.” 

Ook dr. Naomi Jacobs, universitair docent bio-ethiek aan de Universiteit Twente, herkent dit denkpatroon: “Nog steeds wordt technologie door veel mensen begrepen als niets meer dan tools, systemen, modellen of apparaten waarmee je iets kunt doen.” We vergelijken technologie dus met onszelf en denken: technologie is geen mens, heeft daardoor geen vooroordelen en kan niet discrimineren.

Het idee dat technologie neutraal is komt niet uit de lucht vallen, maar is bewust gecreëerd. Brooke: “Technologiebedrijven prijzen hun technologieën aan als objectief, met cijfers onderbouwd en empirisch bewezen. Hierdoor zou technologie alle problemen kunnen oplossen.”

Was het maar zo’n feest. Net als bij fysiek ontwerp zitten ook in het ontwerp van datagedreven technologie vooroordelen ingebakken. In een onderzoek naar 133 AI-systemen bleek 44% van de systemen een gender bias te hebben.

Technologie is inderdaad geen mens, maar technologie is wel gemaakt door mensen. Technologie weerspiegelt hierdoor vooroordelen en ongelijkheden uit de samenleving en discrimineert daarom wél. In het kader van AI spreekt men vaak van het garbage in, garbage out-principe: vooroordelen komen tijdens het ontwikkelproces in AI terecht en beïnvloeden daardoor het resultaat van AI.

Net als bij fysiek ontwerp zitten ook in het ontwerp van datagedreven technologie vooroordelen ingebakken.

Naomi Jacobs

Naomi Jacobs

Universitair Docent Bio-ethiek

In haar onderzoek naar ethics by design deed Jacobs eerder onderzoek naar female technologies en de kwetsbaarheid en rechtvaardigheid bij het ontwerpen van nieuwe medische technologieën.

Siân Brooke

Siân Brooke

Assistent Professor Digital Interactions Lab

Als academica en datawetenschapper is Brooke geïnteresseerd in de ethische interacties met technologie en AI. Ze deed onder andere onderzoek naar de ervaringen van vrouwen op technische platforms als Stack Overflow.

Gender bias in data en technologie

De garbage kan op twee manieren in AI terechtkomen. Ten eerste trainen ontwikkelaars de algoritmen met enorme hoeveelheden data. Het zijn mensen die deze data verzamelen. De datasets weerspiegelen de vooroordelen van deze mensen en daarmee de samenleving waarin zij leven. Deze imperfecties in de datasets werken door in het beoordelingsvermogen van de AI. De expertise van algoritmes is namelijk het trekken van algemene conclusies op basis van grote hoeveelheden informatie. Nuances gaan hierin vaak verloren.

In datasets zijn vrouwen, mensen van kleur en andere gemarginaliseerde groepen vaak ondervertegenwoordigd. Hierdoor reflecteren datasets ongelijkheden in de samenleving. Zo zullen datasets laten zien dat de meeste doktoren en wetenschappers mannen zijn. De AI kan hierdoor onterecht concluderen dat mannen beter zijn in opereren en onderzoeken, terwijl in werkelijkheid discriminatie de oorzaak is van de ongelijkheid.

De tweede manier waarop garbage in de output van AI terechtkomt is via de ontwikkelaars. Mannen domineren technische beroepen. In 2022 was in technische geroepen 19% vrouw. Ook in de AI-sector hebben mannen de overhand.

Bij het trainen van AI sluipen de vooroordelen van ontwikkelaars de technologie in. Brooke legt uit dat zij vaak ontwerpen met een gebruiker in gedachten die op henzelf lijkt: “Mannelijke ontwikkelaars missen vaak de gevaren die hun technologie meebrengt voor vrouwen. Zij ervaren seksisme niet persoonlijk in hun eigen leven, waardoor zij seksistisch misbruik van hun technologie niet herkennen of niet zien aankomen.”

Brooke laat zien dat we op een hellend vlak terecht zijn gekomen: “Ontwikkelaars coderen op deze manier traditionele, conservatieve en patriarchale gendernormen in technologie. Het begon al met de keuze om alle virtuele assistenten vrouwelijk te maken. Laatst nog ontwikkelde OpenAI een flirtende ChatGPT met een stem die verdacht veel leek op die van Scarlett Johansson.

Mannen ervaren seksisme niet persoonlijk in hun eigen leven, waardoor zij seksistisch misbruik van hun technologie niet herkennen of niet zien aankomen.

Discriminatie door data en technologie

Het resultaat van garbage in is garbage out: de vooroordelen die in de technologie terechtkomen, beïnvloeden het resultaat van de technologie. De garbage die uit technologie komt is discriminatie. Discriminatie door data en technologie vindt plaats over de hele breedte van de samenleving.

De gezondheidszorg

Zo ook in de gezondheidszorg. Vroeger zag de medische wetenschap vrouwen als kleine mannen. Zij hield geen rekening met fysieke verschillen tussen mannen en vrouwen, zoals vrouwelijke hormoonschommelingen. De geneeskunde negeerde een lange tijd sekse-specifieke symptomen van aandoeningen, waardoor vrouwen vaker geen diagnose kregen. Nog steeds bestaat 80% van de mensen met onverklaarbare medische klachten uit vrouwen.

Het gebruik van datagedreven technologie versterkt dit onbegrip van sekse-specifieke ziektebeelden. Vrouwen zijn ondervertegenwoordigd in de data waarmee wetenschappers AI trainen. Bovendien testen onderzoekers de data vaak niet op basis van verschillen in symptomen tussen mannen en vrouwen. Slechts 14% van de studies naar medische hulpmiddelen kijkt naar geslacht, en maar 4% richt zich specifiek op vrouwen. Het resultaat verrast je waarschijnlijk niet. Hierdoor krijgen vrouwen nog steeds vaker geen of een onjuiste diagnose dan mannen.

De arbeidsmarkt

Ook de arbeidsmarkt confronteert vrouwen met discriminerende algoritmes. Werkgevers gebruiken algoritmes bij het werven en selecteren van nieuwe werknemers. Uit onderzoek door het College voor de Rechten van de Mens bleek dat werkgevers zich nauwelijks bewust zijn van het risico op discriminatie en uitsluiting door deze algortimes. Het gevolg is dat vrouwen, en in het bijzonder vrouwen van kleur, lastiger aan een baan komen. Wanneer een discriminerend algoritme jou op basis van jouw CV, ten onrechte, een schattig meisje vindt en geen leider, belandt jouw CV niet eens op het bureau van een menselijke recruiter.

Het internet

Ook op internet zijn vrouwen slachtoffer van algoritmes die genderongelijkheid versterken. Een intern onderzoek van Meta liet in 2020 zien dat vooral jonge vrouwen terechtkomen in schadelijke ‘content-tunnels’. De onevenredige druk die de samenleving legt op vrouwen om er goed uit te zien is online extra aanwezig. 32% van de Amerikaanse vrouwelijke tieners geeft aan dat zij zich door Instagram slechter voelen over hun lichaam. Een kwart voelde zich zelfs ‘niet goed genoeg’.

Image based sexual abuse

Misschien wel de meest extreme versie van discriminerende AI, zijn programma’s die deepfake porno faciliteren. Deze techniek veroorzaakte publieke verontwaardiging toen sociale mediaplatformen, zoals X, vol stonden met deepfakes van Taylor Swift. Dit voorbeeld laat een zorgelijke trend zien. Bijna alle deepfake programma’s zijn alleen getraind op data van vrouwen en werken daardoor niet eens op mannen. 96% van de door AI gegenereerde beelden van naakte vrouwen is gemaakt zonder hun toestemming. Het resultaat is een nieuw soort zedenmisdrijf: image-based sexual abuse.

Een breder probleem

Datagedreven technologieën discrimineren niet alleen vrouwen, maar ook andere gemarginaliseerde groepen. De vooroordelen van technologie raken vrouwen die tot minderheidsgroepen behoren dus extra hard. Zo zijn zelfrijdende auto’s getraind met data van witte mensen, waardoor zij mensen met een donkere huidskleur vaker niet herkennen en dus vaker aanrijden.

Daarnaast gebruikte de overheid in het toeslagenschandaal discriminerende algoritmes om fraude op te sporen bij het aanvragen van kinderopvangtoeslag. Het welbekende gevolg was dat de overheid duizenden ouders onterecht beschuldigde van fraude. Zij moesten de toeslagen terugbetalen, kwamen in de schulden terecht en verloren hun huis, baan of zelfs hun kinderen.

Technologie en de mens achter de technologie bestaan niet los van elkaar, maar zijn juist onlosmakelijk met elkaar verbonden. Jacobs benadrukt dat technologie vol zit met waardeoordelen: “Technologie weerspiegelt hoe de ontwerpers geloven dat de wereld eruit moet zien en voor wie die wereld bedoeld is.”

Brooke legt uit dat we daarom technologie niet kunnen zien als oplossing voor discriminatie: “We moeten technologie zorgvuldig ontwikkelen en niet zo snel mogelijk, maar zo goed mogelijk werken.”

Technologie en de mens achter de technologie bestaan niet los van elkaar, maar zijn juist onlosmakelijk met elkaar verbonden. 

Een somber toekomstbeeld?

Discriminatie door datagedreven technologie is een hardnekkig probleem. Veel mensen geloven dat AI neutraler beslist dan mensen. Door deze mythe van neutraliteit is er weinig aandacht voor de gender bias van AI. Hierdoor zal AI in de toekomst een steeds grotere rol gaan spelen in de samenleving. Wanneer de rol van AI toeneemt, zal ook de in AI ingebakken genderongelijkheid een grotere rol gaan spelen en zal discriminatie door AI toenemen.

Wat deze problemen verergert, is dat de manier waarop zelflerende algoritmes werken onvoorspelbaar en ondoorzichtig is. Discriminatie is hierdoor lastig te ontdekken en aan te tonen. Wanneer een seksistisch AI-model jou uitsluit van een sollicitatieprocedure is het haast onmogelijk te bewijzen dat dit komt door seksisme en niet door andere factoren. Het is al helemaal lastig om iemand verantwoordelijk houden voor discriminatie door AI. Want wie draagt de schuld: de recruiter die het discriminerende model gebruikt, de ontwikkelaar die het model heeft gemaakt, of het model dat ‘zichzelf’ seksisme heeft aangeleerd?

Wanneer de rol van AI toeneemt, zal ook de in AI ingebakken genderongelijkheid een grotere rol gaan spelen en zal discriminatie door AI toenemen.

Aan de grauwe horizon zijn ook lichtpuntjes te vinden, zoals datafeminisme en female technologies. Datafeministen combineren datawetenschap met feministische theorie. Jacobs legt uit dat zij pleiten voor inclusievere en sensitievere technologie: “Bij het maken van ontwerpkeuzes moet niet alleen gedacht worden aan praktische of esthetische gevolgen, maar ook aan ethische gevolgen.”

Female technologies zijn technologieën die de gezondheid van vrouwen proberen te verbeteren. Voorbeelden zijn apps gericht op de reproductieve gezondheid van vrouwen. Femtech biedt vrouwen inzicht in hun eigen lichaam en zet vrouwelijke gezondheidszorg op de agenda.

Aan de grauwe horizon zijn ook lichtpuntjes te vinden, zoals datafeminisme en female technologies.

Maar daarmee is het probleem van de gender bias in data, technologie en ontwerp nog niet opgelost. Daarom zoekt Feminer van 13 tot en met 30 januari uit: Waarin zie je de uitsluiting van vrouwen in data, technologie en ontwerp terug? En hoe ga je daarmee om? Daarnaast onderzoeken we hoe jij zelf kunt bijdragen aan inclusievere data, technologie en ontwerp. Ben je benieuwd? Volg dan de komende weken onze campagne: hack the bias!

  • Meike Wind

    Meike doet de master Legal Research in Utrecht. Naast haar studie houdt ze van reizen, hardlopen en musea bezoeken. Ze leest graag en luistert veel naar podcasts, het liefst over de actualiteit, politiek of geschiedenis.

    Bekijk Berichten

by | 12 januari 2025

Meer zoals dit

Zoek artikelen

Vers van de pers

We houden je graag op de hoogte, dus volg ons vooral op de socials!