A l’hora de seleccionar personal, tant les entitats del sector públic com les empreses privades recorren, cada cop més, a sistemes d’intel·ligència artificial que empren uns algoritmes que, en qüestió de segons, analitzen els currículum dels candidats i n’identifiquen aquells que millor compleixen els requisits per a una determinada feina.
Avantatges i riscos d’automatitzar els processos de selecció
Els sistemes d’intel·ligència artificial tenen dos avantatges fonamentals. D’entrada, un avantatge ètic: estandarditza i objectiva els criteris. Més enllà d’això, també comporten un estalvi de temps per a les persones que cerquen feina (filtra el nombre d’ofertes que reben) i, d’altra banda, per a les àrees de recursos humans (redueix dràsticament el temps que han de dedicar a analitzar els perfils dels candidats i, per tant, els recursos econòmics que hi destinen).
Ara bé, l’ús d’aquesta mena d’algoritmes pot esdevenir discriminatori, fonamentalment per dues raons. O bé perquè qui els programa ho faci amb la intenció d’excloure persones amb determinats trets sociodemogràfics, per exemple, gènere, edat, origen, creences. O bé perquè, encara que no hi hagi cap intenció discriminatòria, l’algoritme es programa per seleccionar una sèrie de característiques que gairebé sempre van associades a persones amb determinats trets sociodemogràfics. Per exemple, si l’algoritme selecciona persones que tenen disponibilitat per viatjar, o aquelles que han treballat de manera ininterrompuda, és molt probable que exclogui la majoria de dones que tenen fills petits, malgrat que, d’entrada, l’organització no tingui cap intenció de discriminar les dones.
En el cas del gènere, les conseqüències són especialment greus, sobretot si tenim en compte que en els processos de selecció de personal ja solen incidir altres formes de discriminació. Per exemple, és habitual que en l’avaluació d’un currículum les dones hagin de realitzar molts més mèrits que els homes per obtenir la mateixa puntuació[1] o que, durant les entrevistes, els avaluadors tendeixin a percebre els homes com a més competents que les dones.
En definitiva, els algoritmes reprodueixen biaixos i pràctiques discriminatòries arrelats en les societats i dels quals bona part de la població no som conscients. Davant d’això, l’objectiu del present article és doble:
- Alertar dels risc que l’automatització dels processos de selecció de personal pugui donar lloc a pràctiques discriminatòries en el pla del gènere que atemptin contra el marc de la Declaració Universal dels Drets Humans.
- Suggerir estratègies per evitar aquests riscos.
Alguns casos il·lustratius
Segons Christine Balagué, investigadora a Télécom École de Management i vicepresidenta del Conseil national du numérique, la majoria d’usuaris d’aquesta mena d’algoritmes desconeixen quin tractament es fa de les dades. Això fa impossible d’analitzar-los i criticar-los.
Tanmateix, en els darrers anys han transcendit els criteris amb què alguns algoritmes de selecció de personal havien estat programats. N’expliquem breument alguns de significatius.
L’any 2015, Amazon va posar en marxa un sistema de reclutament per analitzar les candidatures de les seves ofertes de treball. El sistema descartava les candidatures de dones perquè havia estat entrenat a partir de les dades de l’organigrama dels empleats d’Amazon on el vuitanta-cinc per cent del personal eren homes. Quan aquesta informació va sortir a la llum, Amazon va optar per abandonar aquest instrument.
El 2015, va transcendir que la plataforma publicitària automatitzada de Google, AdSense, proposava a les dones ofertes de treball menys remunerades malgrat tenir la mateixa qualificació que els homes.
Un darrer exemple: el 2018, uns investigadors es van fixar en el fet que una plataforma de reclutament com la d’Amazon sistemàticament excloïa moltes dones, tot i que no estava pas programada per prioritzar homes. Es va veure que la raó era que les dones concernides esmentaven menys mots clau en les seves candidatures que no pas els homes.
Què vol dir no discriminar per gènere?
És una simplificació enorme considerar que un algoritme discrimina per raó de gènere només quan està programat per prioritzar un gènere sobre l’altre. De fet, les mesures anti-biaix que actualment s’apliquen no solen garantir la no-discriminació perquè esborrar els marcadors de gènere de les dades és molt complex: no n’hi ha prou amb no posar el nom a un CV, o amb treure els pronoms d’un text.
La raó de fons d’aquesta impossibilitat rau en algunes de les troballes que, al llarg dels darrers cent anys, han fet primer el feminisme i, després, l’anomenada teoria de gènere. Ens referim, especialment, a la diferència entre sexe i gènere. Segons aquests teòrics, el sexe és una realitat biològica, natural, que està determinada pels genitals i pels cromosomes. En canvi, el gènere és una realitat cultural, construïda, que inclou tot aquell seguit d’actituds, comportaments, gestos i desitjos que, en cada context geogràfic i històric, es consideren apropiats i normatius per a cadascun dels sexes.
Per a aquests teòrics, les persones amb atributs biològics femenins aprenen a ser un grup social invisibilitzat, dominat, objectificat i violentat: el “segon sexe” com assenyalava Simone de Beauvoir al seu llibre de 1949. En aquest sentit, el fet que el grup subaltern dugui a terme les tasques reproductives i les productives de menor reconeixement social, amb una aparença de normalitat i, fins i tot, de voluntarietat només és factible mitjançant el constant i elevat grau de constrenyiment i de violència (física i simbòlica) per part del grup dominant (persones amb atributs biològics masculins).
La perspectiva feminista-constructivista ens ensenya a desnaturalitzar aquestes assumpcions, bo i posant-les en qüestió. La realitat, assenyalen, és que la majoria de persones, malgrat la creixent llibertat del món occidental per viure més enllà dels marcs normatius, continua comportant-se segons allò esperable per al sexe amb què van néixer.
Els científics socials solen referir-se a aquest fenomen com «l’efecte de la profecia auto-acomplerta» o l’«efecte Pigmalió», i consisteix en què les persones aprenem i ens ajustem als rols i a les expectatives socials dels termes –etiquetatges socials– amb què se’ns designa: categories de tipus socioeconòmic (ric, pobre, classe mitjana, sensesostre…), mèdic (malalt, foll, bipolar, cancerós,…), educatiu (fracàs escolar, superdotat, inatent, hiperactiu…)[2], etc.
Més enllà del gènere: la interseccionalitat
Els algoritmes poden incorporar biaixos que tenen a veure tant amb la dimensió estrictament natural o biològica –seleccionar expressament un sexe o un altre– com amb la dimensió cultural o construïda, fruit de la socialització de l’ésser humà.
En aquest punt, resulta il·luminadora la teoria de la interseccionalitat que va forjar Kimberlé Crenshaw: quan una persona té diferents trets sociodemogràfics que, per separat, són raó de discriminació (per exemple, ser dona, ser afroamericana, ser pobra), les diferents formes de discriminació interactuen entre elles, amplificant-se. Ho va exemplificar amb la metàfora de la cruïlla, que va fer fortuna en les ciències socials: “una persona, en una cruïlla de carreteres, pot ser atropellada per varis camions a la vegada” (Crenshaw, 1989).
Així doncs, haurem de tenir en compte que els múltiples factors de discriminació, i per tant també els biaixos dels algoritmes –edat, gènere, ètnia, nivell formatiu, discapacitat, religió, opcions sexo-afectives no heterosexuals– es poden superposar, interseccionar, donant lloc a injustícies majors.
Segons aquesta teoria, una dona afrodescendent tindria moltes més probabilitats de patir una doble discriminació causada per la racialització i el sexisme implícit dels algoritmes, en comparació amb un home caucàsic. La raó: l’algoritme prioritza els currículums vitae que inclouen una sèrie d’experiències i d’actituds que aquesta dona, que sovint no ha tingut més remei que cenyir-se als marcs normatius imperants per a la seva condició, no té.
Què s’hi pot fer?
L’única manera de lluitar contra el caràcter discriminatori dels algoritmes és fer-los més transparents. Només si aquests criteris són transparents poden ser veritablement estudiats i auditats. En aquesta línia, des d’octubre del 2016, a França, la Llei de la República digital proposada per Axelle Lemaire imposa la transparència de tots els algoritmes públics, i les empreses s’hi estan sumant, a poc a poc, a aquesta Llei.
Ara bé, no es tracta tan sols de poder realitzar una auditoria dels algoritmes ja dissenyats, sinó d’assegurar-se que, des de la seva concepció, compleixen una sèrie de requisits ètics.
En aquest punt és important recordar que l’ètica varia en funció del context geogràfic i històric: els principis morals prevalents en cada moment històric i cada lloc varien. Per això, les mesures antibiaix dissenyades en un determinat context poden no funcionar en d’altres. En posem un exemple: Sánchez-Monedero, Dencik i Edwards (2020) van analitzar tres software destinats a la selecció de personal que es fan servir arreu del món. Dos d’ells es van dissenyar als Estats Units (HireVue i Pymetrics) i l’altre al Regne Unit (Applied). Aquests programes van ser dissenyats, benintencionadament, per tal que garantissin que es complís la proporció de “la regla dels 4/5” obligatòria als Estats Units: cal garantir que cap grup legalment protegit (gènere, edat, creences) sigui discriminat.
Aquests programes reflecteixen la legislació i els valors del context on van ser dissenyats, però si s’apliquen en un altre context la garantia que hi hagi una determinada proporció de cada col·lectiu pot no tenir cap sentit.
Decàleg per a una estratègia no-discriminadora
A continuació, enumerem i descrivim breument algunes estratègies que, al nostre entendre, sí que poden contribuir a reduir el biaix de gènere dels algoritmes de selecció de personal:
- Complir, en els processos de contractació, amb la legislació vigent en matèria laboral, d’igualtat, de transparència i de protecció de dades i drets digitals.
- Constituir equips de treball el més diversos i heterogenis possible en les seves característiques, i paritaris pel que fa al gènere.
- Garantir que l’equip que dissenya els algoritmes inclou persones que presenten trets sociodemogràfics diversos.
- Incorporar en aquest equip els serveis d’experts en gènere.
- Formar els responsables de recursos humans en matèria de gènere.
- Fer públics els criteris amb què estan programats els algoritmes en un llenguatge comprensible per a persones que no siguin del sector tecnològic.
- Monitoritzar els algoritmes en la seva implantació pràctica en un context concret amb una tasca particular.
- Supervisar periòdicament tot el cicle de vida de l’algoritme i fer-ho amb persones (no màquines): revisar el disseny i els outputs, tant les «recomanacions» («match», predicció) com dels «descarts». Aquí es reclama una apertura de la informació a l’estudi acadèmic i a l’auditoria tècnica-legal.
- Formalitzar estàndards industrials i agències independents d’auditoria.
- Implantar mecanismes d’informació i reclamació sobre els processos de selecció basats totalment o parcial en algoritmes.
Nota: Aquest article constitueix una versió reduïda i divulgativa de l’informe “Ètica algorítmica i perspectiva de gènere: de l’opacitat a la transparència”, elaborat per la Càtedra Ethos de la Universitat Ramon Llull i finançat per una subvenció del concurs competitiu «3a Convocatòria de subvencions per a la recerca en l’àmbit de la transparència, l’accés a la informació pública i el bon govern 2021» de l’Agència de transparència de l’Àrea Metropolitana de Barcelona (AMB), en la sublínia: Contractació de personal i transparència. L’informe, elaborat per Francesc Torralba, Núria Tria, Guillem Martí i Mar Rosàs, va ser publicat a la revista acadèmica Ars Brevis (2021, Núm. 27, p. 211-82) i també a la revista Lux Barcelona. Revista de Transparència Metropolitana (2022).
Referències
De Beauvoir, Simone. (1981). El segundo sexo (1949). Buenos Aires: Siglo XX.
Butler, J. (2007). El género en disputa: el feminismo y la subversión de la identidad. Paidós.
Crenshaw, Kimberlé. (1989) Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics. University of Chicago Legal Forum. Vol. 1989: Iss. 1, Article 8.
“Libro Blanco. Situación de las Mujeres en la Ciencia Española”. Ministerio de Educación. Unidad de Mujeres y Ciencia. 2010.
Sánchez-Monedero, J., Dencik, L., & Edwards, L. (2020). What does it mean to «solve» the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems. In: Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 458-468).
[1] En alguns casos, fins a 2,5 vegades els mèrits dels homes (Libro Blanco 2010, 14).
[2] Fem notar el sentit socialment pejoratiu que tenen molts dels qualificatius, que en cap cas subscrivim.
Foto de ThisisEngineering RAEng
