A la hora de seleccionar personal, tanto las entidades del sector público como las empresas privadas recurren, cada vez más, a sistemas de inteligencia artificial que emplean algoritmos que, en cuestión de segundos, analizan los currículums de los candidatos e identifican aquéllos que mejor cumplen los requisitos para un determinado trabajo.
Ventajas y riesgos de automatizar los procesos de selección
Los sistemas de inteligencia artificial tienen dos ventajas fundamentales. De entrada, una ventaja ética: estandariza y objetiva los criterios. Más allá de eso, también conllevan un ahorro de tiempo para las personas que buscan trabajo (filtra el número de ofertas que reciben) y para las áreas de recursos humanos reduce drásticamente el tiempo que han dedicar a analizar los perfiles de los candidatos y, por tanto, los recursos económicos que le destinan.
Ahora bien, el uso de este tipo de algoritmos puede convertirse en discriminatorio, fundamentalmente por dos razones. O bien porque quienes los programan lo hagan con la intención de excluir a personas con determinados rasgos sociodemográficos, por ejemplo, género, edad, origen, creencias. O porque, aunque no haya ninguna intención discriminatoria, el algoritmo se programa para seleccionar una serie de características que casi siempre van asociadas a personas con determinados rasgos sociodemográficos. Por ejemplo, si el algoritmo selecciona a personas que tienen disponibilidad para viajar, o aquellas que han trabajado de forma ininterrumpida, es muy probable que excluya a la mayoría de mujeres que tienen hijos pequeños, aunque, de entrada, la organización no tenga ninguna intención de discriminar a las mujeres.
En el caso del género, las consecuencias son especialmente graves, sobre todo teniendo en cuenta que en los procesos de selección de personal ya suelen incidir otras formas de discriminación. Por ejemplo, es habitual que en la evaluación de un currículum las mujeres tengan que realizar muchos más méritos que los hombres para obtener la misma puntuación o que, durante las entrevistas, los evaluadores tiendan a percibir a los hombres como más competentes que las mujeres.
En definitiva, los algoritmos reproducen sesgos y prácticas discriminatorias arraigados en las sociedades y de los que buena parte de la población no somos conscientes de ello. Ante esto, el objetivo del presente artículo es doble:
- Alertar del riesgo de que la automatización de los procesos de selección de personal pueda dar lugar a prácticas discriminatorias en el plano del género que atenten contra el marco de la Declaración Universal de los Derechos Humanos.
- Sugerir estrategias para evitar estos riesgos.
Algunos casos ilustrativos
Según Christine Balagué, investigadora en Telecom École de Management y vicepresidenta del Conseil national du numérique, la mayoría de usuarios de este tipo de algoritmos desconocen qué tratamiento se hace de los datos. Esto hace imposible analizarlos y criticarlos.
Sin embargo, en los últimos años han trascendido los criterios con los que algunos algoritmos de selección de personal habían sido programados. Expliquemos brevemente algunos significativos.
En 2015, Amazon puso en marcha un sistema de reclutamiento para analizar las candidaturas de sus ofertas de trabajo. El sistema descartaba las candidaturas de mujeres porque había sido entrenado a partir de los datos del organigrama de los empleados de Amazon, donde el ochenta y cinco por ciento del personal eran hombres. Cuando esta información salió a la luz, Amazon optó por abandonar este instrumento.
En 2015, trascendió que la plataforma publicitaria automatizada de Google, AdSense, proponía a las mujeres ofertas de trabajo menos remuneradas a pesar de tener la misma calificación que los varones.
Un último ejemplo: en 2018, unos investigadores se fijaron en que una plataforma de reclutamiento como la de Amazon sistemáticamente excluía a muchas mujeres, aunque no estaba programada para priorizar a hombres. Se vio que la razón era que las mujeres concernidas mencionaban menos palabras clave en sus candidaturas que los hombres.
¿Qué significa no discriminar por género?
Es una enorme simplificación considerar que un algoritmo discrimina por razón de género sólo cuando está programado para priorizar un género sobre el otro. De hecho, las medidas antisesgo que actualmente se aplican no suelen garantizar la no discriminación porque borrar los marcadores de género de los datos es muy complejo: no basta con no poner el nombre a un CV, o con quitar los pronombres de un texto.
La razón de fondo de esta imposibilidad radica en algunos de los hallazgos que, a lo largo de los últimos cien años, han hecho primero el feminismo y, después, la llamada teoría de género. Nos referimos especialmente a la diferencia entre sexo y género. Según estos teóricos, el sexo es una realidad biológica, natural, que está determinada por los genitales y los cromosomas. En cambio, el género es una realidad cultural, construida, que abarca toda aquella serie de actitudes, comportamientos, gestos y deseos que, en cada contexto geográfico e histórico, se consideran apropiados y normativos para cada uno de los sexos.
Para estos teóricos, las personas con atributos biológicos femeninos aprenden a ser un grupo social invisibilizado, dominado, cosificado y violentado: el “segundo sexo” como señalaba Simone de Beauvoir en su libro de 1949. En este sentido, el hecho de que el grupo subalterno lleve a cabo las tareas reproductivas y las productivas de menor reconocimiento social, con una apariencia de normalidad e incluso de voluntariedad sólo es factible mediante el constante y elevado grado de apremio y de violencia (física y simbólica) por parte del grupo dominante (personas con atributos biológicos masculinos).
La perspectiva feminista-constructivista nos enseña a desnaturalizar estas asunciones, poniéndolas en cuestión. La realidad, señalan, es que la mayoría de personas, a pesar de la creciente libertad del mundo occidental para vivir más allá de los marcos normativos, sigue comportándose según lo esperable para el sexo con el que nacieron.
Los científicos sociales suelen referirse a este fenómeno como «el efecto de la profecía autocumplida» o el «efecto Pigmalión», y consiste en que las personas aprendemos y nos ajustamos a los roles y expectativas sociales de los términos –etiquetados sociales– con las que se nos designa: categorías de tipo socioeconómico (rico, pobre, clase media, sintecho…), médico (enfermo, loco, bipolar, canceroso…), educativo (fracaso escolar, superdotado, inatente, hiperactivo…) etc.
Más allá del género: la interseccionalidad
Los algoritmos pueden incorporar sesgos relacionados tanto con la dimensión estrictamente natural o biológica –seleccionar expresamente un sexo u otro– como con la dimensión cultural o construida, fruto de la socialización del ser humano.
En este punto resulta iluminadora la teoría de la interseccionalidad que forjó Kimberlé Crenshaw: cuando una persona tiene diferentes rasgos sociodemográficos que, por separado, son razón de discriminación (por ejemplo, ser mujer, ser afroamericana, ser pobre), las diferentes formas de discriminación interactúan entre ellas, amplificándose. Lo ejemplificó con la metáfora del cruce, que hizo fortuna en las ciencias sociales: “una persona, en un cruce de carreteras, puede ser atropellada por varios camiones a la vez” (Crenshaw, 1989).
Así pues, deberemos tener en cuenta que los múltiples factores de discriminación, y por tanto también los sesgos de los algoritmos –edad, género, etnia, nivel formativo, discapacidad, religión, opciones sexo-afectivas no heterosexuales– se pueden superponer, interseccionar, dando lugar a injusticias mayores.
Según esta teoría, una mujer afrodescendiente tendría muchas más probabilidades de sufrir una doble discriminación causada por la racialización y el sexismo implícito de los algoritmos, en comparación con un hombre caucásico. La razón: el algoritmo prioriza los currículums vitae que incluyen una serie de experiencias y actitudes que esta mujer, que a menudo no ha tenido más remedio que ceñirse a los marcos normativos imperantes para su condición, no tiene.
¿Qué se puede hacer?
La única forma de luchar contra el carácter discriminatorio de los algoritmos es hacerlos más transparentes. Sólo si estos criterios son transparentes, pueden ser verdaderamente estudiados y auditados. En esta línea, desde octubre de 2016, en Francia, la Ley de la República digital propuesta por Axelle Lemaire impone la transparencia de todos los algoritmos públicos, y las empresas se están sumando poco a poco a esta ley.
Ahora bien, no se trata sólo de poder realizar una auditoría de los algoritmos ya diseñados, sino de asegurarse de que, desde su concepción, cumplen con una serie de requisitos éticos.
En este punto es importante recordar que la ética varía en función del contexto geográfico e histórico: los principios morales prevalentes en cada momento histórico y en cada lugar varían. Por eso, las medidas antisesgo diseñadas en un determinado contexto pueden no funcionar en otros. Ponemos un ejemplo: Sánchez-Monedero, Dencik y Edwards (2020) analizaron tres softwares destinados a la selección de personal que se utilizan en todo el mundo. Dos de ellos se diseñaron en Estados Unidos (HireVue y Pymetrics) y el otro en Reino Unido (Applied). Estos programas fueron diseñados, bienintencionadamente, para que garantizaran que se cumpliera la proporción de “la regla de los 4/5” obligatoria en Estados Unidos: es necesario garantizar que ningún grupo legalmente protegido (género, edad, creencias) sea discriminado.
Estos programas reflejan la legislación y los valores del contexto en el que fueron diseñados, pero si se aplican en otro contexto la garantía de que exista una determinada proporción de cada colectivo puede no tener ningún sentido.
Decálogo para una estrategia no discriminadora
A continuación, enumeramos y describimos brevemente algunas estrategias que, a nuestro entender, sí pueden contribuir a reducir el sesgo de género de los algoritmos de selección de personal:
- Cumplir, en los procesos de contratación, con la legislación vigente en materia laboral, igualdad, transparencia y protección de datos y derechos digitales.
- Constituir equipos de trabajo lo más diversos y heterogéneos posible en sus características, y paritarios en lo que se refiere al género.
- Garantizar que el equipo que diseña los algoritmos incluye a personas que presentan rasgos sociodemográficos diversos.
- Incorporar en este equipo los servicios de expertos en género.
- Formar a los responsables de recursos humanos en materia de género.
- Hacer públicos los criterios con los que están programados los algoritmos en un lenguaje comprensible para personas que no sean del sector tecnológico.
- Monitorizar los algoritmos en su implantación práctica en un contexto concreto con una tarea particular.
- Supervisar periódicamente todo el ciclo de vida del algoritmo y hacerlo con personas (no máquinas): revisar el diseño y los outputs, tanto las “recomendaciones” (“match”, predicción) como de los “descartes”. Aquí se reclama una apertura de la información en el estudio académico y en la auditoría técnico-legal.
- Formalizar estándares industriales y agencias independientes de auditoría.
- Implantar mecanismos de información y reclamación sobre los procesos de selección basados total o parcialmente en algoritmos.
Nota: Este artículo constituye una versión reducida y divulgativa del informe “Ética algorítmica y perspectiva de género: de la opacidad a la transparencia”, elaborado por la Cátedra Ethos de la Universidad Ramon Llull y financiado por una subvención del concurso competitivo « 3ª Convocatoria de subvenciones para la investigación en el ámbito de la transparencia, el acceso a la información pública y el buen gobierno 2021» de la Agencia de transparencia del Área Metropolitana de Barcelona (AMB), en la sublínea: Contratación de personal y transparencia. El informe, elaborado por Francesc Torralba, Núria Tria, Guillem Martí y Mar Rosàs, fue publicado en la revista académica Ars Brevis (2021, Núm. 27, p. 211-82) y también en la revista Lux Barcelona. Revista de Transparencia Metropolitana (2022).
Referencias
De Beauvoir, Simone. (1981). El segundo sexo (1949). Buenos Aires: Siglo XX.
Butler, J. (2007). El género en disputa: el feminismo y la subversión de la identidad. Paidós.
Crenshaw, Kimberlé. (1989) Demarginalizing the Intersection of Race and Sex: A Black Feminist Critique of Antidiscrimination Doctrine, Feminist Theory and Antiracist Politics. University of Chicago Legal Forum. Vol. 1989: Iss. 1, Artículo 8.
“Libro Blanco. Situación de las Mujeres en la Ciencia Española”. Ministerio de Educación. Unidad de Mujeres y Ciencia. 2010.
Sánchez-Monedero, J., Dencik, L., & Edwards, L. (2020). What does it mean to «solve» the problem of discrimination in hiring? Social, technical and legal perspectives from the UK on automated hiring systems. In: Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 458-468).
Foto de ThisisEngineering RAEng
