Amazon prescinde de una inteligencia artificial de reclutamiento por discriminar a las mujeres

Un grupo de personas, en su mayoría hombres, hace cola para el 'Día del Trabajo en Amazon', en Fall River (Massachusetts, EE UU), en agosto de 2017. BRIAN SNYDER REUTERS

Los expertos de Amazon empezaron a construir en 2014 un sistema de inteligencia artificial para revisar el currículum de los postulantes de empleo. El objetivo era mecanizar la búsqueda de los mejores talentos. Esta herramienta, basándose en los archivos de los últimos 10 años de la compañía, aprendió que los hombres eran preferibles y empezó a discriminar a las mujeres, tal y como han informado fuentes de Amazon a Reuters. Tras conocer el error, la compañía ha decidido prescindir de este sistema.

La herramienta puntuaba a los candidatos de una a cinco estrellas, al igual que los clientes pueden calificar cualquier producto en la página web de la compañía. “Era como el Santo Grial, todo el mundo lo quería", ha explicado a la misma agencia uno de los empleados a Amazon. "Querían que fuera un sistema en el que introducías 100 currículums y seleccionara a los cinco mejores para contratarlos”, ha afirmado.

Pero en 2015 la compañía se dio cuenta de que esta herramienta discriminaba a las mujeres candidatas a los empleos de desarrollador de software y otros puestos técnicos en la compañía. En su lugar, prefería contratar a hombres. “Esto es lo que ocurre cuando entrenas a un sistema con unos datos que piensas que no están sesgados pero que realmente lo están”, explica Nerea Luis Mingueza, estudiante de doctorado en Inteligencia Artificial y fundadora de T3chfest, un evento tecnológico en la Univerisidad Carlos III de Madrid.

El sistema de Amazon penalizó a las postulantes cuyos currículums incluían la palabra “mujeres”. Por ejemplo, a una chica que explicaba que había sido “capitana de un club de ajedrez de mujeres”. También discriminó a graduadas de dos universidades para chicas, según Reuters.

La inteligencia artificial había sido entrenada con los perfiles de los solicitantes de empleo de los últimos 10 años. La mayoría de postulantes en esa década, y por tanto de personas contratadas, eran hombres. “Si ves que el sistema siempre está clasificando hombres como mejores, tienes que preguntarte el por qué. No tienes que pensar que lo está haciendo bien”, afirma Luis.

Cuando la compañía se dio cuenta del error, editó los programas para que dejaran de discriminar a las mujeres. Pero, según las fuentes consultadas por Reuters, eso no era una garantía de que el sistema no volvería a fallar o a ser injusto a la hora de clasificar a los candidatos. Por ello, los ejecutivos perdieron la esperanza en el proyecto y la compañía de Seattle acabó por abandonar el proyecto.

Una trabajadora de Amazon, durante una pasada protesta laboral. 

Los reclutadores de Amazon tuvieron en cuenta las recomendaciones del sistema para contratar a nuevos trabajadores pero nunca confiaron únicamente en esas clasificaciones, según las mismas fuentes. Sin embargo, Amazon ha explicado que la herramienta “nunca fue utilizada por los reclutadores de la compañía para evaluar a los candidatos”. La compañía no ha entrado a valorar si los responsables de recursos humanos tuvieron en cuenta de alguna manera las recomendaciones generadas por el sistema.

La automatización en almacenes y en el comercio electrónico ha sido clave para Amazon a la hora de afianzar su dominio en el mercado. Cada vez más empresas intentan automatizar partes del proceso de contratación. Es el caso de grandes compañías como Hilton Worldwide Holdings Inc y Goldman Sachs Group Inc. Cerca del 55% de los gerentes de recursos humanos de Estados Unidos consideran que la inteligencia artificial será usada de forma habitual en su trabajo en los próximos cinco años, según una encuesta realizada en 2017 por la firma de software de talentos CareerBuilder.

Las expertas consultadas coinciden en que la inteligencia artificial puede ser útil para los reclutadores como apoyo para aplicar un primer filtro. “Trabaja muy bien con datos y realiza una tarea que a los humanos nos cansa mucho”, sostiene Luis. Además, estos sistemas pueden evitar los sesgos de un humano, según subraya Ana de Prado, ingeniera y manager de equipo de inteligencia artificial de Terminus 7. Para evitar el error, De Prado considera que el algoritmo no debería haber tenido en cuenta la variable sexo de la persona: “Ya hay sistemas de reclutamiento en los que no es necesario incluir fotografías, la edad o incluso el nombre de los postulantes”.

Muchos especialistas llevan años denunciando que la inteligencia artificial no solo no evita el error humano derivado de sus prejuicios, sino que puede empeorar la discriminación y refuerza muchos estereotipos. También ha habido casos en los que un sistema ha discriminado a personas por razones de raza o incluso de orientación sexual. “Por ejemplo con los sistemas de computer vision [visión artificial] ha habido problemas para detectar a la gente negra porque han sido entrenados con gente blanca”, afirma Luis. Para ella, además de un análisis exhaustivo de casos como el de Amazon, es primordial la formación en diversidad y la inclusión de mujeres en los equipos que diseñan los sistemas.