El sesgo en el aprendizaje automático puede ser un problema incluso para las empresas con mucha experiencia en inteligencia artificial, como Amazon. De acuerdo con un informe de Reuters, el gigante del comercio electrónico desechó un proyecto interno que intentaba utilizar la inteligencia artificial para investigar las solicitudes de empleo después de que el software degradara constantemente a las candidatas.

Debido a que los sistemas de inteligencia artificial aprenden a tomar decisiones al observar datos históricos, a menudo perpetúan los sesgos existentes. En este caso, ese sesgo era el entorno de trabajo dominado por los hombres del mundo tecnológico. Según Reuters, el programa de Amazon penalizó a los solicitantes que asistían a colegios de mujeres, así como a cualquier currículum que contenga la palabra “mujeres” (como podría aparecer en la frase “club de ajedrez para mujeres”).

El equipo detrás del proyecto supuestamente tenía la intención de acelerar el proceso de contratación. “Literalmente querían que fuera un motor donde les voy a dar 100 hojas de vida, escupirán los cinco primeros y los contrataremos”, dijo a Reuters a una fuente anónima familiarizada con el trabajo. Cuando la empresa se dio cuenta de que el software no estaba produciendo resultados neutrales al género, se modificó para eliminar este sesgo. Sin embargo, los participantes no podían estar seguros de que otros sesgos no se habían introducido en el programa y, como resultado, se eliminaron por completo el año pasado.

El programa fue desarrollado a comienzos del año pasado

Amazon declaró que el programa solo se había utilizado en ensayos y nunca se usó de forma independiente ni se extendió a grupos más grandes. La fuente también señaló que el proyecto fue abandonado por varias razones diferentes, no solo por el problema del sesgo de género, que finalmente se solucionó. En una declaración, un portavoz de Amazon confirmó que el programa nunca se usó de manera oficial, y le dijo a The Verge: “Esto nunca fue utilizado por los reclutadores de Amazon para evaluar a los candidatos“.

En los últimos años, a medida que la inteligencia artificial se ha desplegado en más y más contextos, los investigadores han expresado cada vez más los peligros del sesgo. Los prejuicios sobre el género y la raza pueden introducirse fácilmente en una variedad de programas de inteligencia artificial, desde algoritmos de reconocimiento facial hasta los que utilizan los tribunales y los hospitales.

En la mayoría de los casos, estos programas simplemente perpetúan sesgos existentes. Con el escáner de CV de Amazon, por ejemplo, un reclutador humano podría tener los mismos prejuicios contra las candidatas en base subconsciente. Pero, al pasar estos sesgos a un programa de computadora, los hacemos menos visibles y menos abiertos a la corrección. Eso es porque tendemos a confiar en las decisiones de las máquinas y porque los programas de inteligencia artificial no pueden explicar su pensamiento.

A pesar de esto, muchas nuevas empresas que trabajan en herramientas de reclutamiento de AI venden explícitamente sus servicios como una forma de evitar el sesgo, porque, por ejemplo, las preferencias para ciertos candidatos pueden codificarse. Amazon aparentemente está pensando en este sentido también, según Reuters informa que está teniendo otra oportunidad de construir una herramienta de reclutamiento de IA, esta vez “con un enfoque en la diversidad”.

Te invitamos a revisar el artículo original en el sitio web de The Verge