Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 23

Los sistemas algorítmicos se alimentan de enormes cantidades de información almacenadas en bases de datos. Estas bases de datos en no pocas ocasiones se encuentran sesgadas de manera que infra- o sobrerrepresentan a determinados grupos poblacionales5.

Por ejemplo, un algoritmo utilizado en la selección de personal de una empresa tecnológica puede ser alimentado con los datos sobre currículums presentados a la empresa en un periodo determinado de tiempo y con la información sobre las decisiones que tomó el departamento de recursos humanos con respecto a esos currículums. Si nos hallamos en un sector profesional en el que hay menos mujeres que hombres, la base de datos contendrá menos currículums de mujeres. Además, el sistema aprenderá que las personas que han sido contratadas han sido sobre todo hombres.

A esto debemos añadir el riesgo de que las decisiones tomadas por las personas que ocupan el departamento de recursos humanos de la empresa hayan discriminado de manera directa o indirecta contra las mujeres de forma que la proporción de mujeres seleccionadas sobre los currículums presentados por mujeres puede que sea incluso inferior a la proporción de hombres seleccionados sobre el número total de currículums presentados6.

Una situación como la descrita tuvo lugar cuando Amazon trató de desarrollar un algoritmo para la selección de personal. Aunque el algoritmo no tenía acceso a información explícita sobre el sexo de las personas candidatas, el sistema era capaz de inferir dicha información de otros datos. Por ejemplo, si en un currículum se indicaba que la persona candidata había sido capitana del club de ajedrez, el sistema la eliminaba de manera automática7.

En ese caso nunca quedó claro si el algoritmo discriminaba de manera sistemática contra las mujeres como consecuencia de la menor muestra de currículums de mujeres por su menor presencia en sectores tecnológicos o si el sesgo en realidad procedía de los prejuicios de las personas que se habían encargado hasta ese momento de tomar las decisiones relativas a la contratación de personal.

Resulta relevante destacar, en este punto, que una de las razones por las que es relativamente sencillo que los sistemas algorítmicos contribuyan a perpetuar la desigualdad y reproduzcan determinados prejuicios o estereotipos negativos de grupos históricamente desaventajados es que estos sistemas no establecen relaciones de causalidad, sino que se basan en correlaciones8. Por ejemplo, en este caso, el algoritmo empleado por Amazon no analizaba si, por ejemplo, ser capitana del club de ajedrez y, por tanto, mujer, era la causa de que una persona no fuese buena trabajadora, sino que basaba sus resultados en las características típicas detectadas en las personas que contratadas por Amazon.