Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 32

La discriminación algorítmica directa puede tener lugar cuando la pertenencia a un grupo desaventajado determina el resultado final del sistema, que perjudica automáticamente a todos los miembros del grupo protegido. Por ejemplo, el hecho de ser inmigrante hace que se rechace automáticamente la solicitud de préstamo de una persona.

Probar los casos en los que la pertenencia a un grupo desfavorecido conduce automáticamente a un resultado final negativo será relativamente fácil incluso si no se concede el pleno acceso al sistema, ya que el TJUE considera que los casos en los que el criterio aparentemente neutro en el que se basa la decisión es, de hecho, inseparable de la pertenencia al grupo desfavorecido, pueden considerarse casos de discriminación directa. Por ejemplo, en un país en el que la pensión de supervivencia sólo se concede a las personas viudas que estaban casadas con sus parejas, pero en el que el matrimonio entre personas del mismo sexo está prohibido, el criterio aparentemente neutral es inseparable de la orientación sexual39. Por lo tanto, si las decisiones adoptadas por el algoritmo repercuten negativamente en todos los miembros del grupo desfavorecido, puede considerarse directamente discriminatorio.

Los supuestos de discriminación algorítmica directa también pueden tener lugar cuando la pertenencia a un grupo desaventajado se pondera con otras variables, lo que reduce la puntuación de un individuo pero no determina totalmente el resultado final del sistema. Por ejemplo, el hecho de ser mujer hace que disminuyan las posibilidades de que se apruebe una solicitud de préstamo, pero este hecho se pondera con otras variables para determinar el resultado final.

También puede haber discriminación directa cuando se infiere que una persona pertenece a un grupo desfavorecido a partir de otros datos40. Para que estos casos entren en el ámbito de la discriminación directa, los datos de los que se infiere la pertenencia a un grupo especialmente protegido no pueden ser criterios aparentemente neutros, es decir, no deben ser relevantes para predecir el aspecto de la realidad social que el algoritmo se propone predecir. En estos casos, los algoritmos pueden aprender a buscar la categoría sospechosa y a inferirla a partir de otros datos, incluso cuando este dato no se introduce en el sistema.

El algoritmo de contratación sexista de Amazon constituye un claro ejemplo de este tipo de discriminación algorítmica directa41. El sistema se entrenó con los datos de las decisiones de contratación y los currículos enviados a la empresa durante los diez años anteriores para determinar las características relevantes que debían buscarse en los currículos de los futuros solicitantes.

Dado que la mano de obra de la industria tecnológica está compuesta principalmente por hombres, el algoritmo aprendió que el sexo era una característica importante a buscar en los currículos. Aunque el algoritmo no tenía acceso directo a los datos relacionados con el sexo de los solicitantes de empleo, era capaz de inferir dicha información a partir de otros elementos.

Así, si un currículum incluía un dato que indicaba que el candidato había sido “capitán del club de ajedrez femenino”, el algoritmo rebajaba automáticamente la puntuación del solicitante. En este caso, el algoritmo no discriminó a las mujeres porque se le ordenara hacerlo, sino porque el algoritmo había detectado que “ser mujer” era un dato que debía buscar ya que no ser mujer era una característica típica de las personas contratadas por la empresa durante los diez años anteriores.

Probar la discriminación algorítmica directa será mucho más difícil cuando el proceso de toma de decisiones automatizado no tenga efectos negativos para todos los miembros del grupo desaventajado y cuando la pertenencia al grupo se infiera a partir de datos no predictivos del fenómeno social que se trata de predecir. En estos casos, no será fácil demostrar la existencia de una acción constitutiva de discriminación directa a menos que se facilite el acceso completo al algoritmo.

Por ello, estos casos pueden acabar siendo tratados como casos de discriminación indirecta.