Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 33

La discriminación indirecta tiene lugar cuando una disposición, práctica o criterio aparentemente neutros sitúan a una persona en una posición de desventaja respecto de otras por razón de una de las categorías sospechosas.

En los supuestos de discriminación algorítmica indirecta, será el propio algoritmo el que constituya la disposición, práctica o criterio aparentemente neutro puesto que resultará enormemente difícil identificar cuáles son las variables específicas utilizadas por el sistema que ofrecen un resultado discriminatorio42. Por tanto, bastará con demostrar que las personas pertenecientes al grupo desaventajado sometidas al proceso automatizado de toma de decisiones obtienen un resultado más perjudicial que las no pertenecientes a dicho grupo que se encuentran en una situación comparable.

Ahora bien, el problema con dar por hecho que la mayoría de los casos de discriminación algorítmica se tendrán que tratar como supuestos de discriminación indirecta es que esta forma de discriminación permite un mayor margen de justificación43. Así, los casos de discriminación directa únicamente pueden ser justificados en supuestos tasados, por ejemplo, cuando por razón de la ocupación, la persona escogida debe cumplir con unos requisitos entre los que se tienen en cuenta necesariamente las categorías sospechosas44, por ejemplo, en el caso de actores y actrices.

Sin embargo, la discriminación indirecta puede justificarse si persigue una finalidad legítima y siempre que supere el triple juicio de proporcionalidad: idoneidad, necesidad y proporcionalidad en sentido estricto y, en algunas ocasiones, es suficiente con superar el juicio de idoneidad o adecuación y el juicio de necesidad.45

Así, una vez la parte demandante acredita la existencia de un trato más perjudicial debido a una de las categorías sospechosas, la carga de la prueba se invierte, pasando la parte demandada a deber probar si el uso del sistema algorítmico discriminatorio persigue una finalidad legítima46. En general, de conformidad con los criterios interpretativos del TJUE, se considera legítima cualquier finalidad lícita que no exprese en sí un ánimo de discriminar o no trate de ocultarlo de manera evidente47.

Con respecto al triple juicio de proporcionalidad, la primera parte, el juicio de idoneidad, requerirá responder a la pregunta: ¿es el algoritmo adecuado/idóneo para predecir el fenómeno del que se ocupa? Por lo tanto, la adecuación debe medirse en función de la precisión predictiva del sistema48.

En cuanto a la segunda parte, la prueba de necesidad requerirá que la parte demandada demuestre que no había un algoritmo menos discriminatorio o una base de datos más completa y menos sesgada que pudiera haberse utilizado ofreciendo resultados igualmente precisos49.

Por último, con respecto a la prueba de proporcionalidad stricto sensu, será especialmente difícil determinar si, en los casos que podrían entrar en la categoría de “discriminación precisa”, la igualdad debe prevalecer sobre la libertad y la eficacia como derechos y/o intereses de la parte demandada. Es decir, por ejemplo, en el caso de un sistema que selecciona a las mejores candidatas para puestos de trabajo en una empresa cuya precisión es del 95% pero en relación con el cual se demuestra que sus resultados tienden a perjudicar a las mujeres en mayor medida que a los hombres.

En este contexto resulta necesario resaltar el riesgo de que el sesgo tecnológico, esa tendencia a considerar que los algoritmos ofrecen en realidad resultados objetivos, pueda influir en este juicio de proporcionalidad.