Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 18

Una vez expuesto qué se entiende por buena administración y qué papel está llamada a desarrollar la inteligencia artificial y –en particular, los algoritmos– en la misma, resulta oportuno centrar la cuestión en cómo puede verse afecta la igualdad de género con ese nuevo instrumento en manos de las Administraciones –al igual que a nivel privado–, así como las medidas que se pueden implementar al respecto.

Los riesgos que se han venido apuntando desde diversas perspectivas por lo que se refiere al mundo digital en general, así como en cuanto a la utilización de la inteligencia artificial en particular, son muchos y variados, también sus beneficios47. No en vano, aquí se anuda su utilización a la idea de eficacia y eficiencia y, por ende, a la buena administración, lo que no debe perderse de vista.

Entre los riesgos, cabe solo mencionar desde los planteamientos éticos respecto al denominado posthumanismo y el humano potenciado48, hasta la triple brecha digital, destacando la tercera en cuanto a la participación en la vida social y política –cuando estamos en la era del gobierno abierto–49, pasando por el sesgo de género de los algoritmos, que es en puridad de lo que aquí se trata.

A este respecto, aunque podría pensarse que los algoritmos no conocen de sesgos de género, ni hacen diferencias, resulta que no siempre es así, como algunos ejemplos reales han puesto de manifiesto50. Valga mencionar, un estudio de la Universidad de Boston51, en el que se evidenció que técnicas de aprendizaje automático para entrenar a una inteligencia artificial utilizando Google news resolvió la analogía “hombre es a programador de ordenadores, lo que mujer es a X” con la respuesta x igual a ama de casa.

Otro ejemplo de este problema se puso de relieve en el estudio “Semantics derived automatically from language corpora necessarily contain human biases”52, en el que se observó en un algoritmo entrenado con texto tomado de internet, que este asociaba nombres femeninos como Sarah con palabras atribuidas a la familia, tales como padres y boda. En cambio, nombres masculinos como John tenían asociaciones más fuertes con palabras atribuidas al trabajo, como profesional y salario.

Valga recordar también el algoritmo utilizado por Amazon para la selección de personal, que tuvo que ser descartado porque mostraba un fuerte sesgo de género, penalizando los currículums que contenían la palabra mujer.

Otra investigación mostró que en Bing se recuperan fotos de mujeres más a menudo al utilizar en las búsquedas palabras con rasgos cálidos, como, por ejemplo, sensible o emocional. Por el contrario, palabras con rasgos de competencia, tales como inteligente o racional, están más representadas por fotos de hombres. Es más, al buscar la palabra persona se recuperan más a menudo fotos de hombres que de mujeres53.

El trabajo “Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations”54 observó que el algoritmo asociaba imágenes de compras y cocinas con mujeres. Así, deducía que “si está en la cocina, es mujer” la mayor parte de las veces. En cambio, asociaba imágenes de entrenamiento físico con hombres.

Además de los datos de texto y las imágenes, las entradas e interacciones que realizan los usuarios también refuerzan y nutren el aprendizaje de sesgos de los algoritmos, como demostró el trabajo “It’s a Man’s Wikipedia? Assessing Gender Inequality in an Online Encyclopedia”55, dado que en el mismo se observaba que los temas relacionados con la familia y las relaciones románticas se discuten mucho más frecuentemente en los artículos de Wikipedia sobre las mujeres que sobre los hombres. Además, la biografía de mujeres tiende a estar más vinculada (mediante enlaces) a la de los hombres que viceversa.

Un ejemplo más lo encontramos en el tema del sesgo algorítmico en lenguas con género, tal y como revela el estudio “Examining Gender Bias in Languages with Grammatical Gender”56, pues en esta investigación se han encontrado sesgos de género al traducir del inglés a idiomas con género gramatical como el nuestro. Por ejemplo, un estudio mostró que al traducir la palabra lawyer del inglés al español había una asociación automática más fuerte con la palabra abogado que abogada. Por el contrario, la palabra nurse estaba más relacionada con la palabra enfermera que enfermero. En principio tendría que haber asociado ambas traducciones con idéntica probabilidad. Además, y a pesar de las numerosas críticas de los últimos años, los sesgos que se producen al traducir desde una lengua sin género gramatical, como el inglés, a una con género gramatical, como el español, se siguen dando hoy en día en algunos traductores automáticos.

En el ámbito del sector público existen también ejemplos57, así cabe recordar los casos Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)58 y PREDPOL, en el ámbito de la predicción de delitos, donde se comprobó que los algoritmos discriminaban desde la perspectiva racial59. También cabe mencionar el caso BOSCO, respecto al bono social eléctrico en España, Aadhaar para ayudas sociales en La India, AMS en cuanto al sistema público austríaco, para detectar probabilidades de encontrar empleo60, System Risk Indication (SyRI) en Holanda en cuanto a detección de fraude de cotizaciones e impuestos61, etc.62

El riesgo de que los algoritmos puedan discriminar es menos aceptable cuando de la Administración pública se trata, lo que lleva a dos cuestiones conexas, de un lado, a la necesidad de control de algún modo del empleo de algoritmos que discriminan en el ámbito privado, como poder público al que la Constitución Española le encomienda velar por la igualdad real y efectiva y remover los obstáculos que la impiden, y de otro lado, con mayor intensidad incluso, cuidar en extremo el empleo de estos instrumentos en la toma de decisiones administrativas, lo que no quiere ello decir que se prohíba su utilización, pero sí que se ponga especial cuidado. Recordemos los casos mencionados, aunque no se trate en todos ellos de una discriminación desde la perspectiva de género, así como todas las dudas y el debate en torno a la transparencia del algoritmo versus motivación y la tutela judicial y administrativa efectiva, una cuestión muy relevante a que me referiré brevemente en líneas venideras.

A la importancia de un uso adecuado de los algoritmos y la necesidad de introducir cautelas al respecto, parece responder también el proyecto de Reglamento de la Unión Europea de regulación de los algoritmos, con la graduación que hace de los mismos y sus riesgos63. En particular, en esta propuesta de regulación a nivel europeo se fijan supuestos de inteligencia artificial –aunque recuérdese que no es absolutamente coincidente con los algoritmos64–, cuyo empleo está prohibido, otras sometidas a previa autorización65, algunas cuentan con previsiones concretas66, las hay de alto riesgo que requieren verificación previa de un tercero67 y otras respecto de las cuales es suficiente una especie de declaración previa, compromiso de cumplimiento de los requisitos o compliance68.

En definitiva, cabe concluir a este respecto que es de suma urgencia regular la utilización de algoritmos por las Administraciones y que es necesario introducir cautelas que eviten posibles sesgos de género, así como otro tipo de discriminaciones. En esta línea la Comisión Europea ha defendido un enfoque antropocéntrico en la Comunicación Generar confianza en la inteligencia artificial centrada en el ser humano (COM 2019 640) y en el Libro Blanco sobre la inteligencia artificial: un enfoque europeo orientado a la excelencia y la confianza69, donde juega un papel crucial la ética70. Y es que si la idea nueva gobernanza pública persigue como uno de sus objetivos principales recobrar la confianza de los ciudadanos en las instituciones, difícilmente se logrará si se generan desigualdades, pues, como ya se ha tenido ocasión de exponer en otros trabajos, la desconfianza proviene en gran medida de la sensación de desigualdad71. Por ello, es preciso evitar que el empleo de la inteligencia artificial ahonde en unas diferencias ya intolerables que solo vulneran y hieren una auténtica idea de ciudadanía72.

Otros documentos toman en cuenta esa necesidad de proteger frente a la posible discriminación algorítmica y apuntan a algunas posibles soluciones, destacando especialmente el posible control preventivo. Así, algunos países han comenzado también a adoptar medidas legales en sus ordenamientos. Así, por ejemplo, en el Reino Unido se ha aprobado la Guide to the General Data Protección Regulation (GDPR)73, que parte de la Guide to Data Protection74, en Estados Unidos cuentan con la Algorithmic Accountability Act75, en Francia cabe destacar la regulación, en general, de la cuestión digital en la Loi núm 2016-1321 du 7 octobre 2016 pour une République numérique76, así como el trabajo realizado por Etalab77, incluyendo la elaboración de la Guide d’ouverture des codes sources publics: guide pratique78; o los avances que en la materia se han producido en Canadá con la guía de cómo utilizar algoritmos de forma ética, Holanda con su herramienta para que los algoritmos estén disponibles de forma abierta, o Nueva Zelanda con la carta de algoritmos para que los ciudadanos comprendan cómo el gobierno utiliza los datos personales.

También cabe citar la Toronto Declaration: Protecting the right to equality and non-discrimination in machine learning system de 201879, que aboga por la igualdad y no discriminación en los sistemas basados en aprendizaje automático y que apunta a una suerte de Autoridad Pública de Algoritmos; o los Principles for Accountable Algorithms and a Social Impact Statement for Algorithms80 de la FAT81, entre otros.

Desde otra perspectiva cabe mencionar también la propuesta de la red de expertos europea en igualdad y no discriminación de género, que propone el sistema que denomina PROTECT82, acrónimo que equivale a prevent, redress, open, train, explain, control y test, lo que implica siete acciones clave para abordar la discriminación algorítmica; o el documento Artificial Intelligence for Europe de 2019 del Comité Económico y Social Europeo y las Directrices éticas para una inteligencia artificial digna de confianza de 2019, en las que se insiste en la necesidad de que el empleo de la IA no discrimine, sino al contrario que estas herramientas se utilicen para mitigar los sesgos y discriminaciones ya existentes83.

En fin, de la experiencia comparada puede concluirse, en primer lugar, la evidente preocupación por la utilización adecuada de la inteligencia artificial y, en particular, de los algoritmos, en la toma de decisiones públicas, lo que ha llevado a varios países a tomar medidas al respecto, así como la necesidad de regular esa utilización, lo que ha hecho que la Unión Europea haya adoptado diversos documentos e iniciado una regulación que pueda servir de punto de partida84; en segundo lugar, que resulta imprescindible a este respecto la formación de los empleados públicos en esa utilización ética de los algoritmos, así como de la sociedad en general; en tercer lugar, la importancia de evitar la discriminación con instrumentos previos, por ejemplo, análisis, evaluaciones, auditorias85, certificaciones, etc.86, tampoco debe descartarse la utilización de otras medidas, como la prohibición de ciertos usos de algoritmos o la autorización previa, en línea con lo que la Unión Europea propone en el proyecto de Reglamento de regulación de la inteligencia artificial, al que ya me he referido; en cuarto lugar, el papel crucial de la transparencia en el empleo de los algoritmos, donde, como ha puesto de manifiesto Francia, no es suficiente con poder conocerlo, sino también comprender su funcionamiento87, pues es imprescindible desde la perspectiva de la rendición de cuentas88 e, incluso, a mi juicio, desde la necesidad de motivación que impone nuestro ordenamiento jurídico que, como mínimo debe dar satisfacción al derecho a la explicación89.

Esta última cuestión merece una mención expresa, pues es evidente su conexión con el derecho a una buena administración y a la tutela administrativa efectiva misma, pues sin conocer la motivación de la decisión administrativa es difícil saber si es o no discriminatoria, si ha sido adoptada del modo adecuado, si cumple con la normativa que aplica, y, por supuesto, todo ello lleva a la imposibilidad de combatirla adecuadamente y, por ende, también afecta a la tutela juridicial efectiva.

Muy brevemente, como ya se ha mencionado, todo lo dicho pone de relieve la trascendencia del tema de la transparencia y el acceso al código fuente, aunque no siempre con ello se despejen las dudas sobre la posibilidad de que la decisión en cuestión adolezca de algún tipo de sesgo, pues estos también pueden provenir, como ya se ha apuntado, de los datos90. De hecho, hay regulaciones como la alemana que ha prohibido la utilización de algoritmos en las decisiones que impliquen discrecionalidad; mientras que, en Francia, como ya se ha dicho, la regla general es la de apertura de los códigos fuente, que implica no es solo publicarlo sino también explicarlo.

En fin, una de las cuestiones más dudosas o uno de los riesgos del empleo de algoritmos en el ámbito de la Administración pública es el de la transparencia, motivación y acceso al código fuente, no en vano es necesario conocer al menos el razonamiento subyacente a la decisión para entender que se cumple el deber de motivación de las decisiones y no generar indefensión. Aunque de la normativa actual no se deduzca con claridad que ello implique necesariamente el acceso al código fuente, como parece entender el Consejo de Transparencia y Buen Gobierno91. También cabe a este respecto destacar lo previsto por la Carta de Derechos Digitales, recientemente aprobada, que en su art. XVIII, en cuanto a los derechos de la ciudadanía en relación con la inteligencia artificial en el marco de la actuación administrativa aborda la cuestión en el apartado 6, en el que habla expresamente de la motivación comprensible, asimismo respecto al acceso al código fuente prevé la posibilidad de que la cuestión sea regulada por la ley.

Es evidente que esta cuestión no es sencilla y que sería aconsejable acometer su regulación de forma clara y directa92, como en Francia, sin olvidar otras normas con incidencia en el tema, así cabe ahora solo mencionar, para concluir, el art. 22 del Reglamento Europeo de Protección de Datos9394, o la propia Ley de Contratos del Sector Público, dado que uno de los aspectos a tomar en consideración es la propiedad intelectual cuando el código fuente ha sido elaborado por un tercero95, lo que lleva también a la idea de que quizás sea necesario formar a los empleados públicos, no solo en la aplicación sino también en el diseño de los algoritmos y potenciar que los mismos sean creados por la propia Administración96.