Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 20

Angwin, J. - Larson, J. - Mattu, S. - Kirchner, L., “Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”, 23 de mayo de 2016, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

Ballina Díaz, J., “La formalización de las relaciones entre las instituciones europeas y los grupos de interés: encuentros y desencuentros”, en Andrés Saénz De Santa María, P. (coord.), Una contribución a la europeización de la ciencia jurídica: Estudios sobre la Unión Europea, Thomson Reuters-Civitas, Navarra, 2019.

Ballina Díaz, J., “La información sobre los grupos de interés comunitarios: un campo prometedor para el big data”, en Huergo Lora, A. (Dir.) y Díaz González, G.M. (coord.), La regulación de los algoritmos, Thomson Reuters Aranzadi, Navarra, 2020.

Barnes, J., “Buena administración, principio democrático y procedimiento administrativo”, Revista Digital de Derecho Administrativo, 21, 2019.

Barocas, S. - Selbst et Andrew, D. “Big data’s disparate impact”, California Law Review, June 2016 Vol. 104, 3.

Baz Lomba, C., “Los algoritmos en la toma de decisiones administrativas”, CEF-Legal, 243, abril 2021.

Boix Palop, A., “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, núm. 1, 2020.

Bolukbasi, T. - Chang, K. W. - Zou, J. Y. - Saligrama, V. - Kalai, A. T., “Man is to computer programmer as woman is to homemaker? debiasing word embeddings”, in Advances in neural information processing systems, 2016, https://papers.nips.cc/paper/2016/file/a486cd07e4ac3d270571622f4f316ec5-Paper.pdf.

Boto Álvarez, A., “Experimentación regulatoria: la introducción de proyectos pilotos de excepción en el sector eléctrico español”, en Anglés Hernández, M. - Palomino Guerrero, M. (coords.), Justicia energética y sector eléctrico iberoaméricano, Instituto de Investigaciones Jurídicas de la UNAM, México.

Bousta, R., Essai sur la notion de bonne administration en Droit public, L’Harmattan, Paris, 2010.

Caliskan, A. - Bryson, J. J. - Narayanan, A., “Semantics derived automatically from language corpora necessarily contain human biases”, Science 14 Apr 2017, Vol. 356, Issue 6334, pp. 183-186, DOI:10.1126/science.aal4230.

Castillo, C., “Algorithmic Discrimination”, in Conferencia en BCN Analytics Data and Ethics event, abril 2018 (https://youtu.be/VIl8YWWD81U?t=18m42s).

Cerrillo i Martínez, A., “Robots, asistentes virtuales y automatización de las administraciones públicas”, Revista Gallega de Administración Pública, 61, 2021.

Conseil d’état, Consulter autrement, participer effectivement, La Documentation Française, Paris, 2011.

La citoyenneté. Être (un) citoyen aujourd’hui, La Documentation Française, Paris, 2018.

Etude annuelle 2020. Conduire et partager l’évaluation des politiques publiques, La Documentation Française, Paris, 2020.

Chevalier, E., Bonne administration et Union européennne, Bruylant, Bruselas, 2014.

Chevallier, J., “De l’Administration démocratiqueà la démocratie administrative”, Revue Française d’Administration Publique, 137-138, 2011.

Debaets, E., “Protection des droits fondamentaux et participation de l’individu aux décisions publiques”, Jurisdoctoria, núm. 4, 2010.

Défenseur des droits, Rapport Dématérialisation d’acces aux services publics, Paris, 2019.

Défenseur des droits y CNIL., Algorithmes: prévenir l’automatisation des discriminations, Paris, 2020.

Delpérée, F., “Rapport de synthèse sur la citoyenneté administrative”, en Annuaire Européen d’Administration publique, Presses Universitaires d’Aix-Marseille, Aix-en-Provence, 2020.

Donier, V., “Les droits de l’usager et ceux du citoyen”, RFDA, núm. 1, 2008.

Dumont, G., La citoyenneté administrative, Université Panthéon-Assas Paris 2, 2002 (HAL Id: tel-01292880, https://hal.archives-ouvertes.fr/tel-01292880).

Ferrer Jeffrey B., “Presente y futuro del Defensor del Pueblo Europeo, guardián de la buena administración”, Revista de Derecho de la Unión Europea, núm. 3, 2002.

Fröhlich, W. - Spiecker, I. - Döhmann, G., “Können Algorithmen diskriminieren?”, Verfassungsblog, 26 de diciembre de 2018, https://verfassungsblog.de/koennen-algorithmen-diskriminieren/.

Gerards, J. - Xenidis, R., Algorithmic Discrimination in Europe: Challenges and Opportunities for EU Gender Equality and Non-Discrimination Law, European network of legal experts in gender equality and non-discrimination, Publication Office, European Union, 2020, en https://www.equalitylaw.eu/downloads/5361-algorithmic-discrimination-in-europe-pdf-1-975.

González, M., “¿Cómo funciona Predpol, el software que dice predecir dónde van a suceder crímenes?”, Xataka, 14 de febrero de 2015, https://www.xataka.com/aplicaciones/como-funciona-predpol-el-softwareque-dice-predecir-donde-van-a-suceder-crimenes.

Huergo Lora, A., “Regular la inteligencia artificial (en Derecho Administrativo)”, Blog de la Revista de Derecho Público, 8 de marzo de 2021.

“El proyecto de Reglamento sobre la Inteligencia Artificial”, Almacén de Derecho, 17 de abril de 2021.

Huergo Lora, A. (Dir.) - Díaz González G. M. (coord.), La regulación de los algoritmos, Thomson Reuters Aranzadi, Navarra, 2020.

Ireni-Saban L. - Sherman M., Ethical Governance of Artificial Intelligence in the Public Sector, Routledge, Londres, 2021.

Leavy, S., “Gender Bias in Artificial Intelligence: The Need for Diversity and Gender Theory in Machine Learning”, in GE ‘18: Proceedings of the 1st International Workshop on Gender Equality in Software Engineering, Gothenburg, Sweden, May 2018, https://doi.org/10.1145/3195570.3195580.

Martín Delgado, I., “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, núm. 180, 2009.

Menéndez Sebastián, E. M., La Administración al servicio de la justicia social, Iustel, Madrid, 2016.

“La apuesta europea por una buena administración: implicaciones y estado de la cuestión”, en Andrés Sáenz de Santa María, P. (Dir.), Una contribución a la europeización de la ciencia jurídica. Estudios sobre la Unión Europea. Homenaje de la Facultad de Derecho de la Universidad de Oviedo al Profesor Gil Carlos Rodríguez Iglesias, Thomson Reuters, 2019.

De la función consultiva clásica a la buena administración. Evolución en el Estado Social y Democrático de Derecho, Marcial Pons, Barcelona, 2021.

Menéndez Sebastián, E. M. - Ballina Díaz, J., “Digital citizenship: fighting the digital divide”, European Review of Digital Administration & Law (Erdal), núm. 2, 2021.

“¿Qué es la ciudadanía hoy?”, en Alonso, R. (Dir.) - Beatriz (coord.), Objetivos de desarrollo sostenible, Thomson Reuters, Navarra, 2021 (en prensa).

Miller A. P., “Want Less-Biased Decisions? Use Algorithms”, Harward Business Review, July 26 2018.

Orofino, A. G., La trasparenza oltre la crisi. Acceso, informatizzazione e controllo cívico, Bari, Cacucci Editore, 2020.

Otterbacher, J. - Bates, J. - Clough, P. D., “Competent Men and Warm Women: Gender Stereotypes and Backlash in Image Search Results”, in Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, Colorado Convention Center, Denver, Co. Association for Computing Machinery.

Padilla Ruiz, P., “Inteligencia artificial y Administración Pública”, El Consultor de los Ayuntamientos, núm. 10, octubre 2019.

Pinel, F., La participation du citoyen à la décision administrative, Droit, Université Rennes 1, 2018, Français, 2018REN1G020. tel-02498451.

Ponce Solé, J., Deber de buena administración y derecho al procedimiento administrativo debido. Las bases constitucionales del procedimiento administrativo y del ejercicio de la discrecionalidad, Lex Nova, Valladolid, 2001.

“El derecho a una buena Administración: una palanca revolucionaria para lograr el buen funcionamiento de nuestras instituciones”, hay derecho. expansion.com, 2017.

“La discrecionalidad no puede ser arbitrariedad y debe ser buena administración”, Revista Española de Derecho Administrativo, núm. 175, enero-marzo 2016.

La lucha por el buen gobierno y el derecho a una buena administración mediante el estándar jurídico de diligencia debida, Cuadernos de la Cátedra de Democracia y Derechos Humanos, núm. 15, Madrid, 2019.

Mejora de la regulación, lobbies y huella normativa. Un análisis empírico de la informalidad, Tirant lo Blanch, Valencia, 2019.

Rodotà, S., “Del ser humano al posthumano”, en De la Quadra-Salcedo, T. - Piñar Mañas, J. L. (dirs.), Barrio Andrés, M. - Toirregrosa Vázquez J. (coords.), Sociedad digital y Derecho, BOE, Madrid, 2018, pp. 87-93.

“Diritto, scienza, tecnología: modelli e scelte di regolamentazione”, conferencia impartida en el Congreso Scienza e diritto nel prisma del diritto comparato, Asociación Italiana de Derecho Comparado, Pisa, 22-24 de mayo de 2003, Giapìchelli, Turín, 2004.

Rivas Vallejo, P., “Discriminación algorítmica: detección, prevención y tutela”, XXXI Jornades Catalanes de Dret Social (Treball, discriminación i Covid), Barcelona, abril 2021.

Sáinz, M. - Arroyo, L. - Castaño, C., Mujeres y digitalización. De las brechas a los algoritmos, Instituto de la Mujer y para la Igualdad de Oportunidades, Ministerio de Igualdad, Madrid, 2020.

Simon, H. A., Administrative behavior: a study of decision making processes in administrative organizations, 2.ª ed., The Free Press, New York, 1957.

Testard, C., Pouvoir de décision unilatérale de l’administration et démocratie administrative, LGDJ, coll. Bibliothèque de droit public, vol. 304, 2018.

Tomlison, J., Justice in the Digital State. Assessing the Next Revolution in Administrative Justice, Bristol, Policy Press, 2019.

Wang, T. - Zhao, J. - Yatskarm - Chang, K-W. - Ordonez, V., “Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representations”, https://openaccess.thecvf.com/content_ICCV_2019/papers/Wang_Balanced_Datasets_Are_Not_Enough_Estimating_and_Mitigating_Gender_Bias_ICCV_2019_paper.pdf.

Zhou, P. - Shi, W. - Zhao, J. - Huang, K-H. - Chen, M. - Cotterell, R. - Chang, K-W., “Examining Gender Bias in Languages with Grammatical Gender”, en Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, Hong Kong, China, Association for Computational Linguistics, 2019, pp. 5276–5284.

1.Este trabajo ha sido cofinanciado por las “Axudas para o ano 2021 para a organización de actividades que contribúan a sensibilización de valores igualitarios na Universidade de Vigo” concedida al programa “La Administración Pública frente los sesgos en la IA. Ética y transparencia en clave de género”.

2.Como ya se ha tenido ocasión de poner de relieve en Menéndez Sebastián, E. M., La Administración al servicio de la justicia social, Iustel, Madrid, 2016.

3.Menéndez Sebastián, E. M., De la función consultiva clásica a la buena administración. Evolución en el Estado Social y Democrático de Derecho, Marcial Pons, Barcelona, 2021.

4.Es quizás en el que más hincapié se viene haciendo. Esa transparencia, que responde a la necesidad de conocer qué hace la Administración para poder controlarla, debe extenderse a los servicios públicos también.

5.Hay que tener en cuenta que hay diversos tipos de participación y que cada una de ellos contribuye a una buena administración, buen gobierno y buena regulación, no solo la de la sociedad civil, conociendo sus necesidades, sino también la de los grupos de interés o la de los expertos, cuyos conocimientos coadyuvan a un mayor acierto en la toma de decisiones. También existen diversos tipos desde el punto de vista no del sujeto o sus intereses, sino del momento, así se habla de participación deliberativa (fijación de qué es de interés general para los ciudadanos, es decir, temas a tratar), participación en la toma de decisiones (participación en sentido estricto, es decir, en la elaboración de normas, en la toma de decisiones políticas, pero también en la Administración), y participación en la evaluación de esas decisiones y sus resultados.

6.Es importante la evaluación de las decisiones para conocer su eficacia y con ello cambiarlas o mantenerlas. La evaluación –que también se puede incluir en la participación desde un punto de vista amplio, es muy importante y quizás el aspecto de los tres que se engloban habitualmente en la gobernanza pública que menos se ha desarrollado. A este respecto cabe destacar el reciente estudio del Conseil d’État francés al respecto, Etude annuelle 2020. Conduire et partager l’évaluation des politiques publiques, La Documentation Française, Paris, 2020, También se conecta con la utilización de los llamados experimentos jurídicos, clauses de réexamen, review clauses, sunset clause o clause crépusculaire, explorados ya en algunas materias, véase al respecto Boto Álvarez A., “Experimentación regulatoria: la introducción de proyectos pilotos de excepción en el sector eléctrico español”, en Anglés Hernández, M. - Palomino Guerrero, M. (coords.), Justicia energética y sector eléctrico iberoaméricano, Instituto de Investigaciones Jurídicas de la UNAM, México (en prensa), y, especialmente, en otros sistemas de forma más intensa.

7.Las medidas en este ámbito son fundamentales para recobrar la confianza de la ciudadanía en las instituciones. Este principio conecta también con temas de máxima actualidad como los códigos de conducta, los grupos de interés, su registro y el expediente de huella normativa, que es uno de los compromisos de regulación del IV Plan Gobierno Abierto de España, también con el tema de las puertas giratorias, los conflictos de intereses, etc. Véase a este respecto Ballina Díaz J., “La formalización de las relaciones entre las instituciones europeas y los grupos de interés: encuentros y desencuentros”, en Andrés Saénz De Santa María, P. (coord.), Una contribución a la europeización de la ciencia jurídica: Estudios sobre la Unión Europea, Thomson Reuters-Civitas, Navarra, 2019; del mismo autor “La información sobre los grupos de interés comunitarios: un campo prometedor para el big data”, en Huergo Lora, A. (Dir.) - Díaz González, G.M. (coord.), La regulación de los algoritmos, Thomson Reuters Aranzadi, Navarra, 2020; también Ponce Solé, J., Mejora de la regulación, lobbies y huella normativa. Un análisis empírico de la informalidad, Tirant lo Blanch, Valencia, 2019.

8.En este tema destacan las medidas en materia de apertura y reutilización de datos, partiendo de la Directiva (UE) 2019/1024, del Parlamento Europeo y del Consejo, de 20 de junio de 2019, relativa a los datos abiertos y la reutilización de la información del sector público.

9.Las medidas en este ámbito, más centrado en lo que sería buena administración, son fundamentales, así, resulta necesario profundizar en la transformación digital, la simplificación administrativa, así como en temas organizativos. Si el buen gobierno y la buena administración buscan fundamentalmente una mejor toma de decisiones ello se vincula de forma especialmente fuerte con la eficacia y la eficiencia, sin olvidar la importancia en este sentido de las evaluaciones de impacto en general y, de forma particularizada, para una buena regulación.

10.Se trata de otro aspecto relevante, las Administraciones para dar satisfacción a las demandas sociales han de transformarse, han de cambiar el modelo burocrático por un modelo innovador, lo que les permitirá ser más eficaces y eficientes, adoptando, por ejemplo, diseños basados en las personas, optando por la cocreación, introduciendo instrumentos como los sandbox, el nuding, o los Innovations Lab.

11.La igualdad no solo es un objetivo claro de la Agenda 2030 sino que es esencial, gran parte de la desconfianza de los ciudadanos viene de la percepción de desigualdad. Además, no puede haber una gobernanza pública adecuada si no se atiende en un Estado social y democrático de Derecho a erradicar las desigualdades. Esto lleva también a no adoptar medidas que puedan incidir en esas diferencias y, en particular, hay que atender a la brecha digital. También es preciso tener una visión global en toda gobernanza pública desde la perspectiva de género y, en general, desde el punto de vista de la no discriminación, pues debe ser inclusiva.

12.Como ha indicado el Comité Económico y Social Europeo en su dictamen “Un concepto sostenible a nivel social para mejorar el nivel de vida, relanzar el crecimiento y el empleo y garantizar la seguridad de los ciudadanos en la era digital” (2018/C 237/01), se trata de la capacidad para garantizar las condiciones necesarias para el bienestar humano (seguridad, salud, formación, democracia, participación y justicia) equitativamente distribuidas entre clases y géneros, de tal manera que la sostenibilidad social debe introducirse y realizarse del mismo modo que la sostenibilidad medioambiental y económica, con el objetivo de reducir las desigualdades.

13.Así, como ya advirtiera Donier, V., “Les droits de l’usager et ceux du citoyen”, RFDA, 1, 2008, p. 13, un primer paso en esta evolución se dio con la idea de usuario, demostrando así una emancipación del administrado respecto a la Administración, ya que deja de estar sometido a la acción administrativa y se convierte en su beneficiario.

14.En palabras de Chevallier, J., “De l’Administration démocratiqueà la démocratie administrative”, Revue Française d’Administration Publique, 137-138, 2011, pp. 217-227.

15.Que a juicio de Testard, CH., Pouvoir de décision unilatérale de l’administration et démocratie administrative, LGDJ, coll. Bibliothèque de droit public, vol. 304, 2018, es entendida como el conjunto de normas que tienden a fomentar la participación de los ciudadanos en la elaboración de las decisiones administrativas.

16.En esta línea apuntan tanto el Conseil d’état, La citoyenneté. Être (un) citoyen aujourd’hui, La Documentation Française, Paris, 2018, p. 14, como Chevallier, J., “De l’Administration démocratiqueà la démocratie administrative”, op. cit., p. 227; Dumont, G., La citoyenneté administrative, Université Panthéon-Assas Paris 2, 2002 (HAL Id: tel-01292880, https://hal.archives-ouvertes.fr/tel-01292880, p. 367; o Debaets, E., “Protection des droits fondamentaux et participation de l’individu aux décisions publiques”, Jurisdoctoria, 4, 2010, p. 175.

17.Orofino, A. G., La trasparenza oltre la crisi. Acceso, informatizzazione e controllo cívico, Bari, Cacucci Editore, 2020, p. 53.

18.Tal y como ha sostenido el Conseil d’état, Consulter autrement, participer effectivement, La Documentation Française, Paris, 2011, p. 92.

19.Hoy debe tenerse en cuenta el Code des relations entre le public et l’administration, aprobado por la Ordonnance num. 2015-1341 du 23 octobre 2015 relative aux dispositions législatives du code des relations entre le public et l’administration, JO, num. 0248, 25 octobre 2015, p. 19872, texte num. 2, que en cierto modo viene a sustituir el termino ciudadano por el de público, tal y como ha puesto de manifiesto Pinel, F., La participation du citoyen à la décision administrative, Droit, Université Rennes 1, 2018, Français, 2018REN1G020. tel-02498451, pp. 19-20.

20.Así, por ejemplo, en la citada Ley se menciona el término ciudadano en veintiún ocasiones y una ciudadana, sin embargo, no se explicita el cambio indicado ni todas sus implicaciones.

21.Por ejemplo, cuando habla en el art. 312 del contrato de servicios con prestaciones directas a la ciudadanía.

22.Dumont, G., La citoyenneté administrative... op. cit., pp. 666-667.

23.Tal y como afirmara Barnés, J., “Buena administración, principio democrático y procedimiento administrativo”, Revista Digital de Derecho Administrativo, 21, 2019, p. 81.

24.Menéndez Sebastián, E. M., De la función consultiva clásica a la buena administración..., op. cit.

25.Destacando, sin lugar a dudas el art. 41 de la Carta de Derechos Fundamentales de la Unión Europea, respecto al cual cabe remitirse a lo dicho en Menéndez Sebastián, E. M., “La apuesta europea por una buena administración: implicaciones y estado de la cuestión”, en Andrés Sáenz De Santa María P. (Dir.), Una contribución a la europeización de la ciencia jurídica. Estudios sobre la Unión Europea. Homenaje de la Facultad de Derecho de la Universidad de Oviedo al Profesor Gil Carlos Rodríguez Iglesias, Thomson Reuters, 2019, pp. 613-629.

26.Así, por ejemplo, en los años 2006 y 2007 se modificaron algunos Estatutos de Autonomía en este sentido, mencionando incluso de forma expresa el derecho a una buena administración, como, por ejemplo, el art. 9.2 del Estatuto de Autonomía de la Comunidad Valenciana, el art. 30 de la redacción actual del Estatuto de Autonomía de Cataluña, el art. 14.2 del Estatuto de Autonomía de las Islas Baleares, art. 31 del Estatuto de Autonomía de Andalucía, el art. 12 del Estatuto de Autonomía de Castilla y León o el Estatuto de Autonomía de Canarias, reformado por la Ley Orgánica 1/2018, de 5 de noviembre, de reforma del Estatuto de Autonomía de Canarias, que recoge el derecho a una buena administración en el art. 32.

27.En concreto, en cuanto a la libertad de pactos, en el art. 34 habla de los principios de buena administración.

28.Si bien es cierto que, como se expondrá más detenidamente, hay quien ha hecho un auténtico esfuerzo por buscar una noción de buena administración, como es el caso de la autora francesa Bousta, R., Essai sur la notion de bonne administration en Droit public, L’Harmattan, Paris, 2010. Y, en general, sobre la buena administración cabe también destacar los múltiples trabajos de Julio Ponce, entre otros, Ponce Solé, J., Deber de buena administración y derecho al procedimiento administrativo debido. Las bases constitucionales del procedimiento administrativo y del ejercicio de la discrecionalidad, Lex Nova, Valladolid, 2001; “La discrecionalidad no puede ser arbitrariedad y debe ser buena administración”, Revista Española de Derecho Administrativo 175, enero-marzo 2016, pp. 57-84; “El derecho a una buena Administración: una palanca revolucionaria para lograr el buen funcionamiento de nuestras instituciones”, hay derecho.expansion.com, 2017; o La lucha por el buen gobierno y el derecho a una buena administración mediante el estándar jurídico de diligencia debida, Cuadernos de la Cátedra de Democracia y Derechos Humanos 15, Madrid, 2019.

29.Así, desde la sentencia del Tribunal de Justicia de 11 de febrero de 1955, Industrie Siderurgiche Associate (ISA) contra la Alta Autoridad de la Comunidad Europea del Carbón y del Acero, asunto 4-54 (ECLI:EU:C:1955:3), hasta la de 25 de junio de 2020, Caso SC contra E.K., ECLI:EU:C:2020:505, entre muchas otras.

30.Respecto a la importante labor que esta figura desempeña, especialmente, en cuanto al logro de una buena administración, véase, por ejemplo, Ferrer Jeffrey, B., “Presente y futuro del Defensor del Pueblo Europeo, guardián de la buena administración”, Revista de Derecho de la Unión Europea, 3, 2002, pp. 341-353.

31.A este respecto cabe destacar, sin duda, la tesis de Chevalier, E., Bonne administration et Union européennne, Bruylant, Bruselas, 2014.

32.Bousta, R., Essai sur la notion de bonne administration en Droit public, op. cit.

33.Así, Simon, H. A., Administrative behavior: a study of decision making processes in administrative organizations, 2.ª ed., The Free Press, New York, 1957, pp. 38-39.

34.Así, por ejemplo, a juicio de Cassese, S., “Il diritto alla buona amministrazione”, Relazione alla “Giornata sul diritto alla buona amministrazione” per il 25.º aniversario della legge sul “Síndic de Greuges” della Catalogna, Barcelona, 2009, p. 3, este precepto constitucional implica la consagración de los principios de imparcialidad y buena administración.

35.Así, por ejemplo, véase a este respecto la sentencia del Tribunal de Justicia, de 4 de abril de 2017, asunto C337/15 p. ECLI:EU:C:2017:256, o la de 22 de noviembre de 2017, asunto C691/15 p. ECLI:EU:C:2017:882.

36.Tal y como ha sostenido el Conseil d’état, Consulter autrement, participer effectivement, op. cit., p. 92.

37.La conexión entre ambos conceptos también ha sido apuntada por algún autor, como Delpérée, F., “Rapport de synthèse sur la citoyenneté administrative”, en Annuaire Européen d’Administration publique, Presses Universitaires d’Aix-Marseille, Aix-en-Provence, 2020, p. 205, para quien la buena administración es condición necesaria para una buena ciudadanía.

38.Huergo Lora, A., “Regular la inteligencia artificial (en Derecho Administrativo)”, Blog de la Revista de Derecho Público, 8 de marzo de 2021.

39.En cuanto a la utilización de la automatización por las Administraciones en experiencias recientes véase Cerrillo I Martínez, A., “Robots, asistentes virtuales y automatización de las administraciones públicas”, Revista Gallega de Administración Pública, 61, 2021, pp. 271-309.

40.Puesto que las Leyes atribuyen la potestad para dictar los distintos actos administrativos a órganos administrativos, cuyos titulares son personas físicas.

41.En relación con la regulación de la actuación administrativa automatizada destacar el trabajo pionero de Martín Delgado, I., “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, 180, 2009.

42.Como menciona Huergo Lora, A., “Regular la inteligencia artificial (en Derecho Administrativo)”, Blog de la Revista de Derecho Público, 8 de marzo de 2021, este sería el caso, por ejemplo, los programas que, a partir del análisis de las infracciones detectadas en el pasado en un sector, predicen dónde es más probable que se estén produciendo infracciones, para que la Administración concentre allí el esfuerzo inspector.

43.A este respecto cabe recordar brevemente las dos tendencias que la doctrina mantiene, de una lado, quienes consideran que son actos, por ejemplo, es el caso de Alejandro Huergo, anteriormente citado, y quienes consideran que tienen naturaleza reglamentaria, es el caso de Boix Palop, A., “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, 1, 2020, pp. 223-270.

44.Défenseur des droits, Rapport Dématérialisation d’acces aux services publics, Paris, 2019, p. 65.

45.Como afirma Baz Lomba, C., “Los algoritmos en la toma de decisiones administrativas”, CEF-Legal, 243, abril 2021, p. 129.

46.En esta línea, Padilla Ruiz, P., “Inteligencia artificial y Administración Pública”, El Consultor de los Ayuntamientos, núm. 10, octubre 2019, pp. 96-104, afirma que, si se trata de mejorar la vida de los ciudadanos y de ser más eficientes y proactivos, ahorrando costes y tiempo, no cabe duda de que los algoritmos y robots deben ocupar un puesto destacado en los procedimientos de cualquier Administración.

47.Así, hay quien también sostiene que las decisiones algorítmicas son menos sesgadas que si las mismas fueran adoptadas por humanos, es el caso de Miller, A. P., “Want Less-Biased Decisions? Use Algorithms”, Harward Business Review, July 26, 2018.

48.En relación con este tema tan interesante resulta obligado remitirse a la obra del prof. Rodotà, S., “Diritto, scienza, tecnología: modelli e scelte di regolamentazione”, conferencia impartida en el Congreso Scienza e diritto nel prisma del diritto comparato, Asociación Italiana de Derecho Comparado, Pisa, 22-24 de mayo de 2003, y recogida en las actas del congreso publicadas por la editorial Giapìchelli, Turín, 2004, pp. 397-412; o “Del ser humano al posthumano”, en De La Quadra-Salcedo, T. - Piñar Mañas, J. L. (dirs.), Barrio Andrés, M. - Toirregrosa Vázquez, J. (coords.), Sociedad digital y Derecho, BOE, Madrid, 2018, pp. 87-93.

49.En relación con el tema de la brecha digital véase lo dicho en Menéndez Sebastián, E. M. - Ballina Díaz, J., “Digital citizenship: fighting the digital divide”, European Review of Digital Administration & Law (Erdal), 2, 2021.

50.Como ha explicado Leavy, S., “Gender Bias in Artificial Intelligence: The Need for Diversity and Gender Theory in Machine Learning”, in GE ‘18: Proceedings of the 1st International Workshop on Gender Equality in Software Engineering, Gothenburg, Sweden, May 2018, pp. 14-16, https://doi.org/10.1145/3195570.3195580.

51.Realizado por Bolukbasi, T. - Chang, K. W. - Zou, J. Y. - Saligrama, V., - Kalai, A. T., “Man is to computer programmer as woman is to homemaker? debiasing word embeddings”, in Advances in neural information processing systems, 2016, pp. 4349-4357, https://papers.nips.cc/paper/2016/file/a486cd07e4ac3d270571622f4f316ec5-Paper.pdf.

52.De los autores Caliskan, A. - Bryson, J. J. - Narayanan, A., y publicado en Science 14 Apr 2017, Vol. 356, Issue 6334, pp. 183-186, DOI:10.1126/science.aal4230.

53.Otterbacher, J., Bates, J. - Clough, P.D. “Competent Men and Warm Women: Gender Stereotypes and Backlash in Image Search Results”, in Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, Colorado Convention Center, Denver, CO. Association for Computing Machinery, pp. 6620-6631.

54.De lo autores Wang, T. - Zhao J. Yatskarm. - Chang, K-W., Ordonez, V., de University of Virginia, University of California Los Angeles and Allen Institute for Artificial Intelligence (https://openaccess.thecvf.com/content_ICCV_2019/papers/Wang_Balanced_Datasets_Are_Not_Enough_Estimating_and_Mitigating_Gender_Bias_ICCV_2019_paper.pdf.

55.De Wagner C., - García D. - Jadidi M. - M., publicado por Association for the Advancement of Artificial Intelligence, www.aaai.org, 2015, https://www.aaai.org/ocs/index.php/ICWSM/ICWSM15/paper/viewFile/10585/10528.

56.Esta investigación ha sido realizada por Zhou, P. - Shi, W. - Zhao, J. - Huang, K-H. - Chen, M. - Cotterell, R. - Chang K-W., y publicada en Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, Hong Kong, China, Association for Computational Linguistics, 2019, pp. 5276-5284.

57.Como lo ha puesto de manifiesto Rivas Vallejo, P., “Discriminación algorítmica: detección, prevención y tutela”, XXXI Jornades Catalanes de Dret Social (Treball, discriminación i Covid), Barcelona, abril 2021, pp. 11-13.

58.En http://www.northpointeinc.com/files/downloads/FAQ_Document.pdf. El carácter discriminatorio en este supuesto, que se refería a la probabilidad de reincidencia en la comisión de delitos, se puso de manifiesto en el Informe de Angwin, J. - Larson, J. - Mattu, S., - Kirchner, L., “Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks”, publicado el 23 de mayo de 2016 y que se puede consultar en https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

59.Véase, en relación con este caso González, M., “¿Cómo funciona Predpol, el software que dice predecir dónde van a suceder crímenes?”, Xataka, 14 de febrero de 2015 (https://www.xataka.com/aplicaciones/como-funciona-predpol-el-software-que-dice-predecir-donde-van-a-suceder-crimenes).

60.A este respecto, véanse Castillo, C., “Algorithmic Discrimination”, in Conferencia en BCN Analytics Data and Ethics event, abril 2018 (https://youtu.be/VIl8YWWD81U?-t=18m42s) y Fröhlich, W. - Spiecker, I. - Döhmann, G., “Können Algorithmen diskriminieren?”, Verfassungsblog, 26 de diciembre de 2018, https://verfassungsblog.de/koennen-algorithmen-diskriminieren/.

61.En este caso véase la sentencia del Tribunal de la Haya de 5 de febrero de 2020, ECLI:NL: RBDHA:2020:1878.

62.Como ha puesto de manifiesto el Défenseur des droits en colaboración con la CNIL (Commission Nationale Informatiques & Libertés, Algorithmes: prévenir l’automatisation des discriminations, Paris, 2020, p. 3, hoy en día estos procesos pueden encontrase en ámbitos tan esenciales para las personas como el acceso a las prestaciones sociales, la policía y la justicia, el funcionamiento de organizaciones como los hospitales, el acceso a los servicios públicos o los procedimientos de contratación.

63.A este respecto, véase lo dicho por Huergo Lora, A., “El proyecto de Reglamento sobre la Inteligencia Artificial”, Almacén de Derecho, 17 de abril de 2021.

64.De acuerdo con la Carta ética europea sobre el uso de la IA en los sistemas judiciales y su entorno de 4 de diciembre de 2018, algoritmo es la secuencia finita de reglas formales (operaciones lógicas e instrucciones) que permiten obtener un resultado de la entrada inicial de información. Esta secuencia puede ser parte de un proceso de ejecución automatizado y aprovechar modelos diseñados a través del aprendizaje automático; mientras que inteligencia artificial es un conjunto de métodos, teorías y técnicas científicas cuyo objetivo es reproducir, mediante una máquina, las habilidades cognitivas de los seres humanos.

65.En este grupo está, por ejemplo, la identificación biométrica remota en lugares públicos, que se somete a autorización administrativa, la cual sólo se concederá cuando exista una norma habilitante, para la lucha contra delitos graves y sometida a límites y garantías.

66.Así, ciertas aplicaciones, como el llamado chatbot o el deep fake, así como aplicaciones de la inteligencia artificial de alto riesgo cuentan con diversos mecanismos de control, que se enumeran en el Anexo II y se regulan en los artículos 5-40.

67.Como las que sirven para la identificación biométrica y para el funcionamiento de infraestructuras críticas.

68.El otro grupo, que no requiere esa verificación independiente, sino que estará sometido a una especie de declaración responsable, incluye las aplicaciones típicas de la inteligencia artificial “predictiva”. Aunque teniendo en cuenta que pueden incurrir en algún tipo de discriminación, quizás fuera conveniente otro tipo de control previo.

69.De febrero de 2020.

70.En esta línea también véase Ireni-Saban, L., - Sherman, M., Ethical Governance of Artificial Intelligence in the Public Sector, Routledge, Londres, 2021, donde se sostiene que la evaluación ética de la IA debe ser una parte integral de la ética del servicio público y que se necesita un marco normativo eficaz para proporcionar principios éticos y de evaluación para la toma de decisiones en la esfera pública tanto a nivel local como internacional.

71.Véase, Menéndez Sebastián, E. M. - Ballina Díaz, J., “¿Qué es la ciudadanía hoy?”, en Alonso R. (Dir.) y Beatriz. (coord.), Objetivos de desarrollo sostenible, Thomson Reuters, Navarra, 2021 (en prensa).

72.Como ha indicado Tomlison, J., Justice in the Digital State. Assessing the Next Revolution in Administrative Justice, Bristol, Policy Press, 2019, las tecnologías digitales tienen el potencial de ampliar el acceso a los servicios públicos, pero solo si están adecuadamente diseñados.

73.Disponible en https://ico.org.uk/for-organisations/guide-to-data-protection/guide-to-the-general-data-protection-regulation-gdpr/.

74.Véase en https://ico.org.uk/media/for-organisations/guide-to-data-protection-1-1.pdf.

75.Disponible en https://www.congress.gov/bill/116th-congress/house-bill/2231/all-info.

76.https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000033202746?r=Zyl0V3yIMi.

77.https://etalab.github.io/algorithmes-publics/guide.html.

78.Resulta de máximo interés el caso francés, pues entienden que los algoritmos son una forma de acción pública y que como tal está sujeta también a la obligación de rendición de cuentas, así, debe haber transparencia, pero además explicar el funcionamiento y los objetivos perseguidos con el empleo de los algoritmos. De este modo, se entiende en este sistema que para tomar decisiones justas mediante algoritmos son necesarios 4 requisitos: transparencia, requiriendo que se describa el procedimiento; inteligibilidad, siendo necesario que el proceso sea comprensible para los interesados; lealtad, que implica que el procedimiento se utilice realmente de manera completa y precisa; e igualdad de trato, por tanto, que ninguna persona ha sido favorecida más que otra.

79.https://www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08-2018.pdf.

80.En https://www.fatml.org/resources/principles-for-accountable-algorithms.

81.Fairness, Accountability and Transparency in Machine Learning.

82.Gerards, J., - Xenidis, R., Algorithmic Discrimination in Europe: Challenges and Opportunities for EU Gender Equality and Non-Discrimination Law, European network of legal experts in gender equality and non-discrimination, Publication Office, European Union, 2020, en https://www.equalitylaw.eu/downloads/5361-algorithmic-discrimination-in-europe-pdf-1-975.

83.Así, en concreto el requisito núm. 5 se refiere a diversidad, la no discriminación y la equidad.

84.Valga mencionar la Estrategia de la UE sobre la inteligencia artificial de 2018 o el Libro Blanco sobre la Inteligencia artificial: un enfoque europeo para la excelencia y la confianza en 2020.

85.Recuérdese que a ella hace referencia también el art. 41 de la Ley 40/2015, en cuanto a la actuación administrativa automatizada.

86.Así, por ejemplo, Nueva Zelanda cuenta con un grupo asesor sobre ética de datos y la Cámara de Auditorías de los Países Bajos ha investigado el uso de algoritmos en el sector público.

87.Transparencia y explicabilidad también son dos elementos a los que se refiere la Recomendación sobre inteligencia artificial del Consejo de la OCDE, de 22 de mayo de 2019.

88.Si bien en la propuesta de Reglamento de la Unión Europea de regulación de los algoritmos no se exige una transparencia total sino suficiente y compatible con el cumplimiento de las obligaciones legales del usuario y del proveedor (art. 10), como indica Huergo Lora, A., “El proyecto de Reglamento sobre la Inteligencia Artificial”, Almacén de Derecho, 17 de abril de 2021.

89.Del que habla Rivas Vallejo, P., “Discriminación algorítmica: detección, prevención y tutela...”, op. cit, p. 64.

90.Así, como afirman Barocas, S. - Selbst et Andrew, D. “Big data’s disparate impact”, California Law Review, June 2016 Vol. 104, núm. 3, pp. 671-732, en realidad, no hay ni magia tecnológica ni neutralidad matemática: los algoritmos están diseñados por humanos y se basan en datos que reflejan las prácticas humanas. De este modo, los sesgos pueden incorporarse a todas las etapas de desarrollo e implantación del sistema: desde la intención que subyace al desarrollo del algoritmo hasta el desarrollo del código informático, el código ejecutable, la ejecución, el contexto de ejecución y el mantenimiento.

91.Así, véase la resolución 701/2018, de 18 de febrero de 2019, precisamente en relación con el tema del acceso al código fuente en el asunto Bosco ya mencionado.

92.En relación con este tema véase, entre otros, Huergo Lora, A. (Dir.) y Díaz González, G.M. (coord.), La regulación de los algoritmos, Thomson Reuters Aranzadi, Navarra, 2020.

93.Reglamento 2016/679 del Parlamento europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos y por el que se deroga la Directiva 95/46/CE.

94.Que establece que todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar, salvo algunas excepciones que prevé.

95.Recuérdese que el art. 308.1 de la LCSP parte de salvo que en los pliegos de cláusulas administrativas o en el documento contractual se prevea lo contrario, los contratos de servicios que tengan por objeto el desarrollo y la puesta a disposición de productos protegidos por un derecho de propiedad intelectual o industrial llevarán aparejada la cesión de este a la Administración contratante.

96.Si bien no evita todos los problemas, por ejemplo, que dar a conocer el código fuente puede hacer más vulnerable el sistema.

97.En palabras de Delpérée, F., “Rapport de synthèse sur la citoyenneté administrative”, op. cit., p. 202.

98.Como propone también el informe elaborado por Sáinz M. - Arroyo, L. - Castaño, C., Mujeres y digitalización. De las brechas a los algoritmos, Instituto de la Mujer y para la Igualdad de Oportunidades, Ministerio de Igualdad, Madrid, 2020, p. 74.

99.Como ha indicado Tomlison, J., Justice in the Digital State. Assessing the Next Revolution in Administrative Justice, op. cit., las tecnologías digitales tienen el potencial de ampliar el acceso a los servicios públicos, pero solo si están adecuadamente diseñados.