Читать книгу El Derecho Internacional: retos y dilemas para los Sistemas de Armas Autónomas - Irene Vázquez Serrano - Страница 7

La cuarta revolución industrial ha sido auspiciada por las nuevas tecnologías, tal y como apuntó KLUN en 1970. La denominada Revolución 4.01 ha dado lugar a robots, drones o cualquier otro uso de las mismas en el marco de la denominada inteligencia artificial.

En la actualidad, asistimos a un uso múltiple y variado de las nuevas tecnologías en el ámbito de la inteligencia artificial y, si atendemos al tradicional interés de los Estados en el incremento de su poder militar2, los métodos y medios para hacer la guerra no han sido ajenos a las mismas. Una prueba de ello ha sido la creación de los sistemas de armas autónomas o Lethal Autonomous Weapons Systems (en adelante, LAWS)3, pasando así de la creación de sistemas de control remoto (drones) a sistemas autónomos de armas letales y ello debido, entre otras razones, “a la debilidad del ser humano en la actividad militar”4.

Los LAWS, armas con capacidad para matar de forma autónoma, ya no son sólo parte de la ciencia ficción contenida en los libros o las pantallas, sino que hoy están presentes en nuestra realidad y han dado lugar a cuestionamientos éticos, jurídicos, militares, morales y humanitarios. Asistimos, en la actualidad, a la creación de robots (y máquinas, en general) que pueden poder en peligro la salvaguarda de la paz y la seguridad internacionales. ¿Se acuerdan de 2001: odisea en el espacio (Stanley Kubrick, 1968), Blade runner (Ridley Scott, 1982), Robocop (Paul Verhoeven, 1987) o Terminator 2, el día del juicio final (James Cameron, 1990)? ¿Los inolvidables R2-D2 y C-3PO de la saga de George Lucas, Star Wars? Star Trek, de Gene Roddenberry, o Matrix (Lily y Lana Wachowski, 1999), entre otros?5. Robots que, en ocasiones, se rebelan contra su propio creador y toman sus propias decisiones perdiendo así el ser humano cualquier control sobre ellos. Pero, ¿acaso el ego humano puede dejar de sentir cierta satisfacción por crear seres con vida autónoma superiores a él mismo y con capacidad de reemplazarlo ante ciertas funciones o situaciones, como es la guerra? Una posibilidad no tan lejana pues, si bien aún no han sido creadas, si existe ya la tecnología para su creación y, de acuerdo con el informe Kill the idea of “killer robots” before they kill us, son ya nueve los Estados que se encuentran desarrollando sistemas de armas letales6, pudiendo hacerlas realidad en un futuro no muy lejano, con mayor o menor nivel de autonomía, cuestión clave en este tipo de armas (como tendremos la oportunidad de analizar más adelante).

Ante este panorama que se nos vislumbra, el principal problema que presentan las LAWS no es qué hará el ser humano con ellas sino el hecho de que éstas, en un futuro, puedan quedar fuera del control absoluto del ser humano, decidiendo por sí mismas7, pues las armas autónomas presentan, per se, no solo ventajas sino también riesgos e inconvenientes que deben ser tenidos en cuenta en su análisis8. Así, a los sistemas de armas autónomos se les atribuye un menor coste económico, mayor rapidez y velocidad que, incluso, los drones y una disminución de daños colaterales; ofrecen, además, “ventajas estratégicas y tácticas significativas en el campo de batalla” así como, desde un punto de vista ético, un riesgo cero para la seguridad física del combatiente, lo que supone un menor coste personal, teniendo en cuenta la menor presencia humana en los combates9, dando lugar a una “ausencia de pasiones en la máquina”10, lo que ha llevado a algunos autores a hablar de mentalidad PlayStation11: una especie de distanciamiento emocional que podría proporcionar “a los jefes una desconocida libertad de acción en el diseño de sus operaciones, al poder asumir riesgos antes inimaginables"12, con la consiguiente reducción del “coste político”.

“Este tipo de armas puede llevar a la opinión pública a desinteresarse de la guerra, dejando, por tanto –como problemas de ellos– en mano de los políticos la decisión del uso de la fuerza “sin la restricción de la respuesta de sus pueblos a las pérdidas de vidas humanas”, esto es: ahorrándose las ceremonias de recepción de los ataúdes que llegan del frente, repetidas una y otra vez en la televisión…”13.

Por último, debemos añadir también que “los sistemas autónomos no requerirán altos costes ni materias primas difíciles de obtener, simplemente la actuación de un informático que altere la programación de un sistema autónomo y lo transforme en letal”14.

No son pocos, por lo tanto, los problemas, inconvenientes y riesgos hipotéticos que presentan los LAWS a nivel teórico y práctico, y que deberán ser tenidos en cuenta para no incumplir los principios del Derecho Internacional Humanitario (en adelante, DIH) y las exigencias del artículo 36 del Protocolo Adicional I de 197715. Pero también se debe tener en cuenta cómo “el factor humano, la emoción humana, la negociación” es lo que ha impedido un proceso de escalada bélica. Incluso, podríamos añadir factores neurológicos que apuestan por “una seguridad más humana y cooperativa"; y factores éticos, propios del ser humano, la responsabilidad, “que podría y debería ser en un futuro parte integrante de los algoritmos en que se basen las inteligencias artificiales”16.

Así, una vez avistado que la ciencia ficción llegará hasta nuestra realidad con la futura creación de estos Sistemas de Armas Autónomas, se hace necesario un consenso sobre el devenir de este tipo de armas; una respuesta jurídica común internacional a los diversos problemas que plantean basada en el necesario equilibrio entre, por un lado, la utilización de armas que defiendan los intereses estatales en el campo de batalla y, por otro, la protección de civiles y la proscripción de causar daños innecesarios. Una constante de la historia17 que ya puso de manifiesto la Declaración de San Petersburgo de 186818 al señalar que

“las altas partes contratantes se reservan la facultad de ponerse de acuerdo ulteriormente cada vez que sea formulada una proposición precisa, habida cuenta de los perfeccionamientos que la ciencia pudiera introducir en el armamento de las tropas, con el objetivo de mantener los principios que han sido establecidos y conciliar las leyes de la guerra con las leyes de la humanidad”.

Con ese objetivo, los Relatores Especiales sobre las ejecuciones extrajudiciales, sumarias o arbitrarias19 solicitaron, junto a la creación de un grupo de expertos en sistemas de armas autónomas, una moratoria por parte de los Estados en cuanto a la producción y el despliegue de este tipo de armas; razón por la que la Convención sobre ciertas armas convencionales de 201420 constituyó en 2017 un Grupo de Expertos Gubernamentales21 sobre armas autónomas letales cuyo mandato consiste en “examinar el impacto de las tecnologías emergentes dotadas de autonomía para la selección y el ataque de objetivos en áreas militares, de seguridad y defensa”22 con la intención de “intentar encontrar el equilibrio adecuado entre la necesidad militar y las consideraciones humanitarias concernidas al desarrollo y la innovación de las tecnologías armamentistas autónomas”23. El Grupo de Expertos Gubernamentales se ha reunido anualmente adoptando, tras cinco años de reuniones, los Posibles Principios-Guías de 201824 para el futuro del Grupo:

“(a) International humanitarian law continues to apply fully to all weapons systems, including the potential development and use of lethal autonomous weapons systems.

(b) Human responsibility for decisions on the use of weapons systems must be retained since accountability cannot be transferred to machines. This should be considered across the entire life cycle of the weapons system.

(c) Accountability for developing, deploying and using any emerging weapons system in the framework of the CCW must be ensured in accordance with applicable international law, including through the operation of such systems within a responsible chain of human command and control.

(d) In accordance with States’ obligations under international law, in the study, development, acquisition, or adoption of a new weapon, means or method of warfare, determination must be made whether its employment would, in some or all circumstances, be prohibited by international law.

(e) When developing or acquiring new weapons systems based on emerging technologies in the area of lethal autonomous weapons systems, physical security, appropriate non-physical safeguards (including cybersecurity against hacking or data spoofing), the risk of acquisition by terrorist groups and the risk of proliferation should be considered.

(f) Risk assessments and mitigation measures should be part of the design, development, testing and deployment cycle of emerging technologies in any weapons systems.

(g) Consideration should be given to the use of emerging technologies in the area of lethal autonomous weapons systems in upholding compliance with IHL and other applicable international legal obligations.

(h) In crafting potential policy measures, emerging technologies in the area of lethal autonomous weapons systems should not be anthropomorphized.

(i) Discussions and any potential policy measures taken within the context of the CCW should not hamper progress in or access to peaceful uses of intelligent autonomous technologies.

(j) The CCW offers an appropriate framework for dealing with the issue of emerging technologies in the area of lethal autonomous weapons systems within the context of the objectives and purposes of the Convention, which seeks to strike a balance between military necessity and humanitarian considerations”.

En 2019, con el objetivo de continuar desarrollando los Principio rectores, el Grupo de Expertos Gubernamentales examinó otros principios que podrían añadirse sobre los cinco temas del programa25 y añadió otro principio rector:

“La interacción entre el ser humano y la máquina, que puede adoptar diversas formas y puede tener lugar en distintas etapas del ciclo de vida de un arma, debe garantizar que el posible uso de los sistemas de armas basados en tecnologías emergentes en el ámbito de los sistemas de armas autónomas letales sea compatible con el derecho internacional aplicable, en particular al derecho internacional humanitario. Al determinar la calidad y el alcance de la interacción entre el ser humano y la máquina, deben tenerse en cuenta una serie de factores, incluido el contexto operacional, y las características y capacidades del sistema de armas en su conjunto”26.

Las cuestiones esenciales que plantean los LAWS, en particular aquellas que se prevén letales, tienen que ver con su capacidad de adaptación, en tiempos de conflicto armado, al DIH y al Derecho Internacional de los Derechos Humanos (en adelante, DIDH) y, en otras situaciones, solo al DIDH27; pues, estamos convencidos de que no es el Derecho Internacional el que debe modificarse ante los avances producidos por las nuevas tecnologías sino que son éstas las que deben adaptarse a la normas básicas del Derecho Internacional, en concreto, a las normas del DIH y del DIDH.

Partiendo de esta premisa, nuestro objetivo en las próximas páginas será el de plantear las diversas cuestiones que comienzan a surgir en relación con los LAWS. Entre otras: ¿cómo puede definirse un sistema de arma autónomo y cuáles entendemos que son los criterios o elementos que deben estar presentes en dicha definición? ¿Debemos prohibir los Sistemas de Armas Autónomos mediante una regulación o es una moratoria la mejor solución en la actualidad? En el caso de que nos decidamos por regularlos, ¿es suficiente el Derecho Internacional (en concreto, el DIH) o, por el contrario, se hace necesaria una nueva regulación específica? ¿Qué ocurriría si un LAWS violara una norma de DIH? ¿podemos aplicar el régimen de responsabilidad tradicional del Derecho Internacional o, por el contrario, es necesario adaptarlo a los LAWS o, incluso, crear un nuevo sistema de responsabilidad internacional aplicable al contexto de la inteligencia artificial? Y, por último, ¿qué ocurriría si un LAWS cometiera un crimen de guerra? ¿qué hay de la responsabilidad penal internacional? ¿quién será responsable jurídicamente de las acciones llevadas a cabo por un robot autónomo?

Aún a sabiendas de estar ante un elenco abierto de cuestiones, y a pesar de no conocer todas las respuestas, y siendo también conscientes de todos aquellos aspectos que quedan fuera de nuestro análisis (por ejemplo, la responsabilidad civil por los daños ocasionados por las armas autónomas), su planteamiento nos ayudará a clarificar, en ocasiones, las respuestas y hacer algunas propuestas de futuro para los sistemas de armas autónomos.

Y, todo ello, con la finalidad de poner sobre la mesa la discusión internacional jurídica, científica, militar, ética y moral que las armas autónomas han suscitado, en concreto, al Derecho Internacional, y nos permita reflexionar, con cierta urgencia, acerca de cómo afectan a la seguridad de la Humanidad28. Nos encontramos ante una trayectoria de choque entre la inteligencia artificial en el campo armamentístico con el DIH y el instinto de supervivencia humana. Pero también estamos a tiempo (o deberíamos), aún hoy, de escribir un nuevo final29.

1.La Revolución 4.0 es un proceso de cambio actual que afecta a nuestra forma de vivir, trabajar y relacionarnos. “Se caracteriza por la emergencia de nuevas tecnologías que están fusionando los mundos físicos, digitales y biológico, impactando todas las disciplinas, economías e industrias, e incluso pone bajo una nueva perspectiva el significado de ser humano”. La inteligencia artificial y, por lo tanto, la robótica es causa de esta revolución 4.0 (LÓPEZ LATORRE, A. F., SEREBRENIK BELTRÁN, S., FERNÁNDEZ ALBA, N. y MARTÍNEZ VARGAS, J. R. (dir.), Robótica, armas y Derecho Internacional, Tirant lo Blanch, Valencia, 2019, p. 23).

2.“La historia ha demostrado que los Estados siempre estarán inclinados a comportarse en proporción al poder que ostenten. El interés en poseer armas cada vez más novedosas responde a la necesidad de mantener o alcanzar un estatus hegemónico en el uso de la fuerza, con el argumento de salvaguardar la paz y la seguridad, garantizando así que las armas del oponente sigan siendo siempre las más inútiles u obsoletas” (MEZA RIVAS, M., “Los sistemas de armas completamente autónomos: un desafío para la comunidad internacional en el seno de las Naciones Unidas”, Instituto Español de Estudios Estratégicos, Documento de opinión núm. 85/2016 (2016), pp. 1-16, p. 4, disponible en http://www.ieee.es/Galerias/fichero/docs_opinion/2016/DIEEEO85-2016_SistemasArmas_ONU_MiltonMeza.pdf).

3.“Autonomous Functioning in a System: Autonomous functioning refers to the ability of a system, platform, or software to complete a task without human intervention, using behaviours resulting from the interaction of computer programming with the external environment. Tasks or functions executed by a platform, or distributed between a platform and other parts of the system, may be performed using a variety of behaviours, which may include reasoning and problem solving, adaptation to unexpected situations, self-direction, and learning. Which functions are autonomous–and the extent to which human operators can direct, control, or cancel functions–is determined by system design trade-offs, mission complexity, external operating environment conditions, and legal or policy constraints. This can be contrasted with automated functions, which (although they require no human intervention) operate using a fixed set of inputs, rules, and outputs, the behaviour of which is deterministic and largely predictable. Automatic functions do not permit the dynamic adaptation of inputs, rules, or outputs” (WILLIAMS, A. P., “Defining Autonomy in Systems: Challenges and Solutions”, en WILLIAMS, A. P. and SCHARRE, P. D. (Eds.), Autonomous Systems. Issues for Defence Policymakers, NATO Communications and Information Agency, 2015, pp. 27-62, pp. 56-57, disponible en http://www.act.nato.int/images/stories/media/capdev/capdev_02.pdf#page=49). Otros términos también utilizados han sido sistemas de armas autónomas letales (ASSL), sistemas de armas letales completamente autónomas, armas robóticas (robot weapons), armas letales autónomas, robots autónomos letales, robots asesinos o sistemas autónomos (MEZA RIVAS, M. J., “Los sistemas de armas autónomos: crónica de un debate internacional y prospectivo dentro de Naciones Unidas”, Instituto Español de Estudios Estratégicos, Documento de opinión núm. 41/2018 (2018), pp. 1-19, p. 3, disponible en http://www.ieee.es/Galerias/fichero/docs_opinion/2018/DIEEEO41-2018_SistArmas_Autonomos_NNUU_MiltonMeza.pdf).

4.Carlos F. ÁLVAREZ se pregunta ¿por qué iniciar la carrera armamentística de los sistemas autónomos de armas letales, si aún no se ha configurado un marco jurídico, un establecimiento social para los drones? Y señala algunos motivos. En primer lugar, señala, a pesar de las ventajas que presentan los drones (mayor proyección de la fuerza, ahorro de recursos humanos y financieros, y desarrollo de fines humanitarios) durante la Convención de Expertos sobre LAWS, desarrollada en Ginebra en 2016, ya se apuntó el interés militar sobre éstas, y no sobre los drones, porque aquellas pueden ofrecer alternativas al poder letal (por ejemplo, inmovilizando o desarmando el objetivo), podrían dejar un rastro digital que permitiera un mayor control de sus acciones a futuro, lo que daría lugar a una mejor rendición de cuentas, no necesitan de personal especializado para sus acciones. En conclusión, los LAWS “están siendo diseñados para mejorar la tasa de supervivencia de las fuerzas armadas (…) y para lograr objetivos de misiones ejecutadas con mayor precisión, menos fuerzas y exponiendo cada vez menos a los civiles”, destacando su utilidad en funciones complicadas como el desminado, las operaciones de rescate y la protección de civiles. (“Análisis de la estructura organizativa de los Sistemas Autónomos de Armas Letales (LAWS) a partir de la lectura de Arnold Pacey”, eikasia (marzo 2017) pp. 11-47, p. 26 y ss.).

5.Pero también la literatura o los cómics han inspirado a nuestros científicos: 20.000 leguas de viaje submarino, de Julio Verne, o Yo, Robot. Y así serían innumerables los ejemplos en los que la ciencia ficción ha inspirado a los científicos en la creación de la más avanzada tecnología.

6.Corea del Sur, China, Estados Unidos, Francia, Israel, Reino Unido, Rusia, Irán y Turquía (Kill the idea of “killer robots” before they kill us, Center for a New American Security, 2020, p. 4, disponible en https://es.scribd.com/document/409149044/State-of-Artificial-Intelligence-Pax-Report).

7.LÓPEZ LATORRE, A. F., SEREBRENIK BELTRÁN, S., FERNÁNDEZ ALBA, N. y MARTÍNEZ VARGAS, J. R., op. cit., p. 16. Es por ello que la mayor parte de la sociedad civil, recomendó ya en 2015 ante Naciones Unidas prohibir el desarrollo, la producción y el uso de este tipo de armas totalmente autónomas “a través de un instrumento legal internacional” (“Los ‘robots asesinos’ salen de la ciencia ficción”, El País, 9 de abril de 2015, disponible en https://elpais.com/internacional/2015/04/08/actualidad/1428507664_013074.html).

8.Este conjunto de ventajas e inconvenientes ha dado lugar, a su vez, a una clasificación de los Estados, atendiendo a las posturas adoptadas, en robutópicos y robocalípticos (SCHARRE, P., “Autonomous Weapons and Operational Risk”, Center for a New American Security, 2016, pp. 1-54, p. 6 (disponible en https://s3.amazonaws.com/files.cnas.org/documents/CNAS_Autonomous-weapons-operational-risk.pdf), citado por Reyes JIMÉNEZ-SEGOVIA quien propone mantener una posición roboexcéptica, postura intermedia que “implica una permanente puesta en cuestión y sometimiento a exámenes de idoneidad de cualquier avance que se produzca en el desarrollo de la autonomía de los sistemas armamentísticos, para cumplir íntegra y éticamente con los postulados del derecho internacional humanitario y con el derecho internacional de los derechos humanos” (JIMÉNEZ-SEGOVIA, R., “Los sistemas de armas autónomos en la Convención sobe ciertas armas convencionales: sombras legales y éticas de una autonomía ¿bajo el control humano?”, REEI, núm. 37 (2009), pp. 1-33, pp. 11 y 31-32, disponible en http://www.reei.org/index.php/revista/num37/articulos/sistemas-armas-autonomos-convencion-sobre-ciertas-armas-convencionales-sombras-legales-eticas-una-autonomia-bajo-control-humano).

9.MEZA RIVAS, M. J., “Los sistemas de armas autónomos…”, op. cit., p. 3.

10.En este sentido, los profesores Cesáreo GUTIÉRREZ y María José CERVELL señalan: “Ofrecen una mayor protección de las fuerzas armadas propias (salvar vidas de los soldados y prevenir lesiones). Multiplican la fuerza empleada. Amplían el campo de batalla (facilitan la penetración tras las líneas enemigas y pueden mantenerse en el teatro de operaciones más tiempo; mucho más que las personas). Poseen un tiempo de reacción menor que el de los seres humanos. Nunca actuarán por pánico o venganza, ni por odio racial… Serán capaces, en el futuro, de emplear una fuerza menos letal, evitando muertes innecesarias; así el desarrollo tecnológico puede ofrecer, como alternativas, la inmovilización o el desarme del objetivo” (op. cit., GUTIÉRREZ ESPADA, C. y CERVELL HORTAL, M.a J., “Sistemas de armas autónomas, drones y Derecho Internacional”, Revista del Instituto Español de Estudios Estratégicos, núm. 2 (2013), pp. 1-32, p. 4, disponible en https://publicaciones.defensa.gob.es/media/downloadable/files/links/r/e/revista_ieee_2.pdf).

11.De acuerdo con el Informe del Relator Especial Philip ALSTON (de 28 de mayo de 2010 (A/HCR/14/24/Add.6), párr. 79) citado por GUTIÉRREZ ESPADA, C. y CERVELL HORTAL, M.a J., al señalar que la denominada mentalidad PlayStation “deshumanizaría el conflicto y podría convertir la muerte en algo banal” (op. cit., p. 4).

12.BALLENILLA Y GARCÍA DE GAMARRA, M., “Robots y sistemas autónomos: el futuro que se avecina”, Revista Ejército, núm. 924 (abril 2018), pp. 24-29, p. 26, disponible en http://www.ejercito.mde.es/Galerias/Descarga_pdf/EjercitoTierra/revista_ejercito/tercer_premio_2019.pdf. En este mismo sentido, Marta Isabel HURTADO GRANADA: “No obstante, el CICR ha aseverado que la distancia entre el operador y su adversario implica una desconexión emocional, lo cual hace más probable que las violaciones al DIH sean más recurrentes” (“Los límites del DIH a las armas autónomas"), Revista Científica General José María Córdova, vol. 15, núm. 20 (2017), pp. 85-100, p. 89, disponible en http://www.scielo.org.co/pdf/recig/v15n20/1900-6586-recig-15-20-00085.pdf). Todo ello sin olvidar que las guerras fueron cada vez más humanas porque existe un tipo de comunicación no verbal bélico en las trincheras que daba lugar a “momentos de tregua y baja letalidad” (MARTÍNEZ QUIRANTE, R. y RODRÍGUEZ ÁLVAREZ, J., Inteligencia artificial y armas letales autónomas. Un nuevo reto para Naciones Unidas, Trea Ensayos, Gijón, 2018, p. 99). Se ha señalado también que “los estudios de las experiencias de los soldados apoyan que los seres humanos son naturalmente reacios a quitar la vida, y esta aversión puede manifestarse en momentos de compasión y humanidad en medio de los horrores de la guerra. Programar una inteligencia artificial para permitir que los sistemas de armas autónomas cumplan técnicamente con la ley de la guerra en situaciones en que se debe discriminar con intuición y proporcionalidad, incluso si fuera posible, no es suficiente”. Así, “la idea de una máquina dotada de poder para tomar decisiones de vida o de muerte es intuitivamente repugnante” y “extremadamente irrespetuosa con la humanidad de nuestro enemigo” (AMOROSO, D., “Jus in bello and jus ad bellum arguments against autonomy in weapons systems: A re-appraisal”, Question of International Law, vol. 4, núm. 43 (2017), pp. 5-31, p. 16). Asistimos al desarrollo de una nueva estrategia, la defense of inhumanity, de los diversos instrumentos utilizados en la guerra, capaces de decidir sobre la vida o la muerte sin una decisión humana previa (SATIA, P, “Defense of inhumanity: air control and the British idea of Arabia”, The American Historial Review, vol. 111, núm. 1 (2006), pp. 16-51, p. 25, disponible en https://academic.oup.com/ahr/article/111/1/16/133299).

13.En este sentido, los profesores Cesáreo GUTIÉRREZ y María José CERVELL señalan: “Ofrecen una mayor protección de las fuerzas armadas propias (salvar vidas de los soldados y prevenir lesiones). Multiplican la fuerza empleada. Amplían el campo de batalla (facilitan la penetración tras las líneas enemigas y pueden mantenerse en el teatro de operaciones más tiempo; mucho más que las personas). Poseen un tiempo de reacción menor que el de los seres humanos. Nunca actuarán por pánico o venganza, ni por odio racial… Serán capaces, en el futuro, de emplear una fuerza menos letal, evitando muertes innecesarias; así el desarrollo tecnológico puede ofrecer, como alternativas, la inmovilización o el desarme del objetivo” (op. cit., p. 4).

14.BALLENILLA Y GARCÍA DE GAMARRA, M., op. cit., p. 28. En el mismo sentido, Roser MARTÍNEZ QUIRANTE y Joaquín RODRÍGUEZ ÁLVAREZ añaden, entre las diversas ventajas, un “potencial único para desarrollar determinadas tareas más rápidamente, que los humanos, capacidad de impactar sobre un objetivo cuando los enlaces de comunicación se ven afectados” y citando a ARKIN, añaden “pueden ser diseñados para aceptar los riesgos más altos; pueden tener los mejores sensores; no se tambalearán ante emociones como el miedo o la cólera, que pueden incitar a seres humanos a actuar de manera inmoral; no padecerán prejuicios cognitivos que afectan al ser humano […] e incluso pueden distinguir legítima y fiablemente los blancos legítimos de los ilegítimos” (op. cit., p. 98).

15.“La inteligencia artificial es una característica de este tipo de armas, lo cual supone que están preparadas para dar respuesta ante los cambios del terreno y de las condiciones que se presentan, de modo que, en este supuesto, las armas autónomas tienen la capacidad de adaptarse según el entorno y sus cambiantes condiciones hostiles. La duda se presenta cuando estos sistemas deben distinguir entre un objetivo civil y otro militar de manera autónoma, y también cuando se reflexiona si su decisión cumple con los principios de DIH” (HURTADO GRANADA, M. I., op. cit., p. 89).

16.MARTÍNEZ QUIRANTE, R. y RODRÍGUEZ ÁLVAREZ, J., op. cit., p. 99. En este sentido, “los estudios de las experiencias de los soldados apoyan que los seres humanos son naturalmente reacios a quitar la vida, y esta aversión puede manifestarse en momentos de compasión y humanidad en medio de los horrores de la guerra. Programar una inteligencia artificial para permitir que los sistemas de armas autónomas cumplan técnicamente con la ley de guerra en situaciones en que se debe discriminar con intuición y proporcionalidad, incluso si fuera posible, no es suficiente” (AMOROSO, D., op. cit., p. 26).

17.“Se trata de una tensión entre el progreso científico y tecnológico que resulta en nuevos medios y métodos de combate, por una parte, y la protección de las víctimas de la guerra por otra”. Sin embargo, esta tensión también “inspira la redacción de los convenios internacionales, ganando el principio de humanidad en algunos ámbitos y venciendo el de las necesidades militares en otros” (TORROJA, H., “Guerra, Drones y Derecho Internacional Humanitario: Estado de la cuestión”, en El arma de moda: impacto del uso de los drones en las relaciones internacionales y el Derecho Internacional contemporáneo, Institut Català Internacional per la Pau, ICIP Research 04 (2014), pp. 137-162, pp. 141-142, disponible en http://icip.gencat.cat/web/.content/continguts/publicacions/arxius_icip_research/ICIP_RESEARCH-4_WEB.pdf).

18.Declaración de San Petersburgo con el objeto de prohibir el uso de determinados proyectiles en tiempo de guerra, de 11 de diciembre de 1868.

19.Informe del Relator Especial Philip ALSTON, de 23 de agosto de 2010 (A/65/321, disponible en https://undocs.org/pdf?symbol=es/A/65/321), e Informe del Relator Especial Christof HEYNS, de 9 de abril de 2013, que en sus recomendaciones a los Estados señalaba “establecer una moratoria nacional sobre los robots autónomos letales”, párr. 18, p. 25 (A/HRC/23/47, disponible en https://www.ohchr.org/Documents/HRBodies/HRCouncil/RegularSession/Session23/AHRC-23-47_sp.pdf).

20.Convención sobre prohibiciones o restricciones del empleo de ciertas armas convencionales que puedan considerarse excesivamente nocivas o de efectos indiscriminados, adoptada el 10 de octubre de 1980. Entró en vigor el 2 de diciembre de 1983.

21.Los Estados parte establecieron en su encuentro anual de 2013 la celebración de una reunión al año siguiente que tratara “las cuestiones relativas a las nuevas tecnologías en el ámbito de los sistemas de armas autónomas letales, en el contexto de los objetivos y los propósitos de la convención” (CCW/MSP/2013/10, p. 5, párr. 32, disponible en https://undocs.org/CCW/MSP/2013/10). Sobre los encuentros informales mantenidos entre 2014 y 2016, así como sobre las reuniones de expertos a partir de 2016, con el objetivo de adoptar recomendaciones sobre las opciones de actuación en el contexto de los objetivos y propósitos de la Convención y teniendo en cuenta todas las propuestas pasadas, presentes y futuras (véase JIMÉNEZ-SEGOVIA, R., op. cit., pp. 5-7).

22.MEZA RIVAS, M. J., “Los sistemas de armas autónomos…”, op. cit., p. 1.

23.ROSEN, B., “Lethal autonomous weapon systems: mapping the GGE debate”, Diplo. Olicy Papers and Briefs, núm. 8 (2017), pp. 1-8, p. 2, disponible en https://www.diplomacy.edu/sites/default/files/Policy_papers_briefs_08_BRJ.pdf.

24.Informe del periodo de sesiones de 2018 del Grupo de Expertos Gubernamentales, de 23 de octubre de 2018, p. 4 (CCW/GCE.1/2018//3, disponible en https://undocs.org/es/CCW/GGE.1/2018/3).

25.Los cinco temas del programa de trabajo de 2019 fueron: 1. Estudio de los problemas que las tecnologías emergentes en el ámbito de los sistemas de armas autónomos letales podrían plantear para el derecho internacional humanitario; 2. Caracterización de los sistemas en estudio a fin de promover un entendimiento común sobre los conceptos y las características relacionados con los objetivos y propósitos de la Convención; 3. Examen del elemento humano en el uso de la fuerza letal; aspectos de la interacción entre el ser humano y la máquina que intervienen en el desarrollo, el despliegue y la utilización de nuevas tecnologías en el ámbito de los sistemas de armas autónomos letales; 4. Examen de las posibles aplicaciones militares de las tecnologías conexas en el contexto de la labor del Grupo; 5. Posibles opciones para hacer frente a los problemas humanitarios y de seguridad internacional que plantean las tecnologías emergentes en el ámbito de los sistemas de armas autónomos letales en el contexto de los objetivos y propósitos de la Convención, sin prejuzgar los resultados de las políticas y teniendo en cuenta las propuestas pasadas, presentes y futuras (Informe del período de sesiones de 2019 del Grupo de Expertos Gubernametnales sobre las Tecnologías Emergentes en el Ámbito de los Sistemas de Armas Autónomas Letales (Informe del periodo de sesiones de 2019 del Grupo de Expertos Gubernamentales sobre las Tecnologías Emergentes en el Ámbito de los Sistemas de Armas Autónomos Letales, Ginebra, 25 a 29 de marzo de 2019 y 20 y 21 de agosto de 2019, CCW/GGE.1/2019/3, p. 3, disponible en https://undocs.org/Home/Mobile?FinalSymbol=CCW%2FGGE.1%2F2019%2F3&Language=E&DeviceType=Desktop).

26.Informe del periodo de sesiones de 2019 del Grupo de Expertos Gubernamentales sobre las Tecnologías Emergentes en el Ámbito de los Sistemas de Armas Autónomos Letales, Ginebra, 25 a 29 de marzo de 2019 y 20 y 21 de agosto de 2019, CCW/GGE.1/2019/3, p. 4 (disponible en https://undocs.org/Home/Mobile?FinalSymbol=CCW%2FGGE.1%2F2019%2F3&Language=E&DeviceType=Desktop).

27.GUTIÉRREZ ESPADA, C. y CERVELL HORTAL, M.a J., op. cit., p. 7. Apuntemos también que la Corte Internacional de Justicia “recuerda, en primer lugar, su conclusión, en un caso anterior, de que la protección del Pacto Internacional de Derechos Civiles y Políticos no cesa en tiempo de guerra (ICJ Reports 1996 (I), p. 240, párr. 25). Más en general, la Corte considera que la protección que ofrecen los convenios y convenciones de derechos humanos no cesa en caso de conflicto armado” (asunto consecuencias jurídicas sobre la construcción de un muro en el territorio palestino ocupado, Opinión consultiva de 9 de julio de 2004, párr. 106).

28.El Comité Internacional para el Control de los Robots Armados (en adelante, ICRAC) ha señalado diez razones por las que los LAWS podrían impactar peligrosamente en la seguridad global: 1. La proliferación de los LAWS. 2. Disminuirían el umbral de los conflictos armados. 3. Un campo de batalla global continuo. 4. La falta de predicción en la interacción. 5. Acelerando el ritmo de la batalla. 6. La creación de conflictos accidentales. 7. Militarizando el mundo civil. 8. Con opresión automatizada. 9. Podrían estar en manos de los actores no estatales. 10. Darían lugar a una vulnerabilidad cibernética (Laws: Ten Problem For Global Security, International Committee for Robot Arms Control (ICRAC), Geneva, 13-17 (April 2015), disponible en https://www.icrac.net/wp-content/uploads/2018/03/LAWS-10-Problems-for-Global-Security.pdf).

29.LÓPEZ LATORRE, A. F., SEREBRENIK BELTRÁN, S., FERNÁNDEZ ALBA, N. y MARTÍNEZ VARGAS, J. R. (dir.), op. cit., p. 18. Así lo señala el ICRAC: “nos encontramos en un momento crítico en la evolución del armamento. Todavía estamos a tiempo para detener la automatización de la decisión de matar, para asegurarnos que todas las armas siguen estando controladas por seres humanos” (Laws: Ten Problem For Global Security, International Committee for Robot Arms Control (ICRAC), Geneva, 1317 April 2015, disponible en https://www.icrac.net/wp-content/uploads/2018/03/LAWS-10-Problems-for-Global-Security.pdf).) EL ICRAC creó, en octubre de 2012, la campaña Stop Killer Robots, una coalición de organizaciones no gubernamentales que trabajan para la prohibición de las armas completamente autónomas con el objetivo de conservar el control humano significativo sobre el uso de la fuerza, siendo su último logro el proyecto de ley presentado, el pasado 16 de diciembre de 2020, por el Partido Nacional Escocés, ante la Cámara de los Comunes, solicitando al gobierno británico que apoye la prohibición de los sistemas de armas autónomas letales (https://www.stopkillerrobots.org/about/).