Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 28

Con respecto al uso de sistemas automatizados por instituciones públicas cabe destacar, en primer lugar, la tendencia de los seres humanos a creer que los resultados ofrecidos por “la máquina” son objetivos. Esta confianza en los sistemas automatizados puede derivar, por una parte, en una falta de análisis crítico de las predicciones o sugerencias realizadas por el algoritmo y, por otra, en un aumento de la utilización de estos sistemas incluso en contextos en los que su uso no es recomendable. Este sesgo pro-máquina también se materializa en relación con el aumento de eficiencia derivado de la automatización de procesos que puede incluso llegar a hacernos perder de vista otros objetivos y principios que deben ser protegidos por las instituciones públicas.

Por ejemplo, en Austria, desde 2020 y hasta recientemente se utilizó un sistema automatizado por el sistema público de desempleo. Este programa informático clasificaba a las personas desempleadas en tres grupos en función de su probabilidad (alta, media o baja) de encontrar un nuevo trabajo y, por ejemplo, restaba puntos a las mujeres o las personas nacionales de Estados no miembros de la UE ya que estas tenían menos probabilidades de encontrar un nuevo puesto de trabajo. Esto es, a cuantos más grupos desaventajados perteneciese una persona, más fácil era que fuese ubicada en el grupo de personas con menor probabilidad de encontrar un nuevo empleo19.

Esta predicción no hubiese sido en sí problemática si después se hubiesen destinado los recursos de manera acorde a las necesidades de cada persona desempleada. El problema surge porque se decidió que era más eficiente asignar recursos a las personas con una probabilidad media de encontrar un nuevo empleo y se redujo considerablemente la cantidad de recursos dedicados a las personas con una baja probabilidad de encontrar un nuevo empleo20.

Por otra parte, también cabe destacar que, en general, el uso de sistemas automatizados en la provisión de servicios y, sobre todo, de ayudas públicas, puede también contribuir a perpetuar las situaciones de desigualdad incluso cuando no generen resultados discriminatorios21.

En primer lugar, cuando los programas de ayudas públicas son parcial o totalmente gestionados por un sistema informático pueden generarse situaciones en las que el sistema genere errores que las personas solicitantes de la ayuda no puedan detectar o a los que no tengan medios para enfrentarse. Por ejemplo, el algoritmo utilizado para la asignación del bono social eléctrico en España denegó la ayuda de manera errónea a determinadas familias que cumplían con los requisitos fijados en la norma22. Resulta esencial que las personas solicitantes de esta clase de ayudas cuenten con una red de apoyo suficiente, proporcionado por las propias instituciones públicas, que garantice que, en casos como el indicado, puedan recurrir las decisiones generadas por la máquina.

En segundo lugar, el creciente uso de sistemas automatizados para la detección del fraude en el contexto de programas de ayudas sociales contribuye a fomentar los estereotipos negativos asociados a las personas procedentes de entornos socioeconómicos más bajos23.