Читать книгу Nuevas normatividades: Inteligencia Artificial, Derecho y Género - Rafael Fernández Acevedo - Страница 24

Los sistemas automatizados se pueden emplear con el objetivo de clasificar a los seres humanos y para elaborar predicciones sobre su futuro comportamiento. Para clasificar a las personas analizadas por el programa, se emplean determinadas características que, en principio, son relevantes para predecir el aspecto de la realidad social o comportamiento humano que el algoritmo ha sido diseñado para examinar9.

El hecho de que las sociedades occidentales se hayan construido sobre la base de unas estructuras que privilegian a unos grupos por encima de otros implica también que, a la hora de establecer normas y criterios que sirven de base en los procesos de toma de decisiones se tienden a tomar como criterios neutrales aquellos que, en realidad, son representativos de los grupos privilegiados10.

Por ejemplo, en los EE. UU. los usuarios de cupones de alimentos están obligados a registrar electrónicamente sus patrones de gasto para que las agencias gubernamentales puedan vigilar posibles fraudes.

En un caso, el Departamento de Agricultura de los EE. UU. (USDA) desactivó erróneamente el acceso al mercado de algunos supermercados somalíes porque los somalíes de bajos ingresos tienden a gastar toda su asignación mensual en un solo día, lo que no sigue el “patrón normal” establecido por el algoritmo de datos del Departamento de Agricultura de EE. UU11.

Al investigar más a fondo, se dieron cuenta de que esa práctica se debía a las barreras lingüísticas y a la escasa disponibilidad de alimentos somalíes en las comunidades locales. Por ello, los somalíes locales organizan viajes en coche en grupo y van a los supermercados somalíes de otras comunidades y compran los alimentos de un mes en un solo viaje12.

Cabe destacar en relación con esta cuestión que la fuerza de trabajo de las grandes empresas tecnológicas se caracteriza por su homogeneidad13. La falta de diversidad en los puestos en los que se desarrollan sistemas automatizados facilita que, al tomar decisiones acerca de cómo estos sistemas deben medir diferentes cualidades en los seres humanos o diferentes fenómenos sociales, no se tengan en cuenta las particularidades propias de las personas pertenecientes a grupos desaventajados e incluso que de manera consciente o inconsciente se introduzcan prejuicios propios de los programadores en los sistemas que crean14.