La Ley de Inteligencia Artificial de la UE debe proteger a las personas en movimiento

La Ley de Inteligencia Artificial (IA) de la Unión Europea regulará el desarrollo y el uso de la IA de «alto riesgo» y promoverá la adopción de una «IA fiable», protegiendo al mismo tiempo los derechos de las personas afectadas por los sistemas de IA.

Sin embargo, en su propuesta original, la Ley de IA de la UE no aborda ni previene adecuadamente los daños derivados del uso de la IA en el contexto migratorio. Mientras que los Estados y las instituciones a menudo promueven la IA en términos de beneficios para la sociedad en general, para las comunidades marginalizadas y las personas en movimiento (es decir, migrantes, solicitantes de asilo y refugiados), las tecnologías de IA se implementan en sistemas más amplios de sobrevigilancia, criminalización, discriminación estructural y violencia.

Es fundamental que la Ley de IA de la UE proteja a todas las personas de los usos nocivos de los sistemas de IA, independientemente de su condición migratoria. Nosotras, las organizaciones y personas abajo firmantes, pedimos al Parlamento Europeo, a la Comisión Europea, al Consejo de la Unión Europea y a los Estados miembros de la UE que garanticen que la Ley de Inteligencia Artificial de la UE protege los derechos de todas las personas, incluidas aquellas en movimiento. Para ello, recomendamos las siguientes enmiendas a la Ley sobre IA:

1. Prohibir usos inaceptables de los sistemas de IA en el contexto migratorio

Algunos sistemas de IA suponen un «riesgo inaceptable» para nuestros derechos fundamentales, que nunca se solucionará con medios técnicos o garantías procesales. Aunque la Ley de IA prohíbe algunos usos de la IA, no impide algunos de los usos más perjudiciales en temas de migración y control fronterizo, a pesar del potencial de daño irreversible que podría causar.

La Ley de IA debe modificarse para incluir como «prácticas prohibidas» las siguientes:

• Sistemas predictivos que se utilizan para interceptar, restringir e impedir flujos migratorios. Estos sistemas generan predicciones sobre dónde existe el riesgo de una “migración irregular” y se utilizan potencialmente para facilitar respuestas preventivas que prohíben o detienen la circulación de las personas, a menudo llevadas a cabo por terceros países alistados como guardianes y protectores de las fronteras europeas. Estos sistemas corren el riesgo de ser utilizados para políticas de control fronterizo punitivas y abusivas que impiden a las personas solicitar asilo, las exponen a un riesgo de devolución, violan su derecho a la libre circulación y presentan riesgos para el derecho a la vida, la libertad y la seguridad de la persona.
• Sistemas automatizados de evaluación de riesgos y elaboración de perfiles. Estos sistemas conllevan el uso de IA para evaluar si las personas en movimiento presentan un «riesgo» de actividad ilegal o amenaza a la seguridad ciudadana. Estos sistemas son intrínsecamente discriminatorios, ya que prejuzgan a las personas en función de factores que escapan a su control o de inferencias discriminatorias basadas en sus características demográficas y personales. Por tanto, tales prácticas violan el derecho a la equidad y a la no discriminación, la presunción de inocencia y la dignidad humana. También pueden dar lugar a violaciones injustas de los derechos al trabajo, a la libertad (por detención ilegal), a un juicio justo, a la protección social o derecho de acceso al sistema público de salud.
• Sistemas de reconocimiento de emociones y categorización biométrica. Sistemas como los «detectores de mentiras» de IA son tecnologías pseudocientíficas que pretenden deducir emociones a partir de datos biométricos, mientras que los análisis de comportamiento se utilizan para detectar a personas «sospechosas» por su aspecto. Su uso refuerza un proceso de sospecha hacia personas racializadas y en movimiento, y puede automatizar juicios discriminatorios.
• Identificación biométrica remota (IBR) en las fronteras y en los centros de detención y sus alrededores.Es necesario prohibir la identificación biométrica remota (como el uso del reconocimiento facial) para evitar un escenario distópico en el que esta tecnología se implementa como elemento disuasorio y parte de un régimen de interdicción más amplio en zonas fronterizas, impidiendo que las personas soliciten asilo y socavando las obligaciones de los estados miembros en virtud del derecho internacional, en particular la defensa del derecho a la no expulsión o devolución.

2. Ampliar la lista de sistemas de alto riesgo utilizados en la migración

Aunque la propuesta ya enumera en el Anexo III los usos de los sistemas de IA de «alto riesgo» en la migración y el control de fronteras, no recoge todos los sistemas basados en IA que afectan a los derechos de las personas y que deberían estar sujetos a medidas de control y transparencia.

Para garantizar que todos los sistemas de IA utilizados en la migración están regulados, debe modificarse el Anexo III para incluir como de «alto riesgo» los siguientes ejemplos:

• Sistemas de identificación biométrica. Los sistemas de identificación biométrica (como los escáneres móviles de huellas dactilares) se utilizan cada vez más para realizar controles de identidad, tanto en las fronteras de la UE como dentro de los estados miembros. Estos sistemas facilitan y aumentan la práctica ilegal y nociva de la elaboración de perfiles raciales, en la que la raza, la etnia o el color de la piel sirven como indicadores de la situación migratoria de una persona. Debido a los graves riesgos de discriminación que conlleva el uso de estos sistemas, los legisladores deben garantizar que la Ley de IA de la UE regule su uso.
• Sistemas de IA para el control y la vigilancia de fronteras. A falta de vías seguras y fuera de peligro de acceso al territorio de la UE, las personas cruzarán las fronteras europeas por medios irregulares. Las autoridades utilizan cada vez más los sistemas de IA para la vigilancia generalizada e indiscriminada de las fronteras, como drones o cámaras térmicas. El uso de estas tecnologías puede exacerbar la violencia fronteriza y facilitar expulsiones colectivas o devoluciones ilegales. Dados los elevados riesgos e injusticias estructurales, los legisladores deben incluir todos los sistemas de IA utilizados para la vigilancia fronteriza dentro del alcance de esta Ley.
• Sistemas analíticos predictivos utilizados en migración, asilo y control de fronteras. Los sistemas utilizados para generar predicciones sobre los flujos migratorios pueden tener grandes consecuencias para los derechos fundamentales y el acceso a los procedimientos de protección internacional. A menudo, estos sistemas influyen en cómo se evalúan y asignan los recursos en los contextos de control de la migración y protección internacional. Las evaluaciones incorrectas sobre los flujos y patrones migratorios, así como las necesidades de acogida tendrán consecuencias significativas para la preparación de los Estados miembros, pero también para la probabilidad de que las personas puedan acceder a la protección internacional y muchos otros derechos fundamentales. Como tales, los sistemas predictivos deben considerarse de «alto riesgo» cuando se implementan en el contexto migratorio.

3. Garantizar que la Ley de IA se aplique a todos los sistemas de alto riesgo en la migración, incluidos los que se utilizan como parte de los sistemas TIC de la UE.

El Artículo 83 de la Ley de IA establece las reglas para los sistemas de IA que ya están implementados en el momento de la entrada en vigor de dicha legislación. Este Artículo incluye una excepción para los sistemas de IA que forman parte de los sistemas de TIC de la UE utilizados en el contexto migratorio, como Eurodac, el Sistema de Información de Schengen y ETIAS. Todos estos sistemas informáticos de gran escala, que prevén una capacidad de más de 300 millones de registros, implican el tratamiento automatizado de datos personales y sensibles, sistemas automatizados de evaluación de riesgos o el uso de tecnología de identificación biométrica. Por ejemplo, la UE planea someter a todos los solicitantes de visados y «autorizaciones de viaje» a tecnologías automatizadas de elaboración de perfiles de riesgo en los próximos años. Además, las instituciones de la UE están considerando actualmente una actualización de Eurodac para incluir el procesamiento de imágenes faciales en las bases de datos de los solicitantes de asilo. La exclusión de estas bases de datos significaría que no se aplican las garantías de la Ley de IA de la UE. 

Esta exención general solo servirá para disminuir la rendición de cuentas, la transparencia y la supervisión de los sistemas de IA utilizados en el control de la migración de la UE, y disminuirá la protección de las personas afectadas por los sistemas de IA como parte de los sistemas de TIC de la UE. Debido a la exención del control regulatorio de estos sistemas, la Ley de IA de la UE daría lugar a un doble rasero en lo que respecta a la protección de los derechos fundamentales de las personas, en función de su estatus migratorio. 

La Ley de IA de la UE debe modificarse para garantizar que el Artículo 83 aplica las mismas reglas de cumplimiento para todos los sistemas de alto riesgo y protege los derechos fundamentales de toda persona, independientemente de su condición migratoria.

4. Asegurar que se apliquen medidas de transparencia y supervisión.

Las personas afectadas por sistemas de IA de alto riesgo deben poder comprender, cuestionar y buscar soluciones cuando esos sistemas violen sus derechos. En el contexto migratorio, este requisito es tanto urgente como necesario dado el abrumador desequilibrio de poder entre quienes implementan sistemas de IA y quienes están sujetos a ellos. 

La Ley de IA de la UE debe evitar daños por los sistemas de IA utilizados en el contexto migratorio y de control fronterizo, garantizar la transparencia pública y empoderar a las personas para buscar justicia. La Ley de IA de la UE debe modificarse para: 

• Incluir la obligación de los usuarios de sistemas de IA de alto riesgo de realizar y publicar una evaluación de impacto en los derechos fundamentales antes de implementar cualquier sistema de IA de alto riesgo, así como durante su ciclo de vida.
• Asegurar requisitos para que las autoridades registren el uso de alto riesgo, y todos los usos públicos, de la IA dentro de las migraciones, el asilo y la gestión de fronteras en la base de datos de la UE. La transparencia pública es esencial para una supervisión eficaz, particularmente en las áreas de alto riesgo dentro del contexto migratorio donde están en juego una serie de derechos fundamentales. Es crucial que la Ley de IA no permita exclusiones para las medidas de transparencia en la aplicación de la ley y la migración.
• Incluir derechos y mecanismos de reparación para permitir que las personas y los grupos entiendan, busquen explicaciones, se quejen y obtengan soluciones cuando los sistemas de IA violen sus derechos. La ley de IA debe proporcionar vías efectivas para que las personas afectadas, o las organizaciones de interés público en su nombre, desafíen los sistemas de IA dentro de su alcance si no cumplen o violan cualquier derecho fundamental.  

Redactado por: Access Now, European Digital Rights (EDRi), Platform for International Cooperation on Undocumented Migrants (PICUM), and the Refugee Law Lab.

Con el soporte de: Amnesty International, Avaaz, Border Violence Monitoring Network (BVMN), EuroMed Rights, European Center for Not-for-Profit Law (ECNL), European Network Against Racism (ENAR), Homo Digitalis, Privacy International, Statewatch, Dr Derya Ozkul, Dr. Jan Tobias y  Dr Niovi Vavoula.

Traducido al español por: AlgoRace y LaFede.cat

 

Firmado por:

1. Access Now, International
2. Albanian Media Council, Albania
3. AlgoRace, Spain
4. Algorights, Spain 
5. AlgorithmWatch, Germany
6. All Faiths And None, United Kingdom
7. Àltera APS, Italy
8. Alternatif Bilisim (Alternative Informatics Association), Turkey
9. Amnesty International, International
10. ARCI, Italy
11. Are You Syrious, European
12. ARSIS Asociation for the Social Support of Youth, Greece
13. Asociación Nacional Presencia Gitana, Spain
14. Asociación Por Ti Mujer, Spain
15. Aspiration, USA/International
16. Association for Integration and Migration, Czech Republic
17. Association for Juridical Studies on Immigration (ASGI), Italy
18. ASTI Luxembourg – Association de soutien aux travailleurs immigrés, Luxembourg
19. AsyLex, Switzerland
20. Avaaz, International
21. Baladre, Spain
22. Bits of Freedom, Netherlands
23. Blindspots, Germany
24. Border Criminologies, United Kingdom
25. Border Violence Monitoring Network, Europe
26. Bürgerrechte & Polizei/ CILIP, Germany
27. C.N.C.A. Coordinamento nazionale comunità accoglienti, Italy
28. Catalina Quiroz-Niño, Spain
29. CEDA – Center for Muslim Rights in Denmark, Denmark
30. Center for AI and Digital Policy (CAIDP), International
31. Center for Muslim Rights in Denmark (CEDA), Denmark
32. Centre for Democracy & Technology, International
33. Centre for Information Technology and Development (CITAD), Nigeria
34. Centre for Peace Studies, Croatia
35. Civil Liberties Union for Europe, European
36. CNCD-11.11.11, Belgium
37. Collective Aid, Bosnia Herzegovina
38. Comisión Española de Ayuda al Refugiado (CEAR), Spain
39. Comisión Legal Sol, Spain
40. Comitato per i Diritti Civili delle Prostitute APS, Italy
41. Comite de Apoyo a las Trabajadoras del sexo CATS, Spain
42. Consortium for Refugees and Migrants in South Africa, South Africa
43. Corporate Europe Observatory, Belgium
44. Czech Helsinki Committee, Czech Republic
45. D64 – Zentrum für Digitalen Fortschritt e. V., Germany
46. Derechos Digitales, Latin America
47. Digital Society, Switzerland
48. Digitalcourage, Germany
49. Diotima – Centre for gender rights & equality, Greece
50. Državljan D / Citizen D, Slovenia
51. Electronic Frontier Finland, Finland/European
52. Elektronisk Forpost Norge (EFN), Norway
53. Equipo del Decenio Afrodescendiente, Spain
54. Erletxe, Spain
55. Estonian Human Rights Centre, Estonia
56. EuroMed Rights, Regional (Europe/Middle East/North Africa)
57. European Anti poverty Network, European
58. European Center for Human Rights, European
59. European Center for Not-for-Profit Law (ECNL), Europe
60. European Civic Forum, European
61. European Council on Refugees and Exiles (ECRE), European
62. European Digital Rights (EDRi), European
63. European Federation of National Organisations Working with the Homeless (FEANTSA), European
64. European Muslim Initiative for Social Cohesion, Denmark
65. European Network Against Racism (ENAR), European
66. European Network for the Promotion of Rights and Health among Migrant Sex Workers (TAMPEP), Netherlands
67. European Network On Religion and Belief (ENORB), European
68. European Network on Statelessness, European
69. European Race and Imagery Foundation, Netherlands/Switzerland/Germany
70. European Sex Workers’ Rights Alliance (ESWA), Europe/Central Asia
71. Fair Trials, International
72. FAIRWORK Belgium, Belgium
73. Fem-R, Finland
74. Feminist Autonomous Centre for Research, Athens, Greece
75. Generation 2.0 for Rights, Equality & Diversity, Greece
76. Glitch, United Kingdom
77. Global Data Justice project (Tilburg Institute for Law, Technology and Society), Netherlands
78. Greek Forum of Migrants, Greece
79. Hacklab-ferro, Spain
80. Haringey Welcome, United Kingdom 
81. Health Action International, Netherlands
82. Hermes Center, Italy
83. Homo Digitalis, Greece
84. HumanRights360, Greece
85. I Have Rights, Greece
86. In-Exile and Refugees Solidarity movement, International 
87. Institute Circle, Slovenia
88. Institute for Strategic Dialogue (ISD), UK / Germany / International
89. International Detention Coalition, International
90. International Federation For Human Rights (FIDH), International
91. International Federation of ACAT (FIACAT), France
92. International Women* Space Berlin, Germany/European
93. IRIDIA Center of Defense of Human Rights, Spain
94. Irish Council for Civil Liberties (ICCL), Ireland
95. IT-Pol, Denmark
96. Iuridicum Remedium, Czech Republic
97. Ivorian Community of Greece, Greece
98. Kif Kif vzw, Belgium
99. KISA – Equality, Support, Antiracism, Cyprus
100. Koapanang Africa Against Xenophobia {KAAX], South Africa/International
101. KOK – German NGO Network against Trafficking in Human Beings, Germany
102. La Strada International, Netherlands
103. Lafede.cat, Spain
104. Lassane Ouedraogo – Africa Solidarity Centre Ireland, Ireland
105. Lawyers for Human RIghts, South Africa/International
106. Legal Centre Lesvos, Greece
107. Ligue Des Droits De L’Homme, France
108. Ligue des Droits Humains, Belgium
109. Migrant Tales, Finland
110. Migrant Women Association Malta, Malta
111. Migrants Organise, United Kingdom
112. Migration-Controle.info, Germany/International
113. Migreurop, France
114. Mobile Info Team, Greece
115. Moje Państwo Foundation, Poland
116. Movement of Asylum Seekers in Ireland (MASI), Ireland
117. NGO Legis, Republic of North Macedonia
118. Novact, Spain
119. Open Rights Group, United Kingdom
120. Open Society Foundations, International
121. Panoptykon Foundation, Poland 
122. Platform for International Cooperation on Undocumented Migrants (PICUM), International
123. Politiscope, Croatia
124. Privacy International, International
125. Privacy Network, Italy
126. Prostitution Information Center (PIC), Netherlands
127. R3D: Red en Defensa de los Derechos Digitales, Mexico
128. Racism and Technology Center, Netherlands
129. Red de Mujeres Latinoamericanas y del Caribe, Spain
130. R3D: Red en Defensa de los Derechos Digitales
131. Red Española De Inmigración Y Ayuda Al Refugiado, Spain
132. Red Umbrella Athens, Greece
133. Red Umbrella Sweden, Sweden
134. Refugee Law Lab, York University, International
135. Refugee Legal Support (RLS), Greece/United Kingdom/France
136. Refugees International, United States
137. Revibra Europe, European
138. Salud por Derecho, Spain
139. Samos Volunteers, Greece
140. Sea-Watch, Germany/European 
141. Sekswerkexpertise, Dutch Platform for the advancement of sex workers rights, Netherlands
142. Sex Workers’ Empowerment Network, Greece
143. SHARE Foundation, Serbia/South East Europe
144. SOS Malta, Malta
145. SOS Racismo Gipuzkoa, Spain
146. STAR-STAR Skopje, North Macedonia
147. Statewatch, European
148. Stichting LOS, Netherlands
149. Still I Rise, International
150. StraLi for Strategic Litigation , Italy
151. Subjective Values Foundation, Hungary
152. SUPERRR Lab, Germany
153. SW Digitaal, Netherlands
154. Symbiosis – School of Political Studies in Greece, Greece
155. Tamkeen for Legal aid and Human Rights, Jordan
156. Taraaz, International
157. The App Drivers and Couriers Union, United Kingdom
158. The Joint Council for the Welfare of Immigrants, United Kingdom
159. Today is a New Day, Institute for Other Studies, Slovenia
160. Trans United Europe/BPOC Trans network, Netherlands
161. Utrecht University, Digital Migration Special Interest Group, Netherlands
162. Waterford Integration Services, Ireland
163. Yoga and Sport With Refugees , Greece

Individuales:

1. Angela Daly, Professor of Law & Technology, Leverhulme Research Centre for Forensic Science, Dundee Law School and International Research Fellow, Information Society Law Center, University of Milan, Italy
2. Asli Telli, Research Associate at WISER, The Social and Economic Research Institute at Wits University
3. Chiara De Capitani, PhD researcher in International Law at the Università di Napoli L’Orientale
4. Claudia Aradau, Professor of International Politics, Department of War Studies and Principal Investigator of the ERC Consolidator Grant Security Flows,  King’s College London
5. Cristina Del Biaggio
6. Douwe Korff, Emeritus Professor of International Law, London Metropolitan University and Associate, Oxford Martin School, University of Oxford
7. Dr Arjumand Bano Kazmi
8. Dr Derya Ozkul, Senior Research Fellow, Refugee Studies Centre, University of Oxford
9. Dr Grace S. Thomson
10. Dr Koen Leurs, Associate Professor , Department of Media and Culture, Utrecht University
11. Dr Niovi Vavoula, Lecturer (Assistant Professor) in Migration and Security at Queen Mary University of London
12. Dr Philipp Seuferling, LSE Fellow, Department of Media and Communications, London School of Economics and Political Science
13. Dr Sarah Perret, Research Associate, Department of War Studies, King’s College London
14. Dr. Jan Tobias Muehlberg imec-DistriNet, KU Leuven, Belgium
15. Edward Hasbrouck
16. Elisa Elhadj, PhD Candidate KU Leuven & Research Fellow at the Center for AI and Digital Policy
17. Francesca Meloni, Lecturer in Social Justice at the School of Education, Communication & Society, King’s College London
18. Judith Membrives i Llorens, Universitat Oberta de Catalunya
19. Luis H. Porras, Universidad Complutense de Madrid
20. Marc Bria Rmírez, Universitat Autònoma de Barcelona
21. Mary Gitahi, RLO study Uganda Lead Researcher, Refugee Studies Centre, University of Oxford
22. Mirjam Twigt, Postdoctoral Fellow IKRS, Faculty of Law, University of Oslo
23. Nabila Hamza
24. Prof. Markus Krebsz, The Human-AI.Institute
25. Senior Research Associate’ in the Department of Anthropology & Development Studies at the University of Johannesburg
26. Theodora Christou, Queen Mary University of London
27. Trivik Verma, Assistant Professor, Faculty of Technology, Policy and Management in Delft University of Technology
28. Victoria Canning, Associate Professor of Criminology, University of Bristol
29. Yassine Boubout