Traducción del texto de Sarah Chander para EDRi
Mientras la Unión Europea modifica la Ley de Inteligencia Artificial (EU AI Act), es vital analizar el impacto que tienen los sistemas de Inteligencia Artificial (IA) sobre las comunidades marginalizadas. Los sistemas de IA se desarrollan, prueban y despliegan cada vez más para juzgar y controlar de forma perjudicial a las personas que migran. ¿Cómo podría la Ley de Inteligencia Artificial prevenirlo?
Desde los detectores de mentiras por IA, pasando por los sistemas de elaboración de perfiles de riesgo por IA que se utilizan para evaluar los posibles movimientos «ilegales», hasta el complejo de vigilancia tecnológica en las fronteras europeas, que se está expandiendo rápidamente, los sistemas de IA se están convirtiendo en una característica más de la política migratoria europea.
A la vanguardia de la innovación
Mientras que las instituciones de la UE promueven la adopción de la IA como un objetivo político, para las comunidades marginalizadas, y en particular para los migrantes y las personas que se desplazan, las tecnologías de la IA encajan en un sistema más amplio de sobrevigilancia, discriminación y violencia. Como destaca Petra Molnar en Technological Testing Grounds: Migration Management Experiments and Reflections from the Ground Up, los sistemas de IA controlan cada vez más la migración y afectan a las millones de personas que se desplazan. La «innovación» significa un cada vez mayor «laboratorio humano» de experimentación tecnológica. Experimentos que se llevan a cabo sobre personas que ya se encuentran en situaciones de peligro y vulnerabilidad.
¿Cómo afectan estos sistemas a las personas? En la gestión migratoria, la IA se utiliza para hacer predicciones, valoraciones y evaluaciones sobre las personas en el contexto de sus solicitudes (“como migrantes” o “administrativas”). Resulta especialmente preocupante el uso de la IA para evaluar si las personas que se desplazan presentan un «riesgo» de actividad ilegal o amenazas para la seguridad. Los sistemas de IA en este ámbito son intrínsecamente discriminatorios, ya que prejuzgan y presuponen la existencia de factores de riesgo en función de criterios que escapan al control de estas personas. Junto con los detectores de mentiras, los polígrafos y el reconocimiento de emociones, vemos cómo la IA se está utilizando y desarrollando en un marco más amplio de sospecha racial contra los migrantes.
“Somos negros y los guardias fronterizos nos odian. Sus ordenadores también nos odian». Adissu, residente sin estatus migratorio en Bruselas, Bélgica*
Estos sistemas de IA no sólo causan graves daños a las personas que se desplazan de forma individual, sino que forman parte de un ecosistema de vigilancia más amplio que se desarrolla cada vez más en las fronteras de Europa, pero también dentro de ellas. (Las personas racializadas y) los migrantes son cada vez más vigilados, perseguidos, detenidos y criminalizados a través de las políticas nacionales y de la UE. Los sistemas tecnológicos forman parte de esas infraestructuras de control.
En concreto, muchos sistemas de IA se están probando y desplegando a nivel estructural para dar forma a la manera en que los gobiernos y las instituciones responden a la migración. Esto incluye la IA para la vigilancia generalizada en las fronteras, incluidos los «sistemas robóticos heterogéneos» en las zonas costeras, y los sistemas analíticos predictivos para prever tendencias migratorias. Existe una gran preocupación de que la analítica predictiva se utilice para facilitar los rechazos, las retiradas u otras formas de impedir que las personas ejerzan su derecho al asilo. Esta preocupación es especialmente válida en un clima de criminalización de la población migrante cada vez mayor, así como de los defensores de los derechos humanos que ayudan a los migrantes. Aunque estos sistemas no siempre toman decisiones directamente sobre las personas, afectan enormemente a su experiencia en las fronteras y al proceso migratorio, desplazándose aún más hacia la vigilancia, el control y la violencia.
Regulación de la tecnología de la migración: ¿Qué ha pasado hasta ahora?
En abril de 2021, la Comisión Europea lanzó su propuesta legislativa para regular la IA en la Unión Europea. La propuesta, aunque clasifica algunos de los usos de los sistemas de IA en el control migratorio como de «alto riesgo», no aborda cómo éstos exacerban la violencia y la discriminación contra las personas en los procesos migratorios y en las fronteras.
La propuesta no prohíbe algunos de los usos más perjudiciales de la IA en el control migratorio, a pesar del importante desequilibrio de poder que estos sistemas generan y recrudecen. La propuesta también incluye una excepción para los sistemas de IA que formen parte de los sistemas informáticos a gran escala de la UE, como EURODAC. Esto implica que la propia UE no será examinada por su uso de la IA en el contexto de sus bases de datos de migración, lo que supone un problema.
En muchos sentidos, estas comprobaciones técnicas mínimas que se exigen a un conjunto limitado de sistemas de alto riesgo en el control de la migración podrían considerarse como una “habilitación”, en lugar de proporcionar protecciones significativas para las personas sometidas a estos opacos y discriminatorios sistemas de vigilancia.
La propuesta no incluye tampoco ninguna referencia a los sistemas analíticos predictivos en el contexto migratorio, ni a las tecnologías de vigilancia generalizada en las fronteras, en particular las que no toman decisiones sobre las personas físicas ni las identifican. Por lo tanto, los sistemas que realmente suponen un daño enorme para las personas migrantes parecen haber sido completamente ignorados.
En sus primeros pasos para enmendar la propuesta, la comisión IMCO-LIBE no hizo ninguna enmienda específica en el ámbito migratorio. Hacen falta grandes pasos para mejorar los procesos migratorios desde la perspectiva del respeto a los derechos fundamentales.
Enmiendas: ¿Cómo puede la ley de IA de la UE proteger mejor a las personas que se desplazan (o “migrantes”?)
La sociedad ha estado trabajando en la elaboración de enmiendas a la Ley de IA para proteger mejor contra estos daños en el contexto migratorio. En general, las instituciones de la UE aún tienen un largo camino que recorrer para hacer de esta ley un vehículo para la protección de los derechos fundamentales de las personas, especialmente de aquellos en situación de vulnerabilidad.
La Ley de IA debe revisarse y actualizarse para abordar los perjuicios relacionados con la aplicación de sistemas de IA en el contexto migratorio. Tres puntos principales a tener en cuenta:
- Actualizar las prácticas de IA prohibidas por la ley (artículo 5) para incluir los «usos inaceptables» de los sistemas de IA en el contexto migratorio. Esto debería incluir la prohibición de los sistemas de evaluación del riesgo individual y de elaboración de perfiles basados en la IA que se basan en datos personales y sensibles; los polígrafos de IA; los sistemas de análisis predictivo cuando se utilizan para interceptar, restringir e impedir la migración; y una prohibición total de la identificación y categorización biométrica a distancia en espacios públicos, incluidos los entornos de control de fronteras y de migración.
- Incluir dentro de los casos de uso de «alto riesgo» los sistemas de IA en el control de la migración que requieran medidas claras de supervisión y rendición de cuentas, incluyendo: todas las demás evaluaciones de riesgo basadas en la IA; los sistemas analíticos predictivos utilizados en la gestión migratoria, el asilo y el control de fronteras; los sistemas de identificación biométrica; y los sistemas de IA utilizados para la supervisión y vigilancia en el control de fronteras.
- Modificar el Artículo 83 para garantizar que la IA, como parte de las bases de datos informáticas a gran escala de la UE, entre en el ámbito de aplicación de la Ley de IA y que se apliquen las protecciones necesarias para los usos de la IA en el contexto de la migración de la UE.
Las recomendaciones para la presentación de enmiendas sobre la IA y la migración se elaboraron en coalición, lo que refleja el amplio alcance de los daños y las disciplinas que abarca este tema. Un agradecimiento especial a Petra Molnar, Access Now, la Plataforma de Cooperación Internacional para los Inmigrantes Indocumentados (PICUM), Statewatch, Migration and Technology Monitor, el Foro Europeo de la Discapacidad, Privacy International, Jan Tobias Muehlberg y el Centro Europeo de Derecho no Lucrativo (ECNL).
* Esta cita está tomada del informe Technological Testing Grounds, publicado por la becaria de Mozilla Petra Molnar para EDRi.
Sarah Chander (@sarahchander )
Asesora política principal
AlgoRace 