Entidad redactora: Colectic
Autor/a: Carla Fajardo Martín
Fuente original: Xarxanet
AlgoRace es un proyecto que quiere generar espacios de diálogo, difundir información y hacer incidencia política sobre el uso racista de las tecnologías de inteligencia artificial. El periodista e integrante del equipo Youssef M. Ouled, profundiza en el objetivo y en los casos concretos en que de dan estas discriminaciones.
¿Cómo nace AlgoRace?
Hace más de un año comenzamos hablar de la necesidad de incorporar una mirada antirracista al debate sobre la inteligencia artificial (IA). Veíamos espacios en lo que participaban expertos en IA o entidades que lo abordan desde una perspectiva de derechos humanos o desde los derechos digitales, pero se echaba en falta esa otra perspectiva. Había gente que a nivel individual venía haciéndolo, pero no conocíamos organizaciones que lo estuvieran haciendo y tampoco era una línea de trabajo en el tejido antirracista.
Nos juntamos diferentes perfiles para analizar la situación de la IA en España respecto de las poblaciones racializadas.
¿Qué acciones hacéis?
Analizamos cuáles son las realidades en las que se usan estas tecnologías para afectar a nuestras vidas. Investigamos para poder ver cuáles son los espacios (policía, administraciones públicas, fronteras…) en los que se aplican estas técnicas para reforzar el racismo.
Además, queremos armar un argumentario para la sociedad civil antirracista que no participa en el debate porque considera que no tiene los conocimientos para poder detectarlo por su propia cuenta. También queremos hacer incidencia política y mediática.
El proyecto tiene fecha de caducidad.
Durará 18 meses. Durante este tiempo elaboraremos materiales y los compartiremos, haremos formaciones, charlas y talleres, queremos incidir en un contexto como la regulación de la IA que se está haciendo actualmente en la Unión Europea, así como algunas iniciativas que se están planteando desde algunas formaciones políticas de España.
Para ese año y medio hemos proyectado este plan de trabajo y tenemos el apoyo financiero de la Fundación para la Promoción y la Iniciativa por una Sociedad Abierta. Pero esto no quiere decir que después no vayamos a seguir funcionando.
¿La inteligencia artificial es racista? ¿Cómo podemos hacer que no lo sea?
La creencia que la IA es neutral y que no puede cometer errores le da una legitimidad absoluta. Si estamos hablando de algoritmos programados por personas en un contexto cultural que es machista y racista, difícilmente podemos hablar de neutralidad.
Por ejemplo, el reconocimiento facial se ha programado y testado sobre personas blancas y numerosos informes están diciendo que discriminan a las personas racializadas, especialmente a las mujeres. Esto genera que haya rostros que se asocian con determinadas conductas y en consecuencias se esté asociando el crimen con personas negras.
No es la tecnología, es la sociedad la que es racista.
Si alimentas programas de predicción de comportamientos delictivos con datos oficiales y sabemos que los barrios obreros y racializados son los más controlados e identificados debido a la presencia policial que hay, hay un sesgo previo, porque enviar a la policía a un lugar y no a otro es una decisión política. El racismo institucional que decide a quien se ha de controlar se traduce en la programación.
No se trata únicamente de un sesgo de la persona que hace la programación sino de un racismo estructural y mientras eso siga siendo así, es difícil que la IA no sea racista.
Es lo que pasa con la tecnología que se quiere implementar en las fronteras.
La recogida de datos biométricos no es solo discriminatorio porque vulnere derechos sino porque vivimos en un contexto que decide quién tiene derecho a moverse. Es decir, la propia lógica de refuerzo de las fronteras es racista más allá de la IA. Que haya una frontera, que se tan violenta y que genere tantas muertes es racista.
No se trata de decir que la IA no sirve, tiene múltiples usos que nos ayudan a mejorar nuestras vidas.
A veces parece que se utiliza solo en los Estados Unidos o en el norte de Europa, pero aquí también se usa.
Aquí hi hay programas como por ejemplo el ingreso mínimo vital, que te excluye si no resides en España desde hace más de un año, hay cámaras de reconocimiento facial en la estación de Méndez Álvaro de Madrid…
En el Mobile World Congress emplean el reconocimiento facial.
Tienen el poder de decidir sobre tu intimidad y buscan la manera en la que te veas obligado a registrarte. Además, lo gestiona una empresa externalizada que está en Hong Kong. Dicen que eliminaran los datos, pero no sabemos hasta qué punto esto será así. Hay una falta de transparencia enorme y es un escrutinio total de tu vida.
¿El software libre podría ser una herramienta contra eso?
Nos permite ver como está programado, pero ¿qué acceso tienen las organizaciones antirracistas para participar en esta tecnología? este conocimiento no se facilita. El debate está atomizado, es técnico i especializado, y eso impide la participación.
¿Hace falta más más presencia de personas racializadas en las empresas de IA?
Programan hombres blancos. Evidentemente, si hubiera más mujeres racializadas permitiría darle otra mirada. Pero lo que hace falta es una participación de las organizaciones. Si existe una forma de consultarlas, de generar espacios participativos, se evitarían muchas cosas. Si lo que hace la policía es entrenar un algoritmo mediante datos que ya tiene, por mucho que el agente que los introduce sea racializado, no depende de él. No depende tanto de la persona sino del contexto, de que haya más transparencia.
¿Cuánto más sabes, más miedo da?
No. Hicimos un encuentro con organizaciones antirracistas y nos decían: «Es lo mismo de siempre, solo que en lugar de hacerlo directamente, por ejemplo, la policía, lo hace un programa». Se sofistica y la responsabilidad se coloca en la tecnología. Tu ni siquiera puedes enfrentarte a la persona porque tienes un programa enfrente. Ahora son las máquinas las que se utilizan para reproducir violencia racista. Es otro lugar en el que se debe dar la batalla. Estamos verdes porque hay mucho desconocimiento y en ese contexto nace AlgoRace.
AlgoRace 