La organización en defensa de la justicia penal Fair Trials ha lanzado hoy una herramienta interactiva en línea diseñada para mostrar cómo la policía y otras autoridades de la justicia penal están utilizando sistemas predictivos para calificar a personas y zonas como criminales, incluso antes de que se hayan producido supuestos delitos.
La investigación de Fair Trials Automatización de la injusticia, ha demostrado que cada vez más fuerzas policiales y autoridades de justicia penal de toda Europa usan sistemas automatizados y basados en datos, incluida la inteligencia artificial (IA), para elaborar perfiles de personas e intentar «predecir» su «riesgo» de cometer un delito en el futuro, así como elaborar perfiles de zonas para «predecir» si en ellas se cometerán delitos en el futuro.
Estos sistemas se crean y funcionan con datos discriminatorios, lo que refuerza las desigualdades estructurales e institucionales en toda la sociedad y conduce a resultados injustos y racistas. Estas predicciones pueden dar lugar a vigilancia, interrogatorios y redadas domiciliarias, y pueden influir en las decisiones de detención preventiva y de imposición de penas.
La oposición a los sistemas policiales y judiciales predictivos es cada vez mayor en toda Europa, y muchas organizaciones y algunos miembros del Parlamento Europeo apoyan su prohibición. Es por ello que, desde Fair Trials pide a los eurodiputados que prohíban los sistemas predictivos cuando voten el reglamento de Inteligencia Artificial (AI Act , según las siglas en inglés) en los próximos meses.
Griff Ferris, responsable jurídico y de políticas de Fair Trials señala que espera que este ejemplo de herramienta de predicción policial y judicial “sirva para concienciar sobre los resultados discriminatorios que generan estos sistemas.”
«Cada pregunta de nuestra herramienta de predicción está directamente relacionada con datos reales utilizados por la policía y las autoridades de justicia penal de toda Europa para elaborar perfiles de personas y lugares. Utilizar información sobre la asistencia de una persona a la escuela, sus circunstancias familiares, su origen étnico y sus finanzas para decidir si podría ser un delincuente es fundamentalmente discriminatorio”, ha señalado.
Y concluye que, la única manera de proteger a las personas y sus derechos en toda Europa es mediante la prohibición de estos sistemas: “Pedimos a los eurodiputados que prohíban los sistemas policiales y judiciales predictivos en la Ley de Inteligencia Artificial en las próximas votaciones que tendrán lugar este año”.
Birgit Sippel, del Parlamento Europeo (S&D, DE) y de la Comisión de Libertades Civiles, Justicia y Asuntos de Interior, también señaló como crucial reconocer que los elementos de injusticia estructural se intensifican con los sistemas de IA y, que por ello, “se debe prohibir de una vez por todas el uso de sistemas predictivos en la aplicación de la ley y la justicia penal”.
“Cualquier sistema de IA o automatizado que usen las autoridades policiales y judiciales para hacer predicciones sobre el comportamiento de individuos o grupos con el fin de identificar zonas y personas susceptibles de cometer un delito basándose en datos históricos, comportamientos anteriores o afiliación a un grupo concreto perpetuará y amplificará inevitablemente la discriminación existente”, añade que esto afectará especialmente a las personas pertenecientes a determinadas etnias o comunidades debido a los prejuicios de los sistemas de IA.
“La policía predictiva erosiona principios fundamentales de nuestras sociedades democráticas, como la presunción de inocencia, nuestro derecho a la intimidad y el Estado de Derecho».
«Imagina que un día te despiertas y la policía irrumpe en tu casa después de que la IA te haya señalado como sospechoso”, señaló Kim van Sparrentak, del Parlamento Europeo (Verdes/ALE, NL) y ponente alternativo sobre la Ley de IA. “Entonces te toca a ti demostrar que eres inocente. Eres tú contra el ordenador. Esto es peligroso, intrusivo y desproporcionado. El mito de que un cálculo es más ético que un humano puede destruir la vida de las personas. “La policía predictiva erosiona principios fundamentales de nuestras sociedades democráticas, como la presunción de inocencia, nuestro derecho a la intimidad y el Estado de Derecho».
Aquí se puede acceder a la herramienta interactiva
Las preguntas de la herramienta coinciden directamente con la información que utilizan activamente las fuerzas del orden y las autoridades de justicia penal en sus propios sistemas y bases de datos predictivos y de elaboración de perfiles.
En la vida real, si una persona encaja sólo con algunos de los datos (según nuestras preguntas), puede ser suficiente para ser marcada como «de riesgo». Del mismo modo, si los datos sobre una zona o un barrio se ajustan a un perfil similar, puede marcarse como un lugar donde se cometerán delitos en el futuro.
Se ha demostrado que los sistemas predictivos utilizan datos y perfiles discriminatorios y erróneos para realizar estas evaluaciones y predicciones. Intentan determinar el riesgo de criminalidad de una persona o predecir los lugares de comisión de delitos basándose en la siguiente información:
- Educación
- Vida familiar y antecedentes
- Barrios y lugares de residencia
- Acceso o participación en determinados servicios públicos, como la asistencia social, la vivienda o la atención sanitaria.
- Raza y/o etnia
- Nacionalidad
- Puntuaciones de crédito, calificación crediticia u otra información financiera
- Contacto con la policía, ya sea como víctima o testigo de un delito, o como sospechoso, aunque no haya sido acusado o condenado.
El reglamento sobre IA que se está debatiendo en la UE aportará algunas salvaguardias, limitando e incluso prohibiendo algunos usos de la IA para proteger a las personas y sus derechos en la UE, pero no va lo suficientemente lejos. Especialmente en la vulneración de derechos de las personas migrantes y racializadas. Es fundamental que se incluya una prohibición de los sistemas de inteligencia policial predictiva y justicia, junto con varias otras salvaguardias. Muchos eurodiputados en el Parlamento Europeo están de acuerdo con los planteamientos esgrimidos por Fair Trials, AlgoRace y otras muchas organizaciones como EDRi, lafede.cat, Rights International Spain, etc. pero es fundamental que la sociedad en su conjunto sepa entienda el por qué estos sistemas defectuosos deben prohibirse.
AlgoRace 