Vigilar y equivocarse

Desde abril, la policía de la Ciudad implementa sistemas de reconocimiento facial para buscar prófugos pero la tasa de errores es altísima. ¿Cuáles son los riesgos de estas tecnologías de vigilancia urbana? ¿Los algoritmos pueden discriminar?

Fernando Bercovich
13 de agosto de 2019 10:08 hs
fernando@cenital.com  
@ferbercovich

Semanas atrás, en la estación de Retiro de la ciudad de Buenos Aires la policía detuvo a Guillermo Ibarrola acusado de haber perpetrado un robo en Bahía Blanca. Seis días después, a horas de ser trasladado a un penal de máxima seguridad, Ibarrola fue liberado porque la fiscal se dio cuenta de que no era el hombre que buscaban.

Tanto en este caso como en las protestas en Hong Kong en rechazo a la injerencia china que se vienen dando en las últimas semanas estuvo implicado un sistema de reconocimiento facial por medio de cámaras que son capaces de reconocer los principales rasgos de una cara. Entiende que una ceja es una ceja, que un bigote es un bigote, y así. Tanto la policía de Hong Kong como la de Buenos Aires -desde abril de este año- aplican herramientas similares. Veamos qué pasó en cada caso.

Durante las protestas en Hong Kong se habló mucho de este sistema ya que los manifestantes salieron a las calles armados con láseres para bloquear las cámaras y que no los pudieran sumar a la base de datos de delincuentes buscados. Hasta detuvieron a un dirigente estudiantil "por posesión de armas ofensivas". Tenía en su mochila diez láseres.


El caso local no incluye láseres ni dirigentes estudiantiles. "Fue un error de la máquina", declaró Guillermo Ibarrola al relatar cómo la policía de la Ciudad lo había detenido en la estación de Retiro porque el sistema de reconocimiento facial le dio match a su cara con la de un ladrón buscado desde 2016. Al final, se trataba de una persona con la que solamente comparte el apellido. En el interín, Guillermo durmió seis noches en una comisaría de Bahía Blanca.

Pero no fue un caso aislado. Desde su implementación, la policía de la Ciudad reconoció a 1.227 personas a través de más de 300 cámaras -de un total de casi 7.000 que hay en la ciudad de Buenos Aires- que hay repartidas en estaciones de subte y tren. Fueron 14 personas por día en promedio, pero sólo en el 18% de los casos dieron con la persona buscada. El resto fueron errores en la base de datos de la que se nutre un algoritmo de reconocimiento facial que indica si esa persona está prófuga o no.

Se trató entonces de falsos positivos. Por el contrario, los falsos negativos se dan cuando el algoritmo no detecta que la cara de un transeúnte es igual a la de un individuo que figura en la base de datos del Registro Nacional de Rebeldías y Capturas. Pero, claro, de esos no nos enteramos.

Los algoritmos no prejuzgan

Los algoritmos se equivocan, igual que las personas. Pero, ¿cómo se equivocan los algoritmos? Germán Rosati, especialista en métodos de machine learning aplicados a las ciencias sociales del CONICET, señala que "la aplicación y el uso de algoritmos y técnicas de análisis lleva a la reproducción de prejuicios, discriminaciones o situaciones de desigualdad preexistentes: de género, de clase y otras. Dichos sesgos y desigualdades son parte de las estructuras sociales en las que vivimos. No son generados por la aplicación". Básicamente, Rosati plantea los algoritmos no prejuzgan, sino que reflejan nuestros prejuicios.

El traductor de Google es una fiel prueba de estos "sesgos de selección" pero ya no sobre imágenes sino sobre texto. Hasta hace algún tiempo, cuando uno buscaba traducir un término que en un idioma era neutro pero que en otro podía ser masculino o femenino, por defecto algunas traducciones optaban por el femenino y otras por el masculino. Por ejemplo, al tipear "doctor" la primera traducción que sugería era "médico", mientras que para "nurse" devolvía "enfermera". Esto en la actualidad ya no sucede, al menos con palabras sueltas: a Google también le tocó deconstruirse.

Una referencia obligada en temas vinculados a tecnología y derechos civiles es la ONG Vía Libre, cuya presidenta, Beatriz Busaniche, sostuvo en una entrevista que "estas tecnologías tienen alto grado de inmadurez y fallan". Busaniche, además, cuenta que "cuando se implementó en Gales, en un partido de la Champions League, hubo un 90% de falsos positivos". Menos de 200 de las alrededor de las 2 mil personas demoradas por la policía de Gales tenían efectivamente algún antecedente de violencia deportiva.

Enrique Chaparro, también de Vía Libre, en un reportaje que concedió a La Nación fue un poco más allá y no solamente cuestionó el sistema de reconocimiento facial: "No hay evidencia de que las cámaras en la vía pública eviten delitos". Y agregó: "El gobierno de la Ciudad puede tener buenas intenciones, pero cuando se implementan medidas como estas, siempre hay que pensar qué podría hacer el peor de los gobiernos democráticos".

El bucle

En su libro "Armas de destrucción matemática" (Weapons of Math Destruction), Cathy O'Neil, una matemática estadounidense de la Universidad de Columbia, dedica un capítulo entero a cómo los algoritmos modifican -no necesariamente para bien- la conducta de la policía y de la justicia en general.

En ese capítulo, O'Neil cuenta que la policía de San Diego, en California, utilizó el reconocimiento facial con 26 mil personas entre 2011 y 2015, y hasta les tomaron muestras de saliva para extraer su ADN. Ella problematiza ese proceder por razones muy claras: "En la lógica implícita de la Constitución, dejar en libertad a alguien que pudiera haber cometido un delito por falta de pruebas es menos peligroso para nuestra sociedad que encarcelar o ejecutar a una persona inocente. Los algoritmos, por el contrario, tienden a priorizar la eficiencia. Por su propia naturaleza, se alimentan de datos medibles y cuantificables. Mientras que la justicia es difícil de medir y cuantificar".

Básicamente, la matemática estadounidense indica que esos "falsos positivos", como Guillermo Ibarrola, no gozaron de un derecho fundamental: la presunción de inocencia. En el ejemplo típico de un test de una enfermedad grave es claro que un falso positivo (diagnosticar a alguien con una enfermedad que no tiene) es más deseable que un falso negativo (no diagnosticar a alguien que sí la tiene). Pero en el caso de privar a una persona de su libertad la lógica debería ser la inversa.

Otro de los casos que cuenta O'Neil en su libro tiene que ver con la segregación socio-territorial. Resulta que la policía de Chicago hizo una lista de 400 personas con mayor probabilidad de cometer un delito violento y las ordenaron en un ranking. Una de las personas de la lista, un chico de veintidós años de nombre Robert McDaniel, un día abrió la puerta de su casa y se encontró frente a un agente de policía. No tenía antecedentes por tenencia ilícita de armas y nunca había sido acusado de ningún delito violento pero, como la mayoría de los jóvenes de su barrio, McDaniel conocía a mucha gente que había ido a la cárcel.

"No cabe duda de que, estadísticamente, es más probable que una persona se comporte como las personas con las que pasa tiempo (...) Dios los cría y, estadísticamente hablando, ellos efectivamente se juntan", escribe O'Neil en su libro. Pero lo que dice a continuación es bien interesante: "[McDaniel] creció en un barrio pobre y peligroso (...) Ha vivido rodeado de delincuencia, y muchos de sus conocidos están atrapados en ella. Y en gran medida como consecuencia de estas circunstancias?-?y no de sus propios actos?-?se le considera peligroso".

Lo que describe O'Neil en esas líneas evidencia que un algoritmo usado para prevenir delitos puede fácilmente profundizar niveles de segregación ya existentes en una ciudad. Como los sospechosos siempre se van a concentrar en las áreas donde hay más delitos sólo por vivir en las zonas donde se detectan más crímenes, que la policía vaya con más frecuencia a visitar esos barrios va a derivar en que se detecten una mayor cantidad de delitos, lo que a su vez va a alimentar con más casos al algoritmo original, entrando en un círculo vicioso que los estadísticos llaman bucle de retroalimentación positiva.

Sombras del género

Pero las controversias con los sistemas de reconocimiento facial no sólo vienen por el lado del control estatal. Una investigadora del Media Lab del MIT descubrió en un estudio denominado "Gender Shades" ("Sombras del género"). que el reconocimiento facial de tres compañías -entre las cuales estaban nada menos que IBM y Microsoft- era muchísimo más efectivo con hombres blancos que con mujeres negras o personas trans.

Por su parte, en Nueva York quisieron colocar cámaras de reconocimiento facial en edificios de vivienda pública o con algún tipo de regulación estatal, como son aquellos de "alquiler estabilizado". ¿Qué pasó? Tres congresistas mujeres de diferentes Estados se opusieron y presentaron una ley que se llama No Biometric Barriers to Housing Act (algo así como 'Ley contra barreras biométricas a la vivienda'). En una carta que presentaron las legisladoras argumentan que "las tecnologías de vigilancia a menudo se usan para rastrear y controlar comunidades vulnerables (...) La instalación de tecnologías biométricas en propiedades de vivienda pública plantea un riesgo grave para quienes ya están en los márgenes".