El reconocimiento facial y la IA como arma del prejuicio

El momento que vivió Osqui Guzmán el miércoles pasado en pleno centro porteño podría ser el inicio de una serie distópica más de las que abundan en plataformas: se retira de un canal luego de dar una entrevista, en el marco del reestreno de la exitosa obra El Bulubú, y cuando se dirige a tomar el subte en la estación Dorrego es interceptado violentamente por una agente de la Policía de la Ciudad que le saca el DNI, lo golpea en la cabeza con un palo y le dice “El algoritmo te reconoció. Vos sos chorro. ¿Qué te pensás, que no te conozco?”. Ante la mirada atónita del actor, que trataba de explicarle con tranquilidad su equivocación, la policía aseguró que ella lo reconocía, que sabía que había estado preso y hasta le pregunta si es peruano.

Luego del mal trago y la viralización de la denuncia que hizo Guzman en redes sociales se generó el repudio generalizado, desde diferentes sectores, y el apoyo masivo al artista. Asimismo, el Gobierno porteño informó que desde el Ministerio de Seguridad iniciaron un sumario interno para establecer las responsabilidades y “el titular de la oficina de Asuntos Internos de la Policía de la Ciudad se comunicó con Guzmán para que radique formalmente la denuncia". A su vez, desde la Policía de la Ciudad aclaran que desde hace varios años no está en funcionamiento este sistema, como tampoco no se ha reinstalado a partir de un amparo judicial. Con lo cual no existen algoritmos o sistemas de reconocimiento para detener sospechosos.

Si bien el caso de Osqui Guzmán no está enmarcado explícitamente en este tipo de tecnologías, el debate abre la pregunta sobre este tipo de herramientas donde el algoritmo define quién es sospechoso y quién no.

El avance acelerado de la tecnología, en particular la inteligencia artificial (IA), con la promesa de generar más eficiencia o mejorar la calidad de vida de las personas, puede al mismo tiempo, erosionar la democracia, los derechos y libertades civiles, reforzar sesgos y perjudicar a poblaciones históricamente vulnerabilizadas. Lo que en muchas dimensiones se presenta como una fuente de progreso, por la capacidad de sintetizar con eficiencia y rapidez una gran cantidad de datos disponibles, en realidad contribuye a promover prejuicios sociales discriminatorios y provocar riesgos reales.

Estos usos no son un error ni un malentendido digital. Es consecuencia de discursos y medidas políticas que fomentan e incentivan el uso de sistemas de reconocimiento facial basados en IA como una herramienta clave para reforzar la seguridad y “combatir el crimen”. Bajo la promesa de “prevenir el delito” se terminan habilitando mecanismos de control social y vigilancia poco transparentes con impactos negativos en la vida de las personas como el quiebre de la privacidad, la discriminación algorítmica, los abusos del poder, los errores de identificación y una vigilancia extrema que afecta derechos humanos básicos.

El protocolo de video vigilancia

En Argentina fue el propio gobierno nacional quien, en noviembre de 2024, oficializó, a través de la Resolución 1234/2024, el llamado “Protocolo Unificado para el Reconocimiento y Comparación Facial”, impulsado por el Ministerio de Seguridad a cargo de Patricia Bullrich. El texto, publicado en el Boletín Oficial, establece la obligatoriedad del uso de esta tecnología para las fuerzas policiales y de seguridad federales, con el fin declarado de “identificar individuos” y “comparar rostros con bases de datos de prófugos”, e invitaba a las provincias y a la Ciudad de Buenos Aires a adherirse y así unificar criterios de vigilancia facial en todo el territorio.

Según la resolución, el sistema se inspira en guías de “buenas prácticas internacionales”, como el Best Practice Manual for Facial Image Comparison de la Red Europea de Institutos de Ciencias Forenses (ENFSI). Sin embargo, el propio protocolo y sus anexos fueron declarados de carácter reservado, lo que contradice cualquier pretensión de transparencia. De esta manera, el Estado termina blindando el algoritmo e impidiendo cualquier auditoría ciudadana o judicial sobre el origen de la información o funcionamiento. Así, lo que se presenta a priori como una herramienta científica y objetiva se vuelve, en los hechos, una tecnología opaca al servicio del disciplinamiento social.

En los hechos, las medidas habilitan que el Estado rastree rostros, analice comportamientos, identifique personas y prediga acciones en el espacio público mediante cámaras y algoritmos, consolidando una infraestructura de vigilancia masiva con un poder sin precedentes. En un país donde la selectividad policial históricamente ha presentado arbitrariedades según color, clase, vestimenta o territorio, el reconocimiento facial no la reduce, sino que la termina institucionalizando. Bajo la retórica de la modernización, los gobiernos, nacional y porteño, promueven un modelo de seguridad que combina mano dura y automatización, donde la inteligencia artificial cumple un rol central: ser el dispositivo “técnico y objetivo” legitimador de la represión. Estas tecnologías no son neutrales ni infalibles por lo que no podemos aceptar su implementación y “que nos vigile” sin una instancia de control democrático.

La automatización de la sospecha

Mientras la inteligencia artificial se presenta como el futuro, su aplicación concreta nos devuelve al pasado: cuerpos controlados, derechos recortados, desigualdades codificadas.

Como advierte Shoshana Zuboff en La era del capitalismo de la vigilancia (2019), la instrumentación digital traduce la experiencia humana en datos de comportamiento que pueden ser utilizados para controlar a las poblaciones: “Nuestras vidas han sido transferidas unilateralmente, traducidas ya en datos, y nos han sido expropiadas para su reconversión en medios destinados a nuevas formas de control social, todo ello al servicio de intereses de otros y sin que mediara conocimiento de nuestra parte ni dispusiéramos de instrumento efectivo alguno con que combatirlos”. Según esta lógica entonces el reconocimiento facial es un instrumento que produce subjetividades vigiladas. No se usa para proteger, sino para moldear conductas, reforzar jerarquías, y fijar fronteras de lo aceptable.

El discurso de la tecnología neutral

La IA como autoridad última, como criterio de verdad absoluta para sostener una acusación que se basa solo en una lectura tecnológica del rostro, de los rasgos faciales o del color de piel de una persona abre el debate sobre qué es “neutral”. Lo que antes era atribuible a la humanidad de una intuición, un prejuicio o estigma, o incluso a una emoción profundamente humana como el miedo, ahora se legitima como dato útil y “neutral” para un modelo político que necesita de la racionalización y direccionamiento de la violencia hacia ciertos sectores.

Todos los sistemas de inteligencia artificial son creados, entrenados y puestos en marcha por personas con su propia mirada del mundo y sesgos adquiridos a lo largo de su vida, en contextos históricos y sociales particulares. Y en general quienes dominan el universo de las IA son siempre los mismos: varones, blancos, universitarios y occidentales. Pero el poder de su legitimación y aceptación depende de la invisibilización, de su fetichización, y del poder humano detrás de lo tecnológico, lo que hace difícil pedir cuentas y explicaciones.

Varias investigaciones confirman y advierten sobre los sesgos presentes en sistemas cuyas predicciones benefician sistemáticamente a ciertos grupo de individuos frente a otros, resultando así en injusticias institucionalizadas. En el estudio “Gender Shades” (MIT, 2018), Joy Buolamwini y Timnit Gebru demostraron que los sistemas de reconocimiento facial comerciales fallaban hasta un 30 % más al identificar rostros de mujeres y personas de piel oscura, y tienden a perpetuar e incluso profundizar las desigualdades del presente. Los fallos no son anomalías y los algoritmos no son racistas por voluntad propia. Los errores son producto de la información, es decir la materia prima, con la que las IA se alimentan y aprenden, que generalmente son bases de datos colonizadas por rostros blancos, masculinos, occidentales.  El sesgo hace entonces que las IA se transformen en instrumentos imprecisos y erróneas para cualquiera que no encaje en este reducido arquetipo.

En América Latina esos errores se han vuelto estructurales y los sistemas de reconocimiento facial fueron implementados sin evaluaciones de impacto y con bases policiales históricamente sesgadas. La forma de aprendizaje o entrenamiento es muy sencilla: se busca asociar determinadas características o patrones propios de los datos con etiquetas como "sospechoso", "delincuente", "peligroso”. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar a la población segura de los sujetos sospechosos. El problema es que estos sistemas no funcionan igual para todos y en contextos de desigualdad como los regionales, termina reproduciendo el mismo patrón de control sobre los cuerpos racializados, empobrecidos o disidentes. En Brasil, la población más perjudicada por ejemplo son los varones afrodescendientes que son los más identificados por error; mientras que en Argentina en 2022, la jueza Elena Liberatori declaró “inconstitucional” y suspendió el Sistema de Reconocimiento Facial de Prófugos porteño, luego de una acción colectiva impulsada por organismos de Derechos Humanos, por graves irregularidades, falsos positivos y por escanear millones de rostros sin autorización judicial.

El uso de la IA es un síntoma de un modelo de vigilancia en construcción que, sostenido en el fetichismo tecnológico, instaura un nuevo régimen de verdad que se nos impone como un poder extraño y avasallante, al tiempo que reproduce desigualdades estructurales bajo la promesa de seguridad. No se trata de rechazar la innovación tecnológica, la cuestión de fondo no es esa, sino política y humana: para qué y para quiénes se usa la inteligencia artificial. Porque si el algoritmo decide a quién vigilar, detener o golpear, lo que está en juego son los derechos humanos más elementales que hacen a la democracia misma.