Como todo lo que resulta de la creación humana, los códigos también incorporan la cosmovisión de sus autores. Es a partir de esta premisa que resulta el concepto de sesgo algorítmico, cuando una tecnología supuestamente neutral produce o ayuda a reproducir desigualdades.
La investigadora Letícia Simões Gomes, estudiante de doctorado en sociología de la USP e investigadora del Centro de Estudios de la Violencia, analiza los efectos de esta en el área de la seguridad pública.
“Los algoritmos discriminan por excelencia, ese es su trabajo. Al categorizar, discriminan en el sentido literal del verbo, para separar una cosa de otra. La cuestión es que hay formas de categorizar que son moralmente reprobables y otras que no lo son”. él dice.
El foco de la investigadora está en el uso de la tecnología por parte de la policía, no solo para el patrullaje, sino en el establecimiento de prioridades de actuación y en la toma de decisiones de la policía. “¿Por qué nos preocupa tanto, por ejemplo, predecir dónde ocurrirá el próximo robo y menos preocuparnos por prevenir la próxima matanza?”, ejemplifica.
Leticia Simões Gomes
Investigador visitante en el Instituto de Estudios Críticos Raciales y Étnicos de la Universidad de Saint John, Nueva York, investigando tecnologías policiales en contextos de desigualdad racial. Investigadora del Núcleo de Estudios de la Violencia (NEV) y estudiante de doctorado en sociología de la USP. Máster en sociología y licenciado en relaciones internacionales por la USP.
La mayoría de los algoritmos que usamos a diario se desarrollaron en empresas dirigidas por personas blancas que viven en países desarrollados. ¿Cuál es la relevancia de esto? Cuando pensamos en la tecnología, es importante no pensar en ella como algo disociado de la sociedad, sino como algo producido por personas, que están posicionadas en un lugar determinado, que son sujetos, personas de carne y hueso que tienen deseos, opiniones políticas.
Sin embargo, no podemos pensar solo en estas personas individualmente, pensando que son los únicos vectores de malestar en el mundo. Cuando hablamos de sesgo algorítmico, por ejemplo, a menudo buscamos quién es el culpable y su intención.
¿Eres el programador? ¿Eres el financiador de la plataforma? son los usuarios? Es interesante pensar en términos más amplios: ¿cómo se conectan estas personas, instituciones, empresas, culturas corporativas para producir, por ejemplo, desigualdades?
Estas personas están situadas en ciertos estratos de la sociedad porque la sociedad está organizada de cierta manera. Esto da forma a cómo estas personas ven el mundo y les presenta una gama finita de posibilidades.
¿Qué es el sesgo algorítmico? Cuando hablamos de sesgo algorítmico, hay un aspecto más técnico y estadístico, cuando, por ejemplo, hay una población de la que se toma una muestra que no es representativa del conjunto.
Esto puede provenir de cómo se recopilan los datos, cómo se manejan, qué técnicas estadísticas se emplean. Si hay una distorsión entre la población y la muestra, tenemos una muestra sesgada. Todas estas elecciones las hacen las personas cuando programan el algoritmo.
Pero también existe un aspecto normativo, que asocia el sesgo algorítmico con la discriminación y la reproducción de las desigualdades, ya sean raciales, de género o de cualquier otra naturaleza.
Cuando pensamos en formas de inteligencia artificial, se basan en taxonomía, en clasificaciones. Procesan datos basados en estas clasificaciones. Es una cuestión ontológica: los algoritmos sirven para clasificar y ordenar.
Los algoritmos discriminan por excelencia, eso es lo que hacen. Al categorizar, discrimina en el sentido literal del verbo, de separar una cosa de otra. La cuestión es que hay formas de categorizar que son moralmente reprobables y otras que no lo son.
La discriminación racial y la discriminación contra las personas trans, por ejemplo, son formas de discriminación moralmente reprobables.
Una parte importante de la literatura académica aborda la cuestión de qué estándares se buscan y por qué se utiliza una herramienta en particular.
Algunas investigaciones proponen un sesgo algorítmico positivo, con técnicas estadísticas que buscan corregir patrones indeseables, como la discriminación racial, para llegar a estándares socialmente deseables o eliminar el sesgo. Hasta qué punto esto es factible está sujeto a debate.
Otras investigaciones cuestionan la propia elección de variables y la enunciación del problema a conocer a través de la inteligencia artificial: ¿por qué nos preocupa tanto, por ejemplo, predecir dónde ocurrirá el próximo robo y menos preocuparnos por prevenir la próxima matanza?
Cuando pensamos en los usos de los algoritmos, tenemos que pensar en las suposiciones que guían su desarrollo, quién está construyendo ese algoritmo, cuál será la aplicación y, en última instancia, si está funcionando según lo planeado.
¿Es posible corregir algoritmos que tienen sesgos negativos? Algunas de las principales soluciones debatidas, como más transparencia y fiscalización, significan en el fondo la sustitución de la moderación humana.
El ser humano todavía tiene que estar ahí, porque la ética es un debate que la inteligencia artificial no puede encajar. Decir que la inteligencia artificial prescinde de los humanos es un mito: se necesitan humanos para desarrollar, entrenar, actualizar, implementar, evaluar, entre otros. El término en inglés para esto es «mantener a los humanos informados». [«mantenha os humanos no ciclo»].
Una de las cosas en las que he estado pensando mucho es que hay un límite en lo productivo que es inclinarse sobre la plataforma. La plataforma y el sistema son siempre parte de un todo mayor. Muchas soluciones que los investigadores discuten en un intento de responder al peligro de reproducir desigualdades a través del sesgo algorítmico son sociales, no necesariamente centradas en plataformas.
La tecnología es un capítulo de un problema mayor, no se puede resolver el problema del sesgo algorítmico sin abordar los sesgos y las desigualdades en la sociedad.
Noticia de Brasil
Fuente: uol.com.br