Pesquisador brasileiro alerta sobre racismo em algoritmos de inteligência artificial

Quando ouvimos falar em inteligência artificial (IA), geralmente tendemos a pensar em um grande número de benefícios que vão desde simples rotinas em casa até tomadas de decisões que podem economizar milhões de reais para uma empresa.

Mas será que essas decisões podem evoluir para algo que limite o acesso aos serviços a determinados grupos por conta de sua forma de agir, pensar, sua raça ou gênero?

O bolsista da Mozilla e pesquisador paulista Tarcízio Silva publicou recentemente um novo livro: “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais”, onde examina como o racismo sistêmico entra na tecnologia cotidiana através dos filtros de selfie, moderação de conteúdo, chatbots e policiamento preditivo.

Em entrevista exclusiva para a Computer Weekly Brasil, ele compartilha sua visão sobre como o racismo algorítmico prejudica especialmente os negros brasileiros, e as medidas que podem ser tomadas para evitar que a IA afete deliberadamente nosso modo de vida.

O que devemos entender por inteligência artificial?

Tarcízio Silva: O termo “inteligência artificial” tem sido usado em duas acepções amplas, que se confundem no discurso popular. A primeira é ligada ao objetivo de emular complexidade, escopo, fluidez e autonomia da inteligência humana. Apesar de ser uma meta que avança com as pesquisas científicas na robótica e ciências cognitivas, provavelmente nunca será alcançada plenamente.

A segunda acepção é a chamada “inteligência artificial estreita”, que se refere a sistemas com tarefas e processamentos automatizados focados em tarefas relativamente simples (ainda que enormes em termos quantitativos) em domínios específicos. Aqui temos avanços consideráveis em campos como processamento de linguagem natural ou visão computacional, que permitem a existência de técnicas de recomendação e moderação de conteúdo ou de reconhecimento facial. Mas gosto de lembrar que, apesar do nome e tendência mercadológica, os sistemas que vemos não são nem inteligentes, nem artificiais. São construídos em trabalho humano, seja através do treinamento supervisionado ou semi-supervisionado dos modelos, seja através da extração de dados gerados anteriormente.

Quais são as tecnologias que estão impulsionando o desenvolvimento da inteligência artificial no Brasil?

TS: Parte das principais novas grandes empresas de tecnologia no Brasil se baseia na interseção de plataformização de serviços com a gestão de dados através de algoritmos. Empresas locais focadas em aplicativos de delivery, transporte e educação à distância ganharam mercado devido ao uso de algoritmos para promover a precarização do trabalho de entregadores, motoristas e professores.

Entretanto, em se tratando de infraestrutura e desenvolvimento de modelos e algoritmos de inteligência artificial, temos um desafio enquanto país explorado do Sul Global. O lobby de empresas de big tech, sobretudo dos EUA, e a perda do compromisso do estado brasileiro com tecnologias de código aberto permitiu que a infraestrutura de comunicação de instituições públicas seja hoje mediada por softwares estrangeiros de serviços de nuvem. A pesquisa Educação Vigiada identificou que cerca de 80% das instituições públicas de ensino superior usam softwares de empresas GAFAM (Google, Amazon, Facebook, Apple, Microsoft) para gerir de e-mails a bases de dados, ameaçando a soberania do país e pesquisa científica local.

Você acha que o software de reconhecimento facial deve ser banido?

TS: Sim. Entender sistemas algorítmicos não envolve apenas o caminho de analisar as linhas de código, mas também suas redes de delegação; envolve identificar quais comportamentos normalizam, quais dados aceitam, quais tipos de erro são ou não considerados entre entradas e saídas do sistema, seu potencial de transparência ou de opacidade e para quais presenças ou ausências os sistemas são implementados –enfim, as redes de relações político-raciais em materializações cambiantes na tecnologia.

No caso do reconhecimento facial no espaço público, não há lugar para o recurso em sociedades democráticas, antidiscriminatórias e livres. Se queremos um futuro, tecnologias biométricas no espaço público não podem estar no nosso rol de respostas para problemas sociais que mais têm a ver com a desigualdade econômica, violência estatal ou ideologias arcaicas como a criminalização de substâncias como a cannabis. A tecnologia de reconhecimento facial hoje é altamente imprecisa para encontrar pessoas específicas, mas se fosse completamente precisa, teria impactos nocivos de outra ordem como a promoção do encarceramento em massa ou constrangimento da liberdade de movimentação e privacidade de dados de todos os cidadãos. Em termos de bem-estar social, reconhecimento facial para vigilância em massa nunca será uma tecnologia madura.

A questão do racismo no Brasil é considerada sensível e é até fortemente penalizada. Como é possível que se fale agora de racismo digital?

TS: Sim, há alguns motivos que dificultam o debate sobre racismo no país. O primeiro motivo é o que chamo de “dupla opacidade”: o modo pelo qual a negação da existência do racismo se associa à crença de que as tecnologias são neutras. Essas duas concepções se juntam e tornam mais difícil o estudo sobre raça e tecnologia.

Associado a isto, até recentemente as tecnologias digitais pareciam algo afastado das urgências dos negros em um país como o Brasil: a fome, o desemprego e a violência estatal não pareciam problemas ligados à web ou à internet. Com a tentativa de digitalização de quase tudo, a figura mudou e há muitas lacunas a preencher, sobretudo considerando que pesquisadores e intelectuais negros no país recebem menos apoio.

Por fim, o Brasil é apenas consumidor de grande parte das tecnologias e infraestruturas digitais que usamos no dia a dia. Sem o controle social da tecnologia soberano como acontece nos EUA ou China, as reações de brasileiros a problemas provenientes de corporações globais enfrentam mais barreiras.

O que determina se um algoritmo aprende a discriminar?

TS: A capacidade que sistemas algorítmicos têm de transformar decisões e processos em “caixas pretas” inescrutáveis é um problema central. Na lógica de otimização contínua baseada em aprendizado de máquina, dispositivos levam como pressuposto que os dados que alimentam o sistema representam um mundo reproduzível. Busca-se partir do histórico de um determinado tipo de decisão para otimizá-la continuamente em prol de métricas de negócio ou gestão pública.

Entretanto, temos inúmeros exemplos de como esta lógica reproduz e intensifica –ao mesmo tempo que esconde– decisões discriminatórias que foram tomadas de forma massiva anteriormente. Não podemos projetar o futuro da segurança pública ou da mídia repetindo os mesmos erros de desigualdade e discriminação do passado.

O conceito de “racismo algorítmico” é mais sociológico do que tecnológico. Defino “racismo algorítmico” como o modo pelo qual a atual disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de conhecimentos, recursos, espaço e violência em detrimento de grupos não-brancos. Assim, é essencial entender muito além de minúcias de linhas de programação, mas como a promoção acrítica de implementação de tecnologias digitais para ordenação do mundo favorece a reprodução dos desenhos de poder e opressão que já estão em vigor.

O que deve ser feito para que as empresas não utilizem o racismo científico em aplicações?

TS: Os compromissos antirracistas de corporações de tecnologia ou que compram tecnologias digitais emergentes devem ser expandidos também para as decisões sobre isonomia, transparência e explicabilidade de seus modelos. A tendência de construção de relatórios de impactos à proteção de dados e de discriminação algorítmica é recomendada. Através destes mecanismos, times interdisciplinares com supervisão independente podem realizar mapeamento de risco de impactos presentes e futuros.

Muitas das APIs usadas em várias ferramentas computacionais vêm de grandes empresas cujos dados são coletados de áreas específicas e não de setores regionais. O que deve ser feito para garantir que os dados e sistemas de marcação atendam às necessidades locais ou nacionais?

TS: Acredito que um primeiro passo é mudar a premissa de que a universalidade de soluções ou tecnologias é possível. Não é possível criar sistemas que sejam adequados, justos e potentes para todas as culturas. Esta crença está ligada a lentes coloniais sobre conhecimento, que favorecem apenas a implementação e circulação de corporações globais de tecnologia e, em decorrência, serviços de segunda classe para grupos minoritários ou Sul Global.

Buscar necessidades locais e nacionais precisa ser um compromisso multisetorial entre estado, empresariado local, comunidade técnico-científica e sociedade civil para construções e consensos sobre o controle social da tecnologia. Investimentos em ciência, educação e inovação são indispensáveis para o desenvolvimento global.

Como surgiu a ideia para seu livro?

TS: O interesse surgiu quando comecei a me dedicar à pesquisa independente e conhecer inúmeras pessoas negras que têm lutado há muito tempo contra impactos racializados da tecnologia em temas como hiatos digitais, discurso de ódio e plataformização da comunicação.

Entretanto, na maioria dos espaços hegemônicos da academia e nas instituições que definem as políticas públicas, a relação entre racismo e tecnologias digitais era negada ou invisibilizada. Por exemplo: em um país marcado pelo genocídio negro, livros e pesquisas sobre práticas digitais de vigilância ignoravam o histórico escravista do país e como jovens negros são alvo da violência estatal.

Decidi então fazer minha parte neste campo de pesquisa e somar ao trabalho de quem tem pavimentado estes caminhos, oferecendo uma publicação que sistematiza colaborações sobre a algoritmização do racismo.

Na sua opinião, qual foi a maior descoberta em sua pesquisa?

TS: Acho que o diferencial do livro é sistematizar conhecimentos sobre o histórico do racismo em países como o Brasil e como este histórico se desdobra nas coisas e tecnologias, incluindo as digitais. Intelectuais brasileiros e estrangeiros como Abdias Nascimento, Lélia Gonzalez, Cida Bento e Charles Mills têm colaborações relevantes para entendermos tecnologias hoje. Reconhecer este histórico e ligar suas produções às controvérsias contemporâneas esteve entre os objetivos do livro.