O Robodebt brasileiro e o Estado algorítmico da austeridade

Imagine uma trabalhadora adoecida, sem condições de seguir no emprego, que envia pelo aplicativo do celular o atestado e os laudos do médico. Do outro lado, uma máquina lê o documento, sinaliza uma “inconsistência”, e o benefício que pagaria o aluguel e o remédio é negado, ou cessado, por análise documental, sem que nenhum médico a tenha examinado de forma presencial, e muitas vezes sem que ela sequer saiba que quem decidiu não foi um humano, mas um sistema. A cena não é hipotética, trata-se da rotina de um modelo de análise que o Estado brasileiro adotou em larga escala. Sem o benefício, o remédio contínuo é racionado ou abandonado, a conta de luz atrasa, a comida encolhe no prato dos filhos, e a pessoa, ainda doente, é empurrada de volta a um trabalho que o corpo não aguenta, ou à fila de um recurso que pode levar meses. A negação leva um segundo; reverter pode custar um ano de vida, ou seja, é incalculável.

Em 2025, o Instituto Nacional do Seguro Social anunciou uma revisão de benefícios conduzida com inteligência artificial, além de se utilizar do sistema Atestmed, sob meta fiscal declarada, com economia já contabilizada de 2,4 bilhões de reais apenas no segundo semestre de 2024; na reavaliação de benefícios de longa duração, o próprio instituto informou que cerca de 52% foram cancelados, 356 mil cessações em 684 mil revisões periciais entre julho e dezembro de 2024, segundo o balanço do Ministério da Previdência divulgado pela imprensa. A linguagem oficial é a da modernização e do combate à fraude, contudo, o que a linguagem da eficiência, com seu foco em critérios econômicos esconde é algo menos confortável: a automação da suspeita sobre os mais pobres, convertida em política de Estado. Não está em discussão a legitimidade de o Estado combater fraudes, nem o valor de modernizar serviços públicos notoriamente lentos, mas o que acontece quando a decisão sobre quem mantém e quem perde a própria sobrevivência passa a ser tomada, em escala, por sistemas opacos, sem revisão humana garantida e substancial, a partir de dados que o próprio Estado sabe estarem errados, e sob a pressão de uma meta orçamentária, isto é, quando a dignidade humana, mote central de todo Estado Democrático de Direito e núcleo essencial de qualquer direito fundamental, é colocada abaixo de critérios de cunho nitidamente econômicos como o da eficiência e da rapidez.

Do Estado do bem-estar social ao Estado algorítmico da austeridade

Assistimos à substituição silenciosa do Estado social por um Estado algorítmico de austeridade, uma nova tecnologia de governo, que administra a pobreza por probabilidade: em vez de reconhecer direitos a cidadãos, calcula riscos sobre perfis, e converte a proteção social, antes pensada como garantia, num problema de gestão de despesa a ser otimizado. Essa mutação atravessa quatro planos. Na economia política, ela é a face técnica da austeridade, o corte apresentado como eficiência. Na teoria constitucional, ela corrói garantias do processo, o contraditório, a defesa, a fundamentação, e as troca por um veredito automático, seco e inodoro. Na epistemologia democrática, ela torna opaca a decisão sobre um direito, retirando do cidadão a chance de saber por que foi recusado e, com isso, de contestar. E na governança algorítmica, ela delega a máquinas, sem verificação independente, sem auditoria, e com dados muitas vezes enviesados, um poder que redefine, na prática, quem conta como cidadão pleno e quem é reduzido a um escore.

Não se trata apenas de detalhes técnicos ou de mais um capítulo da burocracia previdenciária, mas de um erro de categoria e de uma nova forma de governo, a que Virginia Eubanks deu o nome de “casa dos pobres digital”, compreendendo o conjunto de sistemas automatizados de elegibilidade e de detecção de fraude que perfilam, vigiam e punem quem depende do Estado, sob a aparência de neutralidade técnica. Esses sistemas não apenas administram a pobreza, eles a moralizam, automatizando o velho juízo sobre o pobre “merecedor” e tornando-o, ao mesmo tempo, mais frio e mais difícil de contestar. Cathy O’Neil, em registro complementar, chamou tais sistemas de Armas de destruição matemática, definidas por três traços: opacidade, escala e dano, operando às escuras, e atingindo milhões, mas de forma desproporcional os mais vulneráveis, realimentando a desigualdade que afirmam apenas medir.

A opacidade, por outro lado, não é acidental como bem demonstra Frank Pasquale, mas em larga medida constitutiva já que vivemos numa “sociedade da caixa-preta”, em que decisões de enorme consequência são produzidas por procedimentos que nem o cidadão atingido nem, não raro, o próprio órgão que os emprega consegue explicar. Quando essa caixa-preta decide sobre direito à saúde e à subsistência, a opacidade deixa de ser um problema de engenharia e passa a ser um problema de Estado de Direito. Não se contesta o que não se conhece; e não se conhece o que foi, por design, tornado inescrutável.

Antoinette Rouvroy e Thomas Berns descreveram a emergência de uma “governamentalidade algorítmica”, dando continuidade aos estudos de Foucault sobre o conceito de governamentalidade e os de Deleuze sobre sociedade do controle, ao descreverem o modo de governar que não se dirige a sujeitos, com sua história e suas razões, mas a perfis, construídos por correlação a partir de rastros de dados. O indivíduo é dissolvido em padrões; é julgado não pelo que fez, mas pelo que o modelo prevê que pessoas “como ele” tendem a fazer. A pessoa concreta, com sua doença, seu trabalho intermitente, sua família, sua exceção, desaparece atrás de um escore. É essa substituição, da biografia pela correlação, do sujeito pelo perfil, que está no coração do que se chama, com eufemismo, “decisão automatizada”. Reduzir uma vida a um perfil de risco determinístico é, antes de produzir qualquer perda material, uma forma de violência: a de tratar a pessoa como a soma de seus dados, dados que, o próprio Estado reconhece estarem com frequência errados.

Do que se trata, então, não é apenas erro ou injustiça pontual, mas uma violência que é, antes de tudo, ontológica: aprisionamento da existência numa matriz fechada de risco, na qual o futuro já vem decidido pelo passado registrado nos dados, reduzindo-se o porvir humano e deixando o mundo mais pobre em termos de semânticas, valores, alternativas. O ser humano é, por definição, abertura, capacidade de vir a ser outra coisa, de desmentir o prognóstico, de recomeçar. O governo por algoritmo tende, ao contrário, a tratar indivíduo e sociedade como ambientes inteiramente previsíveis, achatando a complexidade, o tempo e a possibilidade do imprevisto. A máquina não julga uma vida em sua história; cristaliza-a numa fórmula de risco financeiro e, ao fazê-lo, nega-lhe o porvir, e o faz de forma dupla. Não se limita a prever o futuro a partir do passado; ao governar por essa previsão, ajuda a produzir um mundo mais pobre e mais determinístico, em que o imprevisível, o desvio, a reinvenção de si deixam de ter lugar porque não cabem no cálculo. A governamentalidade algorítmica suprime, assim, não apenas a margem de erro, mas a própria imprevisibilidade que define a liberdade: encapsula a existência num cálculo de utilidade e converte o que era abertura, o devir, em mera extrapolação do que já foi medido. É um fechamento da própria condição humana, disfarçado de objetividade e neutralidade, camuflados em uma fachada ilusória, pois se trata sempre de decisões políticas no final das contas.

Cumpre ressaltar que embora a desconfiança do Estado em relação ao pobre não tenha nascido com o algoritmo, atravessando séculos de política assistencial, das antigas casas de trabalho às perdas modernas de benefício por suspeita, agora o algoritmo muda não a desconfiança em si, mas sua forma e sua velocidade, invertendo o tempo e o ônus: a decisão desfavorável é instantânea, e cabe ao cidadão, doente, com frequência sem advogado e sem letramento digital, num prazo curto, reverter o que a máquina afirmou em segundos, em uma assimetria e interseccionalidade de injustiças. Como se não bastasse a injustiça já normalizada, há ainda a diluição da responsabilidade: quando se pergunta quem decidiu cortar, a resposta se perde entre o sistema, o órgão, o fornecedor e a meta, e não resta um rosto a quem dirigir a indignação ou o recurso, atribuindo à desconfiança uma aparência de objetividade.

A hipótese do Estado algorítmico de austeridade não é uma noção abstrata ou teórica, pois se fundamenta em um histórico documentado, contudo, parece que não aprendemos com os erros do passado. Entre 2015 e 2019, a Austrália operou o programa que ficou conhecido como Robodebt. O sistema cruzava automaticamente a renda quinzenal que o beneficiário declarava à assistência social com a renda anual informada ao fisco e, por um método grosseiro de média, distribuía a renda anual igualmente pelas quinzenas, gerando “dívidas” sempre que houvesse discrepância. A inversão era dupla e perversa: a máquina presumia a dívida, e cabia ao cidadão, não ao Estado, provar que nada devia. Foram centenas de milhares de cobranças indevidas, 470 mil apenas num levantamento. A Justiça Federal australiana declarou o método ilegal e uma ação coletiva terminou em acordo de cifras bilionárias. A Comissão Real, em relatório de 2023, com mais de novecentas páginas e dezenas de recomendações, descreveu o esquema como um mecanismo cruel e grosseiro, nem justo nem legal, depois de ouvir, entre outros, mães de jovens que se suicidaram após receber as cobranças. A Comissão considerou o caso Robodebt não um acidente de software, mas o resultado previsível de uma equação que convém memorizar, porque é a mesma que se monta hoje no Brasil, qual seja, automação, somada à lógica orçamentária, somada à inversão do ônus da prova, somada à ausência de real revisão humana.

A mesma equação reapareceu na Europa, na cidade de Roterdã, envolvendo a escolha de quais beneficiários da assistência investigar por fraude, sendo essa escolha realizada, a partir de 2017, por um modelo de aprendizado de máquina construído pela consultoria Accenture e vendido, segundo as palavras dos próprios documentos, como uma “solução ética”, de resultados “imparciais”. O sistema atribuía a cada beneficiário um escore de risco a partir de 315 variáveis, entre elas idade, gênero, domínio do idioma, bairro de moradia, estado civil e até anotações subjetivas de assistentes sociais sobre a aparência da pessoa. Uma rede internacional de jornalistas obteve o código-fonte, o arquivo do modelo e os dados de treinamento, reconstruiu o sistema e comprovou a ocorrência de discriminação por etnia e por gênero, atribuindo escores mais altos a mulheres, a migrantes, a mães solteiras, merecendo destaque uma das frases de uma das vítimas, investigada diversas vezes sem qualquer prova encontrada: “não sou um número, sou um ser humano”.

Em fevereiro de 2020, um tribunal de Haia declarou ilegal o SyRI, sistema estatal que cruzava vastas bases de dados para gerar indicadores de risco de fraude, por violar o direito à vida privada previsto na Convenção Europeia de Direitos Humanos e por incidir, na prática, de forma desproporcional sobre os bairros pobres. Pouco depois, veio à tona o escândalo dos auxílios-creche, com a administração tributária acusando falsamente dezenas de milhares de famílias de fraude, com perfis de risco que penalizavam a dupla nacionalidade e a origem migrante, e exigindo devoluções que arruinaram lares e empurraram famílias à miséria. A crise derrubou o governo em janeiro de 2021.

Em todos os casos analisados há um mesmo padrão que se repete sob bandeiras nacionais distintas, o enquadramento de eficiência e de combate à fraude que legitima a pressão por resultados; a inversão do ônus da prova, que transfere ao mais fraco o custo do erro, sem possibilitar, diante da falta de transparência, uma real contestabilidade; a opacidade que torna a decisão prática inescrutável; a ausência de uma revisão humana com poder real de corrigir, pois há um viés de confirmação e na maior parte das vezes apenas se ratifica a decisão artificial tomada em uma aparente e frágil neutralidade, mascarando uma real escolha política.

Injustiça certificada

Há, no caso de Roterdã, uma segunda lição importante para o Brasil, a de que um sistema pode ser certificado, auditado, acompanhado de selos e declarado “ético” e, ainda assim, produzir dano sistemático e discriminação mensurável. Em outras palavras, a conformidade formal pode conviver com a injustiça material e, o que é pior, costuma escondê-la sob uma camada de respeitabilidade técnica. Denominamos esse fenômeno de injustiça certificada, relacionando-se com o que a literatura crítica vem nomeando como “ethics washing”, destacando-se os trabalhos de Luciano Floridi nesse sentido: o uso da linguagem da ética, de princípios genéricos, comitês e auditorias de fachada, como estratégia para evitar a regulação vinculante e blindar práticas que não resistiriam a um exame substantivo.

O problema da injustiça certificada é que ela transforma perguntas em respostas. “Ética” e “eficiência”, quando viram carimbos, deixam de ser perguntas, quem é prejudicado, com base em que prova, com que possibilidade real de defesa, com que proporção entre o fim buscado e os direitos sacrificados, e passam a ser respostas prontas que dispensam o exame. Contra esse fechamento, sustentamos que qualquer sistema automatizado que incida sobre direitos fundamentais deve ser submetido a dois testes que a retórica da eficiência costuma pular. O primeiro é o teste de proporcionalidade em sentido próprio: não basta que o sistema persiga um fim legítimo, como combater fraude ou reduzir filas; é preciso demonstrar que o sacrifício de direitos que ele impõe, à privacidade, ao contraditório, à subsistência, e a demais direitos fundamentais é proporcional a esse fim, e que não havia meio menos gravoso de alcançá-lo. O segundo é a exigência de validade de construto, conceito que tomamos de empréstimo às ciências da medição: um sistema que afirma medir “risco de fraude” precisa demonstrar que de fato mede isso, e não, por exemplo, pobreza, cor, território ou maternidade. Sem validade de construto, o escore não é uma medida de fraude; é um espelho das desigualdades já inscritas nos dados, agora travestido de objetividade.

É daí que decorre o que chamamos de direitos fundamentais por design e desde a concepção (by design e by default), com verificação independente situada. A intuição não é nova, trata-se da proteção jurídica inscrita na arquitetura do sistema antes do uso, no espírito do que Mireille Hildebrandt chamou de proteção jurídica desde a concepção, aqui atualizada para os direitos fundamentais. Não basta proclamar, depois do dano, que havia um direito à revisão. É preciso que a possibilidade de contestação, a transparência da lógica decisória e a supervisão humana significativa estejam inscritas na arquitetura do sistema antes de seu uso, e que a verificação de tudo isso seja feita por terceiros independentes, atentos ao contexto local, e não pelo próprio órgão que opera o sistema nem pelo fornecedor que o vendeu.

Aqui o direito brasileiro exibe uma fragilidade reveladora, senão vejamos.

A Lei Geral de Proteção de Dados consagrou, em sua redação original, o direito à revisão de decisões automatizadas por uma pessoa natural. Essa garantia foi retirada por veto presidencial, em 2019, sob o argumento explícito de que exigir revisão humana inviabilizaria modelos de negócio, sobretudo de startups e da análise de risco de crédito. A justificativa diz tudo: posto a escolher entre o humano e o lucro, o legislador escolheu o lucro. Restou ao cidadão o direito de pedir revisão, mas não a garantia de que seja efetuada por um ser humano, e não outra máquina, o que esvazia o próprio direito. O debate jurídico internacional já advertira que um “direito à explicação” frágil, sem dentes e sem revisão humana efetiva, tende a ser letra morta diante de sistemas complexos.

Já em 2008, diante dos primeiros sistemas automatizados de benefícios, Danielle Citron cunhou a exigência de um devido processo tecnológico, regras de notificação, de contestação e de auditabilidade inscritas no próprio sistema, e é precisamente essa exigência que o desenho brasileiro ignora. Enquanto isso, o projeto de lei que pretende disciplinar a inteligência artificial no país, e que classificaria sistemas de concessão de benefícios como de alto risco, com deveres de avaliação de impacto e de transparência, segue sem aprovação, sob a pressão de lobbys empresariais ou meras fórmulas prontas de mantras repetidos à exaustão e sem comprovação científica, a exemplo da tese de que regular impediria a inovação de forma absoluta como um trade-off, um jogo de soma zero e não um jogo win-win (ganha-ganha), à luz de conceitos mais fundamentados como o da sustentabilidade da competição. A União Europeia trata esses mesmos sistemas como de alto risco (AI Act), enquanto que no Brasil o contraste é eloquente: importa-se a eficiência e dispensa-se as salvaguardas.

E mesmo onde a revisão humana existe no papel, convém desconfiar do conforto que a palavra oferece, como já mencionado, posto que em diversos casos apenas há, na prática, um carimbo confirmando a decisão automatizada. Pressionado por metas de produtividade, diante de centenas de casos e de um sistema que se apresenta como técnico e neutro, o funcionário tende ao chamado viés de automação ou da confirmação: confia no resultado do algoritmo justamente por ser do algoritmo, e raramente o contradiz. A revisão, então, não corrige a máquina; legitima-a, emprestando-lhe um rosto humano para que a responsabilidade pareça repartida quando, de fato, foi delegada. É mais um modo pelo qual a conformidade formal, a caixa da “revisão humana” devidamente assinalada, convive com a injustiça material. Assegurar revisão humana significativa, e não decorativa, exige tempo, independência e poder real de reverter, exatamente o que as metas de eficiência suprimem.

Mesmo sabendo que o Brasil não é Roterdã nem a Austrália já que o problema aqui é mais embaixo, como mencionou certa vez Luciano Floridi em entrevista que realizamos para o projeto UAI do Instituto de Estudos Avançados da Universidade de São Paulo (Understanding AI), ou seja, por razões estruturais. A infraestrutura é fragmentada e federal, desenvolvida e operada em grande parte por uma empresa estatal, a Dataprev, e alcança não um, mas vários sistemas de proteção social, o INSS, o Cadastro Único, o Bolsa Família, que tocam a vida de dezenas de milhões de pessoas. Roda sobre uma desigualdade regional e racial profunda, sobre uma judicialização em massa dos benefícios, sinal, ele próprio, de uma máquina que erra com frequência, e sobre uma transparência algorítmica que beira o inexistente.

O Atestmed, criado em 2023, substituiu, para boa parte dos pedidos de benefício por incapacidade temporária, a perícia médica presencial pela análise documental: o segurado envia atestados e laudos pelo aplicativo, e a decisão se apoia em sistemas que leem os documentos, conferem requisitos e sinalizam o que o próprio órgão descreve como “inconsistências” e “batimento de comportamentos”, inclusive a identificação de médicos cujos atestados seriam menos confiáveis. Vendido como alívio para filas históricas, e ele de fato pode sê-lo, o sistema é também, e sobretudo, um instrumento de triagem e de suspeita em escala. Em 2026, o chamado Novo Atestmed ampliou o alcance da análise à distância e a autonomia do perito para fixar prazos e datas distintos do que indicou o médico assistente. A base legal, como é comum nessas histórias, foi construída em parte depois da prática, por medida provisória, lei e portaria, e em resposta, não por acaso, a determinações do próprio Tribunal de Contas.

O sistema não “corta”: detecta uma “inconsistência”. Não “vigia”: faz um “batimento de comportamentos”. Não “desconfia do pobre”: “aprimora a eficiência”. Esse léxico não é inocente. É uma engenharia de linguagem que anestesia o debate público, trocando o verbo da ação, cortar, por um substantivo técnico, inconsistência, que parece descrever uma propriedade neutra do dado, e não uma decisão do Estado sobre a vida de alguém. Assim se despolitiza a austeridade, vestindo-a de informática, e se dilui a responsabilidade moral: ninguém cortou, apenas se constatou uma inconsistência. Nomear esse deslocamento faz parte do trabalho crítico, porque é pela palavra mansa e domesticada que a injustiça se faz aceitável.

Em outubro de 2024, o então presidente do INSS, Alessandro Stefanutto, descreveu a estratégia do Atestmed, em suas próprias palavras, como “abrir a porteira” dos requerimentos, justificando-a por ser mais barata para o governo, num risco que ele mesmo classificou de calculado para conter os pagamentos retroativos acumulados pelas filas. Pouco depois, o órgão recuou em parte e reintroduziu a perícia presencial para certos grupos. Stefanutto seria afastado e preso meses mais tarde, em outra investigação, a Operação Sem Desconto, sobre descontos não autorizados em benefícios, que não se confunde com a questão algorítmica aqui tratada. Mas a frase ficou, e diz o essencial: quando a contabilidade comanda, a automação deixa de ser meio de servir o cidadão e vira instrumento de gestão de despesa.

O próprio Tribunal de Contas da União constatou, em acórdão proferido em 10 de junho de 2026 (Acórdão nº 1.498/2026), ao auditar a concessão automática de benefícios pelo INSS, que a automação não reduziu a fila como prometido. A meta do Instituto de encerrar 2025 com 55% das concessões realizadas de forma automática não foi alcançada: o índice permaneceu próximo de 50%. O Tribunal também apontou que a distribuição dessas concessões é desigual entre os municípios. Além disso, o sistema aprova benefícios apenas com base nos dados considerados corretos nas bases governamentais, sem informar o segurado sobre pendências que, se corrigidas, poderiam assegurar um benefício de maior valor. Na prática, concede-se o benefício de menor valor e o processo é arquivado, conduta que o TCU qualificou como violação de direitos do cidadão.

Diante desse cenário, o Tribunal concedeu prazo de 180 dias para que o INSS, a Dataprev e o Ministério da Previdência reformulem essa lógica, que privilegia a rapidez em detrimento da justiça. Auditorias anteriores do próprio TCU já haviam identificado inconsistências graves no Cadastro Nacional de Informações Sociais (CNIS), principal base utilizada na análise automatizada, além de mais de um milhão de benefícios com indícios de pagamento indevido. A conclusão é contundente: a máquina decide, em larga medida, com base em dados que o próprio Estado reconhece como falhos e o faz sem oferecer ao cidadão a possibilidade de corrigi-los.

Reitera-se, assim, um diagnóstico mais amplo. A infraestrutura técnica responsável por decidir sobre a subsistência de milhões de brasileiros é, ao mesmo tempo, opaca para os cidadãos e alimentada por bases de dados reconhecidamente falhas, enquanto o Estado anuncia, como demonstração de eficiência, metas bilionárias de economia destinadas a atender à pressão por equilíbrio fiscal. Essa lógica decorre do regime de austeridade incorporado às regras fiscais brasileiras – primeiro pelo teto de gastos e, posteriormente, pelo arcabouço fiscal –, que impõe ao poder público a busca permanente pela contenção de despesas.

É nesse ponto que o Estado algorítmico da austeridade revela sua função mais evidente: atuar como o braço tecnológico do ajuste fiscal. A meta bilionária de redução de gastos desce da planilha do Tesouro para a linha de código do INSS, e o algoritmo converte-se no instrumento que executa, em larga escala e sob a aparência de neutralidade técnica, cortes que dificilmente um gestor assumiria publicamente como decisão pessoal. A austeridade encontra, na automação, sua forma mais eficiente: difusa, veloz, sem rosto e, justamente por isso, de difícil responsabilização. Em vez de o Estado assumir diretamente a decisão de restringir direitos, terceiriza o corte para a máquina.

E há a questão, raramente feita, de quem lucra com a inovação e quem de fato está pagando a conta. Sistemas de detecção de fraude e de automação de benefícios movimentam contratos vultosos, consultorias e fornecedores de tecnologia, no Brasil e no exterior, como o caso de Roterdã expôs ao mundo ao revelar o papel de uma grande consultoria global. A promessa de economia para o erário convive, sem contradição aparente, com a despesa de construí-los e mantê-los, e com o interesse comercial em vendê-los a outros entes e a outros países. Saber quanto se gasta, com quem, sob que resultados aferidos e com que conflitos de interesse, é parte inseparável de qualquer juízo honesto sobre se a automação serve ao cidadão ou apenas à contabilidade e ao mercado que dela vive.

A geografia da suspeita

Esse padrão não é geograficamente neutro. As tecnologias de suspeita e de austeridade tendem a ser ensaiadas, com menos freios e menos escrutínio, sobre os pobres da periferia do mundo. A jornalista Karen Hao descreveu a indústria contemporânea da inteligência artificial como uma reedição de dinâmicas coloniais e imperiais, que extraem dados, trabalho e recursos do Sul global enquanto concentram poder e lucro no Norte, com dano particular para os pobres, para as minorias raciais e para o meio ambiente. Os teóricos do colonialismo de dados, Nick Couldry e Ulises Mejias, mostraram como a vida humana é convertida em matéria-prima para sistemas que não prestam contas a quem os alimenta. E uma geração de pesquisadoras, de Safiya Noble a Ruha Benjamin, demonstrou que a automação, longe de ser cega às hierarquias sociais, com frequência as recodifica: Benjamin cunhou a expressão “novo código Jim Crow” para descrever a discriminação que se apresenta como neutra justamente por estar embutida no código.

No Brasil, esse padrão assume a forma mais crua, já que se trata do próprio Estado voltando o algoritmo contra os seus cidadãos mais vulneráveis, e fazendo-o com lógicas e fornecedores em boa parte importados, sem a regulação que, no Norte, ao menos existe no papel. A pergunta de quem é, afinal, o sujeito do corte, em qual região, de qual cor, de qual gênero, não é um detalhe sociológico a ser apurado depois. É o cerne da questão de justiça. Os sistemas internacionais ensinaram que a maternidade solteira e a origem migrante elevavam escores em Roterdã; o Brasil, com sua desigualdade própria, tem suas próprias linhas de fratura, e ignorá-las, escondidas atrás de um escore “objetivo”, seria repetir o mesmo erro, recusando a interpretar e reconhecer o óbvio.

Há, pois, uma dimensão de gênero já que mulheres, e mais frequentemente mães solteiras, foram as principais vítimas do caso em Roterdã. A pobreza é feminizada, e o cuidado, não remunerado, recai sobre as mulheres; quando um sistema aprende a partir de dados que refletem essa realidade, ele tende a ler a condição de mãe que sustenta sozinha uma família não como vulnerabilidade a proteger, mas como anomalia a investigar. No Brasil, onde os programas de transferência de renda têm na mulher a titular preferencial, a pergunta sobre o viés de gênero dos cortes não é acessória, mas central. A pobreza que depende do INSS, do Cadastro Único e do Bolsa Família é majoritariamente negra e periférica, e é sobre a mulher negra da periferia que recai, com mais peso, tanto o trabalho de cuidado quanto a conta de um benefício cortado. Um sistema que aprende com os dados de uma sociedade desigual em raça, gênero e território não corrige a desigualdade, mas a reproduz, em um ciclo vicioso de injustiças.

Quando o Estado desenvolve e adota esses sistemas sem nenhuma exigência de avaliar, antes do uso e da implantação da tecnologia, com métricas auditáveis, o seu impacto sobre as mulheres, a ausência de uma legislação responsiva a gênero não é neutralidade, mas um projeto ativo de exclusão. Organismos internacionais, da Organização Internacional do Trabalho a agências da ONU, já documentaram que a automação atinge de forma desproporcional o trabalho e a renda das mulheres; seguir medindo “risco” como se o gênero não existisse é decidir, por omissão, que esse dano não conta. Outras medidas não menos importantes que podem ser destacadas, como a aprovação do marco da inteligência artificial, o PL 2338/2023, que trata sistemas de concessão de benefícios como de alto risco, e a reforma do artigo 20 da LGPD, restaurando a garantia de revisão por uma pessoa, com poder real de reverter a decisão. No plano administrativo, cumprir, e fiscalizar o cumprimento, das determinações do próprio TCU, em especial, notificar o segurado, conceder o melhor benefício devido, e submeter os sistemas a auditoria independente e situada, não feita pelo órgão que os opera nem pelo fornecedor que os vendeu. E, antes de tudo, considerar uma moratória. Se sistemas análogos foram declarados ilegais em Haia e em Roterdã e se mostraram letais na Austrália, e se aqui a própria Corte de Contas reconhece que a máquina decide sobre dados sabidamente errados, o Brasil não deveria apenas regulá-los em trâmite lento, mas suspender cautelarmente a decisão automatizada sobre benefícios essenciais até que a verificação independente situada e a revisão humana efetiva estejam asseguradas.

A moratória incidiria sobre a decisão automatizada de indeferir, cessar ou reduzir benefícios, não sobre a triagem que agiliza concessões, e teria validade enquanto durar a assimetria que a justifica, a irreversibilidade prática do dano de quem fica sem renda diante da reversibilidade do ganho de eficiência. Entre uma fila que se corrige com pessoal e um benefício negado que só se corrige, quando se corrige, meses depois e por quem tem advogado, a proporcionalidade e a razoabilidade falam mais alto. E, no plano político, reconhecer o que está verdadeiramente em jogo, a transparência algorítmica do Estado, no Sul global, é a nova fronteira dos direitos civis e dos direitos sociais, tão decisiva neste século quanto foram, no passado, a conquista do voto e a do direito ao trabalho.

O que uma democracia deve exigir, no mínimo, não é a recusa da tecnologia, mas a recusa da sua opacidade, o direito efetivo de corrigi-la quando ela erra, de submetê-la a verificação independente antes que ela decida. Quando uma democracia permite que uma máquina decida quem merece continuar existindo socialmente, já não estamos discutindo tecnologia. Estamos discutindo qual ideia de humanidade o Estado resolveu automatizar.

Paola Cantarini é jurista e filósofa, coordenadora da Governança de IA do projeto Understanding AI (IEA-USP) e fundadora do Instituto EthikAI.

Notas e referências selecionadas

Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor (St. Martin’s Press, 2018).

Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy (Crown, 2016).

Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Harvard University Press, 2015).

Antoinette Rouvroy e Thomas Berns, “Gouvernementalité algorithmique et perspectives d’émancipation”, Réseaux, n. 177 (2013).

Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code (Polity, 2019).

Safiya Umoja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (NYU Press, 2018).

Nick Couldry e Ulises A. Mejias, The Costs of Connection: How Data Is Colonizing Human Life and Appropriating It for Capitalism (Stanford University Press, 2019).

Karen Hao, Empire of AI: Dreams and Nightmares in Sam Altman’s OpenAI (Penguin Press, 2025), e a série “AI Colonialism”, MIT Technology Review (2021).

Danielle Keats Citron, “Technological Due Process”, Washington University Law Review, v. 85 (2008).

Mireille Hildebrandt, Smart Technologies and the End(s) of Law (Edward Elgar, 2015).

Sandra Wachter, Brent Mittelstadt e Luciano Floridi, “Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation”, International Data Privacy Law, v. 7, n. 2 (2017).

Ben Wagner, “Ethics as an Escape from Regulation: From ‘Ethics-Washing’ to ‘Ethics-Shopping’?”, in E. Bayamlioglu, I. Baraliuc, L. Janssens e M. Hildebrandt (orgs.), Being Profiled: Cogitas Ergo Sum (Amsterdam University Press, 2018).

Lighthouse Reports e WIRED, investigação “Suspicion Machines / Unlocking Europe’s Welfare Fraud Algorithms” (2023).

Royal Commission into the Robodebt Scheme, relatório final (Commonwealth of Australia, 2023).

Tribunal Distrital de Haia, decisão sobre o SyRI (System Risk Indication), 5 de fevereiro de 2020.

Folha de S.Paulo (Folhapress), “Pente-fino do INSS corta mais da metade dos auxílios-doença”, nov. 2024; Ministério da Previdência Social, balanço das revisões periciais jul.-dez. 2024 (684.262 revisões; 356.422 cessações).

Tribunal de Contas da União, Acórdãos 1506/2025 e 1498/2026 (Plenário), e a fiscalização sobre o uso do Cadastro Nacional de Informações Sociais.

Brasil, Lei n. 13.709/2018 (LGPD), art. 20; Projeto de Lei n. 2338/2023; União Europeia, Regulamento (UE) 2024/1689 (Lei de Inteligência Artificial).

Paola Cantarini, Governança de IA e Sul Global (Lumen Juris Direito, no prelo, edição ampliada e revisada).