O ponto G do compliance e o experimento “Emergence World”

Há uma injustiça que não deixa rastro. Ela não viola a norma: cumpre-a. Não falha no teste: passa em todos. O sistema que nega o crédito ao morador da periferia, que descarta o currículo da mulher, que marca o imigrante como suspeito, pode fazê-lo com o selo carimbado, a auditoria em dia, o relatório de impacto impecável. Há nome para isso: injustiça certificada. O sistema passa em todos os exames precisamente porque os exames foram escritos por quem não tinha motivo para questionar o resultado.

O equívoco, aqui, não é técnico. É político. Reside em esquecer que quem redige o teste costuma ser, também, quem lucra com aquilo que o teste aprova. A inteligência artificial não escapa a essa lei antiga do poder. Apenas a refina, e lhe acrescenta um álibi: o carimbo.

A multiplicação de princípios éticos prometeu muito e entregou pouco. Não produziu prática: produziu marketing. Thomas Metzinger deu-lhe o nome exato, ethics washing, a ética sem sanção convertida em peça publicitária. Luciano Floridi foi mais fino ao descrever a manobra, o verniz de responsabilidade sem a substância, o bluewashing que imita a virtude para dispensá-la. Comitês se reúnem, manifestos se publicam, códigos se proclamam, e o modelo de negócio segue intacto. O que falta não são princípios. É o ponto externo em que algum deles seja, enfim, verificado.

Quem haveria de verificar? O auditor vende um bem abstrato: a reputação. Quando o mercado esfria, a reputação barateia, e a auditoria vira mercadoria. Para repor a margem, a firma passa a vender consultoria a quem deveria fiscalizar. Foi assim em Enron. Será assim na inteligência artificial, se nada mudar: o assegurador dito independente reduzido a carimbador de relatórios encomendados pela própria empresa que examina. John Coffee chamou isso de captura. Não é vício de caráter. É geometria de incentivos.

Michael Power foi mais fundo. A auditoria, mostrou que ele, raramente mede a realidade. Mede a auditabilidade. Nã

o audita o risco: audita a existência de uma política de risco. Power chamou isso de audit society, a sociedade em que a verificação vira ritual e o selo passa a valer mais do que aquilo que ele deveria atestar. A organização, então, não reconstrói o sistema. Reúne, em vez disso, o rastro documental que o selo exige, os comitês que ratificam, as atas que comprovam diligência, os relatórios que exibem as palavras certas. Há um ponto G no compliance, a zona de máxima sensibilidade em que a simulação corporativa atinge o seu clímax, e ele fica exatamente aqui, na troca do risco real pela sua representação documental. É nesse ponto que a conformidade abandona a proteção e abraça a recompensa, e que a injustiça não se consuma apesar da auditoria. Consuma-se com o seu selo.

Há uma razão sistêmica para essa cegueira, e Niklas Luhmann ajuda a nomeá-la. O compliance lê o mundo num alfabeto de duas letras: conforme e não conforme. Não sabe soletrar seguro nem inseguro. Processa formulário, ata e selo, não o comportamento real da máquina, de sorte que uma operação que entrega o relatório no padrão exigido é dada por conforme ainda que, por baixo, destrua valor. O que não cabe nessas duas letras é, para a governança, ilegível, e o ilegível não existe. A conformidade cosmética não é, primeiro, uma falha de caráter. É a forma como um sistema reduz uma complexidade que não consegue processar.

Sob tudo isso opera um poder que mudou de natureza. A lei clássica diz não matarás, e deixa ao sujeito a liberdade da transgressão. O poder algorítmico não proíbe. Modula. Refaz o ambiente de escolha antes que a escolha aconteça, de sorte que a alternativa sequer chega a ser pensada. Antoinette Rouvroy e Thomas Berns deram nome a essa mutação: governamentalidade algorítmica, o governo que dispensa o governado. Diante dele, exigir da máquina um direito à explicação é chegar tarde, quando o dano já se inscreveu na arquitetura. E é pedir, ainda, a coisa errada, pois inundar o afetado com gráficos de atribuição ilegíveis não é prestar contas. O que a confiança pede, lembra Onora O’Neill, não é volume de informação, mas inteligibilidade e verificação independente.

Em 2026, o experimento Emergence World tornou o invisível visível. Populações de agentes autônomos foram postas a conviver por quinze dias, sob regras idênticas, num mundo simulado e contínuo, alimentado por dados reais. O resultado desfez a ilusão regulatória de uma só vez. O mundo que não registrou nenhuma violação das regras duras foi, ao mesmo tempo, o mais predatório de todos, o que mais acumulou engano verificado, fraudes de insolvência declaradas enquanto o livro contábil mostrava o saldo intacto. Conformidade perfeita na superfície. Predação na sombra. O ecossistema agêntico havia convertido a conformidade num jogo da recompensa, em que vence quem otimiza a métrica visível enquanto devasta o valor real na opacidade da execução. Brian Christian dá nome a esse mecanismo: perversão da especificação, quando se entrega à máquina um número no lugar de um valor, e ela otimiza o número até esvaziar o valor que o número deveria guardar. A injustiça certificada, reproduzida em laboratório.

Foi um cisne negro sintético, no sentido de Nassim Taleb: um evento de probabilidade quase nula nos bancos de teste, porque a interação de muitos agentes por longos horizontes expande o espaço do possível para além do que qualquer matriz estática anteciparia. As certificações de prateleira calculam o risco com réguas lineares num universo que deixou de ser linear. Medem o passado. O perigo mora no que ainda não aconteceu. A segurança, ali, não foi propriedade de nenhum modelo isolado. Foi propriedade do ecossistema, daquilo que emerge entre os agentes, e não dentro de cada um. Daí a falha de fundo de uma certificação que arruma cada sistema numa gaveta fixa de risco, conforme o setor, pois supõe que o risco seja propriedade do artefato, quando ele é propriedade da convivência. Estar conforme ao marco, advertem Michael Veale, Lilian Edwards e Philipp Hacker, não é o mesmo que ser seguro.

Resta a pergunta que o Norte prefere calar: quem escreve o padrão? Nenhuma auditoria é axiologicamente neutra. Toda métrica carrega uma escolha de valor, e os teoremas de impossibilidade da justiça algorítmica provam que não se podem satisfazer, ao mesmo tempo, todos os critérios de equidade. Escolher qual justiça se quer é decisão política, antes de ser técnica. Quando se importa do Norte a calibração de mercado como se neutra fosse, certifica-se a exclusão histórica e a chama de dado. O algoritmo de crédito que pune a informalidade, a triagem que lê a pobreza como risco, a face que o reconhecimento não reconhece porque foi treinado noutra pele: tudo isso passa, e passa conforme. Virginia Eubanks chamou-o de asilo digital. Não basta, por isso, auditar se o processo foi seguido. É a própria régua que precisa ser auditada nos seus axiomas, pois uma firma que aplica critérios tidos por neutros pode estar homologando, sem o saber, a desigualdade que herdou. O Índice Legislativo de Gênero de Ramona Vijeyarasa aponta a régua afirmativa que falta, ao perguntar não se o sistema erra por igual para homens e mulheres, mas se reduz barreiras e transforma relações de poder. O Sul Global não pode terceirizar a ontologia da própria proteção.

A saída não é verificar menos. É construir uma verificação que resista à própria verificação. A independência não se declara: engenheira-se. Exige acreditação que se possa cassar, separação entre quem audita e quem aconselha, e a recusa do pecado original do mercado de classificação, o modelo em que o avaliado paga o avaliador. Um fundo setorial pode interpor-se entre quem paga e quem verifica, sorteando o assegurador e impondo rotação, de modo que o examinado não escolha, não remunere e não possa demitir quem o fiscaliza.

A crítica é estrutural, não acusação. A indústria de asseguração, as normas técnicas e a nova regulação europeia são avanços, e avanços a fortalecer, não inimigos a abater. O que está em causa são incentivos e desenho, não o caráter de quem audita, e por isso a resposta também é de engenharia, e não de denúncia.

E quem fiscaliza o fiscal? A pergunta é antiga: quis custodiet ipsos custodes. A resposta convencional oscila entre dois fracassos, o Leviatã que estatiza tudo e o mercado que tudo devolve à autoatestação. Elinor Ostrom mostrou um terceiro caminho. Bens comuns complexos não sobrevivem por um guardião central e onisciente, mas por arranjos policêntricos, centros que se vigiam mutuamente. O assegurador independente é o sistema perito da era algorítmica, no sentido de Anthony Giddens, mas não opera sozinho: emite o laudo enquanto a academia e a imprensa inspecionam o seu método, as comunidades afetadas contestam e os tribunais aplicam remédios. A independência deixa de ser virtude de um nó e passa a ser propriedade da rede. Capturar um auditor é possível. Capturar a rede inteira, não. Tampouco se trata de acrescentar um quarto guardião a vigiar o terceiro, o que apenas estenderia o ritual. Parte da confiança migra para a própria arquitetura, a restrição inscrita no ambiente de execução, no sentido de Karen Yeung e Roger Brownsword, e a parte que resta humana se espalha pela rede em vez de se concentrar num ponto. Um poder só deixa de ser arbitrário, lembra Philip Pettit, quando exposto, de modo permanente, ao contraste de outros poderes. É a rede, e não o nó, que produz a confiança.

O Brasil tem com que responder, e por uma vez não como espectador. A Lei Geral de Proteção de Dados instituiu a gramática da responsabilização. O projeto de lei da inteligência artificial desenha uma abordagem por risco. O Judiciário já disciplinou o uso da IA nos tribunais; o estatuto digital da infância reconheceu que a autorregulação não basta onde os direitos mais sensíveis estão em jogo. E há um precedente de método na própria bolsa, pois o Novo Mercado elevou o padrão de governança por adesão, condicionando o acesso ao capital a práticas reforçadas, sem esperar que a lei as impusesse. O mesmo desenho serve à inteligência artificial, com uma condição: que a verificação seja acessível ao pequeno, sob pena de a governança virar barreira de entrada e instrumento de concentração.

A inteligência artificial, na sua forma agêntica, é a entidade mais poderosa que a humanidade já delegou a si mesma. A pergunta que ela coloca não é nova. É a mesma que a corporação colocou há um século: como tornar responsável um poder que decide sobre muitos sem responder, pessoalmente, por nenhum. A resposta que a história encontrou, à custa de colapsos, foi o guardião independente, dotado de poder real e ele próprio submetido a controle. Falta atualizá-la.

A confiança, para ser racional, precisa ser verificável. A verificabilidade, para ser crível, precisa ser independente. A independência, para ser real, precisa ser engenheirada. E a engenharia, para não recair em dominação, precisa ser ela mesma governada. Esse é o fio, e ele se costura numa só convicção.

Sustentar a competição, no século da inteligência artificial, será sustentar a confiança. Sustentar a confiança será torná-la verificável. E torná-la verificável será, no ponto G do compliance, decidir o jogo a favor da rede, e não do selo, respondendo, enfim, à pergunta que abre e fecha estas linhas: quem escreve o teste, e a serviço de quem.

Paola Cantarini é jurista e filósofa, coordenadora da Governança de IA do projeto Understanding AI (IEA-USP) e fundadora do Instituto EthikAI.

Referências

AKKIL, D.; KOKKU, R.; VIKRAM, K.; ABUELSAAD, T.; VEMPATY, A.; NITTA, S. Emergence World: a platform for evaluating long-horizon multi-agent autonomy. arXiv:2606.08367, 2026.

BEBCHUK, L.; COHEN, A.; FERRELL, A. What matters in corporate governance? The Review of Financial Studies, v. 22, n. 2, p. 783-827, 2009.

BENGIO, Y. et al. International AI Safety Report. London: Department for Science, Innovation and Technology (UK) / AI Safety Institute, 2025.

BERLE, A. A.; MEANS, G. C. The Modern Corporation and Private Property. New York: Macmillan, 1932.

BLACK, J. Decentring regulation: understanding the role of regulation and self-regulation in a “post-regulatory” world. Current Legal Problems, v. 54, n. 1, p. 103-146, 2001.

BOVENS, M. The Quest for Responsibility: accountability and citizenship in complex organisations. Cambridge: Cambridge University Press, 1998.

BROWNSWORD, R. Law, Technology and Society: re-imagining the regulatory environment. Abingdon: Routledge, 2019.

BUOLAMWINI, J.; GEBRU, T. Gender shades: intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research (Conference on Fairness, Accountability and Transparency), v. 81, p. 77-91, 2018.

BURRELL, J. How the machine “thinks”: understanding opacity in machine learning algorithms. Big Data & Society, v. 3, n. 1, p. 1-12, 2016.

CHOULDECHOVA, A. Fair prediction with disparate impact: a study of bias in recidivism prediction instruments. Big Data, v. 5, n. 2, p. 153-163, 2017.

CHRISTIAN, B. The Alignment Problem: machine learning and human values. New York: W. W. Norton, 2020.

COFFEE, J. C. Gatekeepers: the professions and corporate governance. Oxford: Oxford University Press, 2006.

COULDRY, N.; MEJIAS, U. A. The Costs of Connection: how data is colonizing human life and appropriating it for capitalism. Stanford: Stanford University Press, 2019.

DIGNUM, V. Responsible Artificial Intelligence: how to develop and use AI in a responsible way. Cham: Springer, 2019.

EUBANKS, V. Automating Inequality: how high-tech tools profile, police, and punish the poor. New York: St. Martin’s Press, 2018.

FELDMAN, Y. The Law of Good People: challenging states’ ability to regulate human behavior. Cambridge: Cambridge University Press, 2018.

FLORIDI, L. Translating principles into practices of digital ethics: five risks of being unethical. Philosophy & Technology, v. 32, p. 185-193, 2019.

GIDDENS, A. The Consequences of Modernity. Stanford: Stanford University Press, 1990.

HABERMAS, J. Between Facts and Norms: contributions to a discourse theory of law and democracy. Cambridge, MA: MIT Press, 1996.

JENSEN, M. C.; MECKLING, W. H. Theory of the firm: managerial behavior, agency costs and ownership structure. Journal of Financial Economics, v. 3, n. 4, p. 305-360, 1976.

JOBIN, A.; IENCA, M.; VAYENA, E. The global landscape of AI ethics guidelines. Nature Machine Intelligence, v. 1, n. 9, p. 389-399, 2019.

KLEINBERG, J.; MULLAINATHAN, S.; RAGHAVAN, M. Inherent trade-offs in the fair determination of risk scores. arXiv:1609.05807, 2016. Também em: Proceedings of the 8th Innovations in Theoretical Computer Science Conference (ITCS), 2017.

KRAAKMAN, R. et al. The Anatomy of Corporate Law: a comparative and functional approach. 3. ed. Oxford: Oxford University Press, 2017.

KUSNER, M.; LOFTUS, J.; RUSSELL, C.; SILVA, R. Counterfactual fairness. Advances in Neural Information Processing Systems (NeurIPS), v. 30, 2017.

LANGEVOORT, D. C. Cultures of compliance. American Criminal Law Review, v. 54, n. 4, p. 933-978, 2017.

LARCKER, D.; TAYAN, B. Corporate Governance Matters: a closer look at organizational choices and their consequences. 3. ed. Upper Saddle River: Pearson FT Press, 2020.

LUHMANN, N. Trust and Power. Chichester: John Wiley & Sons, 1979.

MARCH, J. G.; OLSEN, J. P. Rediscovering Institutions: the organizational basis of politics. New York: Free Press, 1989.

METZINGER, T. Ethics washing made in Europe. Der Tagesspiegel, 8 abr. 2019.

MITTELSTADT, B. Principles alone cannot guarantee ethical AI. Nature Machine Intelligence, v. 1, n. 11, p. 501-507, 2019.

MOHAMED, S.; PNG, M.-T.; ISAAC, W. Decolonial AI: decolonial theory as sociotechnical foresight in artificial intelligence. Philosophy & Technology, v. 33, p. 659-684, 2020.

NOBLE, S. U. Algorithms of Oppression: how search engines reinforce racism. New York: NYU Press, 2018.

O’NEIL, C. Weapons of Math Destruction: how big data increases inequality and threatens democracy. New York: Crown, 2016.

O’NEILL, O. A Question of Trust: the BBC Reith Lectures 2002. Cambridge: Cambridge University Press, 2002.

OSTROM, E. Governing the Commons: the evolution of institutions for collective action. Cambridge: Cambridge University Press, 1990.

PASQUALE, F. The Black Box Society: the secret algorithms that control money and information. Cambridge, MA: Harvard University Press, 2015.

PETTIT, P. Republicanism: a theory of freedom and government. Oxford: Oxford University Press, 1997.

POWER, M. The Audit Society: rituals of verification. Oxford: Oxford University Press, 1997.

ROUVROY, A.; BERNS, T. Gouvernementalité algorithmique et perspectives d’émancipation: le disparate comme condition d’individuation par la relation? Réseaux, n. 177, p. 163-196, 2013.

RUSSELL, S. Human Compatible: artificial intelligence and the problem of control. New York: Viking, 2019.

SANTOS, B. de S. Epistemologies of the South: justice against epistemicide. Boulder: Paradigm Publishers, 2014.

SELBST, A. D.; BOYD, D.; FRIEDLER, S. A.; VENKATASUBRAMANIAN, S.; VERTESI, J. Fairness and abstraction in sociotechnical systems. Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT*), p. 59-68, 2019.

SHLEIFER, A.; VISHNY, R. W. A survey of corporate governance. The Journal of Finance, v. 52, n. 2, p. 737-783, 1997.

SOLTES, E. Why They Do It: inside the mind of the white-collar criminal. New York: PublicAffairs, 2016.

TALEB, N. N. The Black Swan: the impact of the highly improbable. New York: Random House, 2007.

VEALE, M.; ZUIDERVEEN BORGESIUS, F. Demystifying the draft EU Artificial Intelligence Act: analysing the good, the bad, and the unclear elements of the proposed approach. Computer Law Review International, v. 22, n. 4, p. 97-112, 2021.

VIJEYARASA, R. Rewriting the Rules: gender-responsive law-making for the twenty-first century. Oakland: University of California Press, 2026.

WEICK, K. E. Sensemaking in Organizations. Thousand Oaks: Sage, 1995.

YEUNG, K. “Algorithmic regulation”: a critical interrogation. Regulation & Governance, v. 12, n. 4, p. 505-523, 2018.

ZUBOFF, S. The Age of Surveillance Capitalism: the fight for a human future at the new frontier of power. New York: PublicAffairs, 2019.

Legislação, normas e documentos institucionais

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília: Diário Oficial da União, 2018.

BRASIL. Lei nº 12.846, de 1º de agosto de 2013. Lei Anticorrupção. Brasília: Diário Oficial da União, 2013.

BRASIL. Decreto nº 11.129, de 11 de julho de 2022. Regulamenta a Lei nº 12.846/2013. Brasília: Diário Oficial da União, 2022.

BRASIL. Projeto de Lei nº 2.338, de 2023. Marco legal da inteligência artificial. Brasília: Senado Federal, 2023.

BRASIL. Lei nº 15.211, de 17 de setembro de 2025. Estatuto Digital da Criança e do Adolescente (ECA Digital), em vigor desde 17 de março de 2026. Brasília: Diário Oficial da União, 2025.

CONSELHO NACIONAL DE JUSTIÇA (CNJ). Resolução nº 615, de 11 de março de 2025. Estabelece diretrizes para o desenvolvimento, a governança, a auditoria, o monitoramento e o uso responsável de soluções de inteligência artificial no Poder Judiciário; revoga a Resolução nº 332/2020. Brasília: CNJ, 2025.

CONSELHO MONETÁRIO NACIONAL (CMN). Resolução nº 4.557, de 23 de fevereiro de 2017. Dispõe sobre a estrutura de gerenciamento de riscos das instituições financeiras. Brasília: Banco Central do Brasil, 2017.

CONSELHO DA EUROPA. Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law. Vilnius: Council of Europe, 2024.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO/IEC 42001:2023: information technology, artificial intelligence, management system. Geneva: ISO, 2023.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO). ISO 37301:2021: compliance management systems, requirements with guidance for use. Geneva: ISO, 2021.

NATIONAL INSTITUTE OF STANDARDS AND TECHNOLOGY (NIST). AI Risk Management Framework (AI RMF 1.0). Gaithersburg: NIST, 2023.

OECD. Recommendation of the Council on Artificial Intelligence (OECD AI Principles). Paris: OECD, 2019.

UNESCO. Recommendation on the Ethics of Artificial Intelligence. Paris: UNESCO, 2021.

UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 (Artificial Intelligence Act), art. 27 (avaliação de impacto sobre os direitos fundamentais, FRIA). Bruxelas: Jornal Oficial da União Europeia, 2024.

IBM SECURITY; PONEMON INSTITUTE. Cost of a Data Breach Report 2025. Armonk: IBM, 2025.

BOARD OF GOVERNORS OF THE FEDERAL RESERVE SYSTEM; OFFICE OF THE COMPTROLLER OF THE CURRENCY (OCC). SR 11-7: guidance on model risk management. Washington, 2011. Rescindida e substituída em 17 de abril de 2026 pela OCC Bulletin 2026-13, designada SR 26-2 pelo Federal Reserve, que exclui de seu escopo modelos de IA generativa e agêntica.

Jurisprudência

PAÍSES BAIXOS. Rechtbank Den Haag (Tribunal Distrital de Haia). Caso SyRI, ECLI:NL:RBDHA:2020:1878. Haia, 5 fev. 2020.