O debate sobre Armas autônomas letais e sua discussão na ONU

A ficção científica extrapolou há muito sua função de apenas projetar futuros imaginários ou realidades paralelas e passou a ocupar o palco do cotidiano. Hoje, os cenários prospectivos mais sombrios de controle social tecnologicamente mediado se materializam numa realidade ainda mais dura da biopolítica – uma em que a vigilância foucaultiana, antes centrada na disciplina dos corpos, já não ocupa o epicentro das preocupações. Com a rápida evolução da inteligência artificial, dos algoritmos e, portanto, dos sistemas autônomos em geral, novos desafios emergem para a humanidade e assumem caráter de urgência nas pautas da ONU: os sistemas de armas autônomas, concebidos para aprimorar a detecção autônoma de alvos. (Essas funções, porém, não se limitam à detecção – podem incluir também a seleção e a destruição de alvos, o chamado select and engage.) 

A conjuntura atual dos conflitos armados e demais temas da agenda de discussão do Conselho de Segurança da ONU levantam fortes questões sobre o limbo técnico e jurídico para lidar com os sistemas de armas autônomas letais, especialmente no relativo à distinção entre maquinários de sistemas autônomos de uso civil e militar. Um dos casos mais notórios em voga é dos  cães robôs, maquinários animalísticos empregados tanto para fins civis quanto militares. 

A complexidade do debate vai desde a tipificação categórica dos sistemas de armas autônomas letais, categoria na qual alguns autores incluem desde drones, aeronaves de transporte, veículos não tripulados aéreos, terrestres ou marítimos, robôs e soldados robóticos, ou ainda a ciberarmas (vírus de computador). A falta de consenso sobre o tema dificulta o avanço de uma regulação ou estabelecimento de acordo internacional que formule medidas para lidar com o avanço tecnológico dos AWS (na sigla em inglês, Autonomous Weapons Systems). Apesar do Departamento de Defesa dos EUA buscar uma definição fechada: aquelas armas capazes de selecionar e engajar alvos sem intervenção adicional de um operador, o consenso ainda não foi instaurado.  

No radar das discussões na Organização das Nações Unidas 

No âmbito do multilateralismo da ONU, as discussões em torno dos impactos do uso da inteligência artificial estão sendo direcionadas também aos casos de sua utilização em drones e outros sistemas robóticos. Os conflitos armados recentes evidenciam o emprego crescente de drones não apenas para vigilância, mas também em missões ofensivas e não apenas aéreas, mas também terrestre, marítimo e submarino. Com o suporte da IA, esses dispositivos de baixo custo podem operar de modo autônomo e com capacidade de atacar alvos indiscriminadamente, o que desafia os princípios de proporcionalidade e precaução previstos no direito internacional humanitário (DIH). 

O cenário atual é marcado por rápidos avanços tecnológicos e por altos investimentos militares no desenvolvimento de sistemas de armas autônomas, capazes de atuar sem intervenção humana direta. Esses sistemas operam com base em softwares que utilizam inteligência artificial (IA) e algoritmos para processar dados provenientes de diferentes sensores — como câmeras, radares e detectores de calor – a fim de identificar possíveis alvos. Após essa identificação, o sistema pode decidir, de forma automática e autônoma, disparar ou liberar sua carga útil, sem que um operador humano precise confirmar a ação. 

Diante desse contexto, a mobilização dentro da ONU tem se concentrado na defesa do controle humano sobre o uso da força e na rejeição da delegação de decisões de vida ou morte às máquinas, preservando, assim, o julgamento e responsabilidade humanos na guerra. As principais preocupações giram em torno da lacuna que dificulta o caminho da imputação causal e, consequentemente da responsabilização criada pelos sistemas de armas autônomas, já que não está claro quem poderia ser legalmente responsabilizado caso esses sistemas violem o direito internacional humanitário ou os direitos humanos. Existem obstáculos à responsabilização criminal de operadores individuais pelas ações imprevisíveis de máquinas que eles próprios não conseguem compreender. Além disso, há desafios jurídicos significativos para atribuir responsabilidade civil a programadores e desenvolvedores. 

Essas discussões também evidenciam o risco de violação do princípio da distinção, que busca proteger civis ao diferenciá-los de combatentes. Sistemas de inteligência artificial podem reproduzir vieses presentes nos dados utilizados em seu treinamento, o que compromete a precisão na identificação de alvos. Um grupo de especialistas da ONU alertou que esses critérios podem acabar sendo influenciados por fatores como gênero, idade, raça ou capacidade. 

Um dos principais desafios é garantir um controle humano significativo sobre esses sistemas, já que as máquinas não podem ser responsabilizadas por violações do direito internacional humanitário. Os esforços atuais buscam estabelecer as bases para um acordo internacional juridicamente vinculante que regule ou proíba o uso de armas autônomas letais, definidas como máquinas capazes de tirar vidas humanas sem qualquer supervisão humana direta (a definição de LAWS não necessariamente implicaria a total ausência de supervisão humana direta; além disso, não há definição multilateralmente consensuada sobre o conceito). 

Contudo, é importante destacar que o debate sobre armas autônomas letais não é recente. Desde 2013, ele vem sendo discutido no âmbito da Convenção sobre Certas Armas Convencionais (CCW, na sigla em inglês), que, em 2016, estabeleceu grupo de peritos governamentais específico sobre o tema “O progresso”, porém, tem sido limitado devido ao mecanismo decisório, que exige consenso entre os participantes, especialmente, das grandes potências militares, que investem fortemente no desenvolvimento de sistemas de armas autônomas. 

Segundo o Ministério das Relações Exteriores do Brasil “a delegação brasileira consolidou-se como uma das protagonistas no diálogo sobre o tema e defende o início urgente de negociações de um instrumento juridicamente vinculante sobre sistemas de armas autônomas, norteada pelo objetivo de viabilizar a criação de um arcabouço regulatório eficaz, que possa vir a ser adotado pelo maior número possível de Estados, em particular aqueles com maiores capacidades tecnológicas nesse campo. O Brasil tem advogado pela importância do controle humano significativo e pela ‘abordagem de dois níveis’ – proibições peremptórias de sistemas julgados incompatíveis com os princípios de direito internacional humanitário e limitações ao uso dos demais tipos de LAWS, com vistas a prevenir violações do DIH. Além de contribuir para os esforços normativos, o Brasil também apoia discussões sobre outras dimensões do problema, tais como as implicações éticas, tecnológicas e securitárias.”.  

O tecnosolucionismo e a pseudoneutralidade: tópicos que não podem ser ignorados 

Cirurgicamente, Silvana Bahia,  mestre em Cultura e Territorialidades pela UFF, nos alerta para uma discussão essencial sobre a tecnologia ser parte da experiência e visão de mundo de quem as cria no livro “Pode um robô ser racista?”. Em linguagem acessível, ela nos convida a refletir a respeito da costumeira falácia da neutralidade e imparcialidade tecnológica e expõe com exemplos práticos que todo desenvolvimento tecnológico carrega escolhas e preferências de quem a produz, desde a escolha geométrica dos celulares de serem retangulares e não ovais.  

A dimensão desse outro lado da tecnologia é frequentemente alertado quando observamos a discussão sobre tecnologias de reconhecimento facial (TRFs), tema custoso devido à falta de aplicação ética dos dados usados para treinar algoritmos. Esses bancos de dados são criados por pessoas, desnudando a interface processual que pode carregar vieses raciais, étnicos e de gênero que já estão presentes na sociedade. O efeito disso são algoritmos reproduzindo esses preconceitos e até amplificando-os. Na prática, isso faz com que certos grupos sejam mais vulneráveis à vigilância massiva. 

Todavia, a ascensão relâmpago de armas autônomas letais direciona a questão de vieses programáticos de maquinários para um campo mais perigoso, uma forte aproximação com a discussão de necropolítica do Mbembe, evidenciando um deslocamento da visibilidade do regime de poder biopolítico, substituindo uma mediação subjetiva por dispositivos tecnológicos. Assim, encontramos uma tecnificação da morte e apagamento da responsabilidade ética dos possíveis erros decisórios. 

A discussão não pode ser dissociada do debate sobre processos ditos “invisíveis”, incorporados aos sistemas automatizados, conforme nos lembra  Tarcízio Silva em sua obra nominal Racismo Algorítmico, obra que dialoga com a crítica voraz da Ruha Benjamin em Race After Technology acerca da naturalização da autonomia algorítmica. Esse debate reflete as discussões acerca da governança de dados: quais dados podem ser usados para alimentar sistemas autônomos, como os cães robôs? Os mesmos conjuntos de dados empregados em aplicações civis poderiam ser utilizados em sistemas voltados a fins militares, voltados à autonomização de decisões sobre tirar uma vida humana?  

No estudo “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification” elaborado por Joy Buolamwini e Timnit Gebru,  fica claro que os serviços de reconhecimento facial ofertados por IBM, Microsoft e Face++ apresentaram erros de acurácia de 12%, no caso de homens negros e de 35%, no de mulheres negras. Apesar de indicarem aprimoramentos, esses sistemas não alcançam 100% de precisão, o que significa que, mesmo com uma pequena margem de erro, as consequências podem ser graves. Essas evidências reforçam uma preocupação central também presente nas discussões sobre sistemas de armas autônomas: se tecnologias incapazes de reconhecer rostos com total precisão já produzem discriminações e injustiças, delegar a elas decisões sobre a vida e a morte de pessoas representa um risco ético e humanitário ainda maior. Na busca de liberar-se da responsabilidade, os fabricantes de armas autônomas estão entregando a estas a decisão sobre quem pode viver e quem deve morrer. 

Lauro Accioly Filho é doutorando no Programa de Pós-Graduação Interinstitucional em Relações Internacionais – San Tiago Dantas e Pesquisador colaborador no Grupo de Estudos de Defesa e Segurança Internacional (GEDES). 

Héctor Luis Saint-Pierre é professor titular em Segurança Internacional e Resolução de Conflitos na UNESP/Franca desde 1993. É também fundador e líder do Grupo de Estudos de Defesa e Segurança Internacional (GEDES) e vice-coordenador do Instituto de Políticas Públicas e Relações Internacionais (IPPRI), ambos na UNESP.