Ética da IA ​​lutando com o fogoso golpe duplo de ambos os sistemas de armas autônomas baseados em IA e a exploração de sistemas autônomos conduzidos por IA que são diabolicamente armados

Aqueles incríveis robôs de quatro patas dançantes.

Tenho certeza de que você já viu esses vídeos virais dos sistemas robóticos de quatro patas que dançam e empinam de maneiras aparentemente deliciosas e amadas como cães. Parece que gostamos de ver esses robôs controlados por IA enquanto escalam obstáculos e parecem ganhar uma posição delicada quando empoleirados em cima de caixas ou depois de terem sido colocados precariamente em cima de armários embriagados. Seus manipuladores humanos às vezes cutucam ou empurram os brincalhões robôs de quatro patas, o que parece exasperantemente injusto e pode facilmente aumentar sua ira com o tratamento malcriado desses humanóides.

Eu estou querendo saber se você viu os vídeos não tão virais de um calibre totalmente diferente.

Se prepare.

Existem vídeos amplamente divulgados mostrando o mesmo tipo de robôs de quatro patas que foram equipados com armas pronunciadas de um tipo ou de outro.

Por exemplo, uma metralhadora ou arma de fogo semelhante é montada em cima de um robô dançante e empinado. Existe uma ligação eletrônica entre o robô de quatro patas e o mecanismo de disparo da arma. A engenhoca de andar por computador agora armada é mostrada caminhando para onde um alvo foi colocado, e a metralhadora é disparada ferozmente contra o alvo. Depois de acertar o alvo parcialmente destruído, o robô de quatro patas dança e saltita em torno de obstáculos próximos e se alinha para repetir a mesma ação repetidamente em outros novos alvos.

Não é bem o que você esperava ver. Isso certamente tira a leveza e a relativa alegria de assistir abertamente esses fofinhos robôs de quatro patas fazendo suas coisas. Bem-vindo à dura realidade de aparentemente inócuo sistemas autônomos sendo convertidos ou transformados em fortemente armados. Com pouco esforço, você pode ter, da noite para o dia, um sistema autônomo considerado “não armado” adaptado para conter armamento completo.

É quase fácil em algumas circunstâncias.

Vou discutir esse tópico acaloradamente controverso e cobrir as dúvidas bastante pesadas sobre a ética da IA ​​que surgem. Faremos uma jornada em sistemas autônomos, IA, veículos autônomos, armamento e uma série de questões combativas relacionadas à IA ética. Para minha cobertura contínua e extensa de Ética em IA e IA Ética, consulte o link aqui e o link aqui, Apenas para nomear alguns.

Vamos começar com alguns pilares fundamentais.

Para fins de discussão, aceite que existem duas maneiras principais de categorizar sistemas autônomos que foram armados com armamento:

1) Sistemas Autônomos de Armas (por projeto)

2) Sistemas autônomos que são armados (por depois do fato)

Há uma diferença importante entre as duas categorias.

Em primeiro lugar, vamos definir um sistema de armas autônomo ser desde o início uma criação computadorizada que se destina propositadamente a ser uma arma. Os desenvolvedores tinham em mente que queriam criar uma arma. Sua busca explícita é produzir uma arma. Eles sabiam que poderiam combinar integralmente o armamento com as mais recentes tecnologias de sistemas autônomos. Esta é uma arma que cavalga na onda da alta tecnologia que alcança movimento autônomo e ações autônomas (vou elaborar mais detalhadamente, em breve).

Em contraste, na segunda instância, consideraremos a questão dos sistemas autônomos que não têm nenhuma inclinação particular em relação ao armamento. São sistemas autônomos que estão sendo desenvolvidos para outros fins. Visualize um veículo autônomo, como um carro autônomo, que será usado para fornecer mobilidade para todos e ajudar a reduzir as milhares de fatalidades anuais que ocorrem devido a automóveis dirigidos e operados por humanos (veja minha cobertura detalhada no o link aqui). Nenhuma arma parece estar em consideração para aqueles esforços sociais otimistas para tirar os humanos de trás do volante e colocar a IA no banco do motorista.

Mas esses sistemas autônomos inócuos podem ser armados se os humanos quiserem.

Refiro-me a esta segunda categoria então como sistemas autônomos que são armados. O sistema autônomo foi originalmente e devotamente elaborado para um propósito presumivelmente não-armamentista. Apesar disso, a esperança altruísta sonhadora é derrubada por alguém em algum lugar que tem a ideia conivente de que esse artifício pode ser armado. De repente, o sistema autônomo que parecia fofinho se tornou uma arma letal, marcando alguma forma de capacidade de armas (como os robôs de quatro patas semelhantes a cães mencionados anteriormente que têm uma metralhadora ou arma de fogo semelhante adicionada em seus recursos) .

Infelizmente, as duas categorias acabam um pouco no mesmo lugar, ou seja, fornecendo a capacidade de utilizar sistemas autônomos de armamento em uma base potencialmente letal.

O processo de chegar a esse ponto de extremidade provavelmente será diferente.

Para os sistemas autônomos armados que foram identificados como armas, os aspectos do armamento são tipicamente frontais e centrais. Você pode dizer que as facetas do sistema autônomo estão envolvidas na pedra angular de qualquer arma que esteja sendo considerada. O processo de pensamento dos desenvolvedores está um pouco na linha de como uma arma pode explorar o advento de sistemas autônomos.

A outra perspectiva geralmente não é essa mentalidade. Os desenvolvedores querem derivar um sistema autônomo de última geração, talvez para a melhoria da humanidade. Esses desenvolvedores colocaram seu coração e alma na criação do sistema autônomo. Este é o núcleo de sua invenção. Eles podem não imaginar que alguém usurpar ou subverter seu dispositivo milagrosamente benéfico. Eles estão alegremente encantados com os benefícios sociais associados ao sistema autônomo que está sendo moldado e produzido.

Em algum momento, digamos que terceiros percebam que o sistema autônomo pode ser reequilibrado para ser armado. Talvez eles engane os desenvolvedores para deixá-los ter o sistema autônomo para o que se afirma serem propósitos elevados. A portas fechadas, esses malfeitores optam por adicionar sorrateiramente uma capacidade de armamento ao sistema autônomo. Voila, a inocência se transformou em armamento definitivo.

As coisas não têm que proceder dessa maneira.

Talvez os desenvolvedores tenham sido informados de que estavam desenvolvendo um sistema autônomo inocente, mas aqueles que financiam ou dirigem o esforço tinham outros propósitos em mente. Talvez o esforço do sistema autônomo tenha começado inocentemente, mas quando as contas tiveram que ser pagas, a liderança fez um acordo com uma fonte de financiamento que quer os sistemas autônomos por razões nefastas. Outra possibilidade é que os desenvolvedores sabiam que um uso posterior poderia ser para armamento, mas eles imaginavam que atravessariam aquela ponte angustiante quando ou se ela surgisse. etc.

Há muitos e muitos caminhos variados sobre como tudo isso se desenrola.

Você pode achar interessante que eu descrevi em colunas anteriores que há uma crescente conscientização da Ética da IA ​​em relação ao dupla utilização elementos da IA ​​contemporânea, veja o link aqui. Deixe-me brevemente trazê-lo até a velocidade.

Um sistema de IA que é idealizado para o bem pode às vezes estar à beira do mal, talvez por meio de algumas mudanças bastante simples, e correspondentemente é considerado de natureza de uso duplo. Nas notícias recentemente foi um sistema de IA que foi construído para descobrir produtos químicos que podem ser assassinos, para os quais os desenvolvedores queriam ter certeza de que poderíamos evitar ou ser cautelosos com esses produtos químicos mal concebidos. Acontece que a IA pode ser facilmente ajustada para descobrir devotadamente esses produtos químicos assassinos e, assim, potencialmente permitir que os bandidos saibam que tipos de produtos químicos podem potencialmente preparar para seus planos malignos abismais.

Os sistemas autônomos podem se encaixar comprovadamente nesse envelope de uso duplo.

Até certo ponto, é por isso que a ética da IA ​​e a IA ética são um tópico tão crucial. Os preceitos da Ética da IA ​​nos fazem permanecer vigilantes. Os tecnólogos de IA às vezes podem ficar preocupados com a tecnologia, particularmente com a otimização da alta tecnologia. Eles não estão necessariamente considerando as maiores ramificações sociais. Ter uma mentalidade de ética em IA e fazê-lo integralmente no desenvolvimento e em campo da IA ​​é vital para produzir IA apropriada, incluindo (talvez surpreendentemente ou ironicamente) a avaliação de como a ética da IA ​​é adotada pelas empresas.

Além de empregar os preceitos da Ética da IA ​​em geral, há uma questão correspondente sobre se devemos ter leis para governar vários usos da IA. Novas leis estão sendo divulgadas nos níveis federal, estadual e local que dizem respeito ao alcance e à natureza de como a IA deve ser concebida. O esforço para redigir e promulgar tais leis é gradual. A ética da IA ​​serve como um paliativo considerado, no mínimo, e quase certamente, em algum grau, será diretamente incorporado a essas novas leis.

Esteja ciente de que alguns argumentam inflexivelmente que não precisamos de novas leis que cubram a IA e que nossas leis existentes são suficientes. Na verdade, eles avisam que, se promulgarmos algumas dessas leis de IA, estaremos derrubando o ganso de ouro ao reprimir os avanços na IA que oferecem imensas vantagens sociais.

A autonomia e a arma como dois preceitos

Há um bordão que alguns estão usando para alertar sobre sistemas autônomos armados de todos os tipos, que estão sendo cunhados coletivamente como abatedouros.

Isso traz à tona um aspecto adicional sobre o qual devemos refletir.

Um sistema de armas autônomo e/ou um sistema autônomo que foi armado tem que ter uma preponderância de robôs letais ou assassinos?

Alguns argumentariam que podemos ter decididamente não letal sistemas autônomos armados também. Assim, nesse ponto de vista, parece profundamente inadequado usar frases como matadores ou robôs assassinos. Uma variante não letal presumivelmente seria capaz de subjugar ou decretar um dano que não tenha um resultado letal. Esses sistemas não estão matando, eles são de menor capacidade de gerar lesões. Não exagere nas habilidades, dizem aqueles que insistem que não precisamos nos preocupar com um tropo de máquina de matar.

Assim, poderíamos ter isso:

• Sistemas letais de armas autônomas
• Sistemas autônomos letais que foram armados
• Sistemas de armas autônomas não letais
• Sistemas autônomos não letais que foram armados

Claro, o contra-argumento é que qualquer sistema autônomo que tenha sido armado parece ter o potencial de deslizar para o reino da letalidade, mesmo que supostamente apenas previsto para uso em uma base não letal. As duas etapas incrementais de passar de não letal para letal serão realizadas rapidamente quando você já tiver em mãos uma arma em meio a um sistema autônomo. Você seria pressionado a fornecer uma garantia inflexível de que o não-letal não terá entrado na arena letal (embora alguns estejam tentando fazê-lo, em uma aparência matemática).

Antes de nos aprofundarmos nesse tópico geral de sistemas autônomos e armamento, pode ser útil apontar outra coisa que, embora talvez óbvia, não é necessariamente visivelmente em mente.

Aqui está:

• Há um aspecto de IA que é parte integrante do sistema autônomo
• Há um aspecto de armamento que é o lado de armamento desta equação
• A IA também pode estar interconectada com o armamento

Vamos desempacotar isso.

Vamos supor que os sistemas autônomos de hoje exigem IA como o meio computadorizado subjacente de trazer à tona as facetas autônomas. Menciono isso porque você pode tentar argumentar que podemos usar tecnologias e técnicas não relacionadas à IA para fazer os sistemas autônomos, o que, embora seja verdade, parece cada vez menos provável. Basicamente, a IA tende a permitir maiores níveis de autonomia, e a maioria está aproveitando a alta tecnologia da IA ​​de acordo.

Ok, então temos um recurso baseado em IA que é infundido de alguma forma no sistema autônomo e atua para orientar e controlar o sistema autônomo.

Mantenha isso ao seu alcance como regra geral.

Parece prontamente aparente que também precisamos ter algum tipo de armamento, senão por que estamos discutindo aqui o tópico de sistemas autônomos? e armas. Então, sim, obviamente, existe uma arma de um tipo ou de outro.

Não vou me aprofundar no tipo de armamento que pode ser usado. Você pode simplesmente substituir qualquer armamento que vier à mente. Pode haver armamento pontual. Pode haver armamento destrutivo orientado para a massa. Pode ser algo com balas ou projéteis. Pode ser algo que tenha produtos químicos ou componentes voláteis atômicos. A lista não tem fim.

A consideração adicional é se a IA está ou não interconectada com o armamento. A IA pode estar apenas levando o armamento para um passeio. No caso do robô de quatro patas que estava atirando com uma arma, talvez a arma esteja sendo disparada por um humano que tem um controle remoto ligado ao acionamento da arma. O robô parecido com um cachorro navega por uma cena e, em seguida, cabe a um humano remoto puxar o gatilho.

Por outro lado, a IA pode ser o puxador do gatilho, por assim dizer. A IA pode ter sido projetada não apenas para navegar e manobrar, mas também para ativar a arma. Nesse sentido, a IA está fazendo tudo de A a Z. Não há dependência de um humano remoto para realizar o lado de armamento das coisas. A IA está programada para fazer isso.

Para esclarecer, neste caso de uso específico de sistemas autônomos armados, temos esses tipos de possibilidades:

• Sistema autônomo: A IA executa o sistema autônomo inteiramente por conta própria
• Sistema autônomo: A IA executa o sistema autônomo, mas um humano no circuito também pode intervir
• Armamento: Humano remoto comanda o armamento (a IA não)
• Armamento: A IA comanda o armamento, mas um humano no circuito também pode intervir
• Armamento: A IA administra o armamento inteiramente por conta própria

Eu abordei anteriormente as variações de ter um humano no circuito em relação a sistemas autônomos e veículos autônomos, consulte o link aqui.

Quando você assiste a esses vídeos divertidos dos robôs de quatro patas dançando e empinando, eles geralmente são robôs que estão sendo exclusivamente navegáveis ​​​​pela IA (bem, essa é a etiqueta personalizada ou considerada adequada entre aqueles que são profundamente nesses assuntos). Isso é o que você também pode assumir com razão. Claro, você não sabe disso com certeza. Pode ser que um operador humano remoto esteja guiando os robôs. Há também a possibilidade de que a IA faça parte da orientação, e um operador humano remoto também o faça, talvez ajudando a IA se o robô ficar em uma posição difícil e não puder calcular computacionalmente um meio viável de se libertar.

A essência aqui é que existem vários sabores de como a IA e os sistemas autônomos e o armamento podem ser misturados. Alguns têm IA que executa o sistema autônomo, mas não executa o armamento. Um humano talvez controle remotamente o armamento. Outro ângulo é que o armamento pode ser ativado de antemão, e o sistema autônomo entrega a arma ativada, portanto, a IA não participou diretamente do disparo da arma em si e, em vez disso, atuou como um veículo de entrega. E pode ser que a IA seja um proverbial faz-tudo e também faça toda a gama de aspectos do sistema autônomo para a utilização de armas.

Faça a sua escolha.

Enquanto isso, saiba que o humano no circuito é um grande fator quando se trata de debates sobre esse tópico.

Uma linha divisória para alguns é que, se a IA estiver mirando e atirando (ou o que quer que a arma implique), todo o kit e o caboodle cruzaram para a terra de não-nenhum. Isso aparentemente difere das armas convencionais de atirar e esquecer que têm uma seleção pré-alvo determinada por humanos, como um drone de patrulha que tem um míssil pronto para disparar em um alvo que foi já escolhido por um humano.

Alguns se perguntam por que os sistemas autônomos que são armados nem sempre incluem um humano no circuito durante todo o processo do sistema autônomo estar em um status ativamente em andamento. Parece que poderíamos estar melhor se um requisito estridente fosse que todos esses sistemas autônomos armados tivessem que ter um humano no circuito, fazendo isso para a operação do sistema autônomo ou para operar o armamento (ou para ambos) . Manter uma mão humana assumida segura e firme nessa mistura de IA pode parecer totalmente astuto.

Prepare-se para uma longa lista de razões pelas quais isso não é necessariamente viável.

Considere estas dificuldades:

• Human-in-the-loop pode não ser rápido o suficiente para responder em tempo hábil
• Human-in-the-loop pode não ter informações suficientes para responder devidamente
• Human-in-the-loop pode não estar disponível no momento necessário
• Human-in-the-loop pode estar indeciso e não agirá quando necessário
• Human-in-the-loop pode tomar a decisão “errada” (relativamente)
• Human-in-the-loop pode não estar acessível a partir do sistema no momento necessário
• Human-in-the-loop pode ficar confuso e sobrecarregado
• Etc.

Você está, sem dúvida, tentado a olhar para essa lista de fragilidades e limitações humanas e, em seguida, chegar à solene conclusão de que faz sentido extirpar o humano no circuito e sempre usar a IA. Isso pode ser para a exclusão do humano no circuito ou talvez fazer com que a IA seja capaz de substituir um design de humano no circuito. Veja minha análise de como as divergências entre IA e um humano no circuito podem levar a situações precárias, abordadas em o link aqui.

Muitas vezes, uma lista depreciativa desses tipos de desvantagens focadas em humanos em tempo real é deixada por conta própria e deixa uma impressão persistente de que a IA deve de alguma forma ser uma escolha muito mais sábia do que ter um humano no circuito . Não caia nessa armadilha traiçoeira. Há compensações sérias envolvidas.

Considere estas ramificações da IA:

• A IA pode encontrar um erro que faz com que ela se desvie
• A IA pode ficar sobrecarregada e travada sem resposta
• A IA pode conter bugs do desenvolvedor que causam comportamento errático
• AI pode estar corrompida com vírus malfeitor implantado
• A IA pode ser dominada por hackers cibernéticos em tempo real
• A IA pode ser considerada imprevisível devido às complexidades
• A IA pode tomar a decisão “errada” computacionalmente (relativamente)
• Etc.

Eu acredito que você pode ver que há trocas entre usar um humano no circuito versus depender apenas da IA. Caso você esteja tentado a sugerir que a solução pronta é usar os dois, gostaria apenas de enfatizar que você pode obter o melhor dos dois mundos, mas também pode obter o pior dos dois mundos. Não assuma que será sempre e com certeza o melhor dos dois mundos.

Você pode ter ficado um pouco surpreso com uma das desvantagens listadas acima sobre a IA, especificamente que a IA pode ser imprevisível. Estamos acostumados a acreditar que a IA deve ser estritamente lógica e matematicamente precisa. Como tal, você também pode esperar que a IA seja totalmente previsível. Devemos saber exatamente o que a IA fará. Ponto final, fim da história.

Desculpe estourar esse balão, mas esse mito de previsibilidade é um equívoco. O tamanho e a complexidade da IA ​​moderna são frequentemente um pântano que desafia ser perfeitamente previsível. Isso está sendo visto nos tumultos da Ethical AI sobre alguns usos de Machine Learning (ML) e Deep Learning (DL) de hoje. Vou explicar um pouco mais momentaneamente.

Além disso, você pode querer dar uma olhada na minha análise mais recente das próximas tendências para tentar garantir sistemas de IA verificáveis ​​e matematicamente corretos por meio do mais recente em segurança de IA, em o link aqui.

Ruminando as regras da estrada

Eu havia mencionado a noção de alvos e direcionamento, que é uma terminologia bastante carregada que merece atenção especial.

Podemos refletir sobre isso:

• Alvos que são humanos
• Alvos que não são humanos, mas são criaturas vivas
• Destinos que são interpretados como propriedade

Suponha que temos um sistema autônomo que foi armado. A IA é usada para guiar o sistema autônomo e usada para armamento. A IA faz tudo de A a Z. Não há previsão para um humano no circuito. Em termos de segmentação, a IA escolherá os alvos. Não há uma pré-segmentação que tenha sido estabelecida por humanos. Em vez disso, a IA foi programada para geralmente verificar se há humanos que devem ser alvos (talvez procurando por ações hostis, certos tipos de uniformes e assim por diante).

Comigo nisso até agora?

Esse cenário é praticamente o que causa mais protestos sobre sistemas autônomos armados.

A preocupação declarada é que a IA esteja fazendo (pelo menos) três coisas que não deveria ter permissão para fazer:

• Segmentar humanos como alvos
• Segmentação sem o uso de um humano no circuito
• Potencialmente agindo imprevisívelly

Observe que há uma menção pontual de preocupações sobre a imprevisibilidade da IA. Pode ser que, embora a IA tenha sido programada para atingir certos tipos de humanos, a programação da IA ​​não é o que pensávamos que era, e a IA acaba mirando “amigos”, além daqueles que a IA deveria interpretar como “hostis”. ” (ou, talvez em vez de). Além disso, mesmo se optarmos por incluir uma provisão de humano no circuito, a imprevisibilidade da IA ​​pode significar que, quando a IA deve conferir com o humano no circuito, ela falha em fazer assim e age sem qualquer intervenção humana.

Você pode achar interessante que o Comitê Internacional da Cruz Vermelha (CICV) tenha apresentado uma posição abrangente de três pontos sobre sistemas de armas autônomos que elabora esses tipos de preocupações (de acordo com o site do CICV):

1. “Os sistemas de armas autônomos imprevisíveis devem ser expressamente Fora, nomeadamente devido aos seus efeitos indiscriminados. Isso seria melhor alcançado com a proibição de sistemas de armas autônomos que são projetados ou usados ​​de maneira que seus efeitos não possam ser suficientemente compreendidos, previstos e explicados”.

2. “À luz de considerações éticas para salvaguardar a humanidade e defender as regras do Direito Internacional Humanitário para a proteção de civis e combatentes fora de combate, o uso de sistemas de armas autônomos para atingir seres humanos deve ser descartado. Isso seria melhor alcançado através da proibição de sistemas de armas autônomos que são projetados ou usados ​​para aplicar força contra pessoas”.

3. “Para proteger civis e bens civis, respeitar as regras do Direito Internacional Humanitário e salvaguardar a humanidade, o projeto e o uso de sistemas de armas autônomos que não seriam proibidos devem ser regulamentados, inclusive por meio de uma combinação de: limites sobre os tipos de alvo, como constrangê-los a objetos que são objetivos militares por natureza; limites de duração, escopo geográfico e escala de uso, inclusive para permitir o julgamento e o controle humanos em relação a um ataque específico; limites em situações de uso, como constrangê-los a situações em que civis ou bens civis não estejam presentes; rrequisitos para interação homem-máquina, nomeadamente para assegurar uma supervisão humana eficaz e uma intervenção e desativação atempadas.”

Em uma perspectiva relacionada, a Organização das Nações Unidas (ONU) por meio da Convenção sobre Certas Armas Convencionais (CCW) em Genebra estabeleceu onze Princípios Orientadores não vinculativos sobre Armas Autônomas Letais, conforme o relatório oficial publicado on-line (abrangendo referências a Lei ou disposições do DIH):

(a) O Direito Internacional Humanitário continua a se aplicar plenamente a todos os sistemas de armas, incluindo o potencial desenvolvimento e uso de sistemas letais de armas autônomas;

(b) A responsabilidade humana pelas decisões sobre o uso de sistemas de armas deve ser mantida, uma vez que a responsabilidade não pode ser transferida para máquinas. Isso deve ser considerado em todo o ciclo de vida do sistema de armas;

(c) A interação homem-máquina, que pode assumir várias formas e ser implementada em vários estágios do ciclo de vida de uma arma, deve garantir que o uso potencial de sistemas de armas baseados em tecnologias emergentes na área de sistemas de armas autônomos letais esteja em conformidade com o direito internacional aplicável, em particular o DIH. Ao determinar a qualidade e extensão da interação homem-máquina, uma série de fatores deve ser considerada, incluindo o contexto operacional e as características e capacidades do sistema de armas como um todo;

(d) A responsabilidade pelo desenvolvimento, implantação e uso de qualquer sistema de armas emergente no âmbito da CCW deve ser assegurada de acordo com a lei internacional aplicável, inclusive por meio da operação de tais sistemas dentro de uma cadeia responsável de comando e controle humano;

(e) De acordo com as obrigações dos Estados sob o direito internacional, no estudo, desenvolvimento, aquisição ou adoção de uma nova arma, meio ou método de guerra, deve ser determinado se seu emprego seria, em algumas ou em todas as circunstâncias, proibido pelo direito internacional;

(f) Ao desenvolver ou adquirir novos sistemas de armas com base em tecnologias emergentes na área de sistemas de armas autônomas letais, segurança física, salvaguardas não físicas apropriadas (incluindo segurança cibernética contra hackers ou falsificação de dados), o risco de aquisição por grupos terroristas e o risco de proliferação deve ser considerado;

(g) As avaliações de risco e as medidas de mitigação devem fazer parte do ciclo de projeto, desenvolvimento, teste e implantação de tecnologias emergentes em quaisquer sistemas de armas;

(h) Deve-se considerar o uso de tecnologias emergentes na área de sistemas de armas autônomas letais para garantir o cumprimento do DIH e outras obrigações legais internacionais aplicáveis;

(i) Ao elaborar potenciais medidas de política, as tecnologias emergentes na área de sistemas letais de armas autônomas não devem ser antropomorfizadas;

(j) As discussões e quaisquer medidas políticas potenciais tomadas no contexto da CCW não devem impedir o progresso ou o acesso a usos pacíficos de tecnologias autônomas inteligentes;

(k) A CCW oferece uma estrutura apropriada para lidar com a questão das tecnologias emergentes na área de sistemas de armas autônomas letais dentro do contexto dos objetivos e propósitos da Convenção, que busca encontrar um equilíbrio entre a necessidade militar e as considerações humanitárias.

O dilema em que nos encontramos

Essas várias leis de guerra, leis de conflito armado ou DIH (Direitos Humanitários Internacionais) servem como um guia vital e sempre promissor para considerar o que podemos tentar fazer com o advento de sistemas autônomos que são armados, seja por design fundamental ou por métodos pós-fato.

Podemos sinceramente desejar que a proibição de sistemas autônomos armados letais seja rigorosa e obedientemente observada. O problema é que muito espaço de manobra é facilmente encontrado em qualquer das proibições mais sinceras. Como dizem, as regras são feitas para serem quebradas. Você pode apostar que, onde as coisas estão frouxas, a gentalha descobrirá as lacunas e tentará contornar as regras.

Aqui estão algumas brechas potenciais dignas de consideração:

• Reivindicações de Não Letal. Faço não letal sistemas de armas autônomos (aparentemente bem, já que está fora do limite de proibição), que você pode mudar rapidamente para se tornar letal (você só estará além da proibição no último minuto).
• Reivindicações do Sistema Autônomo Apenas. Defenda a proibição ao não fazer sistemas autônomos com foco letal, enquanto isso, fazer tanto progresso na criação de sistemas autônomos diários que (ainda) não são armados, mas que você pode em um centavo se transformar em arma.
• Reivindicações de Não Integrado Como Um. Crie sistemas autônomos que não sejam de forma alguma armados e, quando chegar a hora, use o armamento de modo que você possa tentar argumentar veementemente que eles são dois elementos separados e, portanto, afirmar que eles não se enquadram na rubrica de um tudo-em-um sistema de armas autônomo ou seu primo.
• Alega que não é autônomo. Faça um sistema de armas que não pareça ter capacidades autônomas. Deixe espaço neste sistema presumivelmente não autônomo para a queda da autonomia baseada em IA. Quando necessário, conecte a autonomia e você está pronto para rolar (até então, aparentemente você não estava violando a proibição).
• Outros

Existem muitas outras dificuldades expressas em tentar banir completamente os sistemas letais de armas autônomas. Vou cobrir mais alguns deles.

Alguns especialistas argumentam que uma proibição não é especialmente útil e, em vez disso, deveria haver disposições regulatórias. A ideia é que essas engenhocas sejam permitidas, mas rigorosamente policiadas. Uma litania de usos legais é apresentada, juntamente com formas legais de direcionamento, tipos legais de recursos, proporcionalidade legal e similares.

Na opinião deles, uma proibição direta é como colocar a cabeça na areia e fingir que o elefante na sala não existe. Essa alegação, porém, faz o sangue ferver daqueles que contestam com o argumento de que, ao instituir uma proibição, você pode reduzir drasticamente a tentação de buscar esses tipos de sistemas. Claro, alguns vão ostentar a proibição, mas pelo menos espero que a maioria não o faça. Você pode então focar sua atenção nos flaunters e não ter que dividir sua atenção com todos.

Rodadas e voltas esses debates vão.

Outra preocupação frequentemente observada é que, mesmo que o bem cumpra a proibição, o mal não. Isso coloca o bom em uma postura ruim. Os maus terão esses tipos de sistemas autônomos armados e os bons não. Uma vez que as coisas sejam reveladas que os maus as têm, será tarde demais para que os bons as alcancem. Em suma, a única coisa astuta a fazer é preparar-se para combater fogo com fogo.

Há também a clássica contenção da dissuasão. Se os bons optarem por criar sistemas autônomos armados, isso pode ser usado para impedir que os maus tentem entrar em uma briga. Ou os bons estarão mais bem armados e, assim, dissuadirão os maus, ou os bons estarão prontos quando os maus talvez revelarem que estiveram secretamente planejando esses sistemas o tempo todo.

Um contra-ataque a esses contadores é que, ao criar sistemas autônomos armados, você está travando uma corrida armamentista. O outro lado procurará ter o mesmo. Mesmo que eles sejam tecnologicamente incapazes de criar tais sistemas novamente, eles agora serão capazes de roubar os planos dos “bons”, fazer engenharia reversa das entranhas da alta tecnologia ou imitar o que eles parecem ver como uma solução testada e comprovada. maneira de fazer o trabalho.

Aha, alguns retrucam, tudo isso pode levar a uma redução nos conflitos por uma aparência de mútuo. Se o lado A sabe que o lado B tem essas armas letais de sistemas autônomos, e o lado B sabe que o lado A as tem, eles podem ficar quietos e não entrar em conflito. Isso tem aquela aura distinta de vibrações de destruição mutuamente assegurada (MAD).

E assim por diante.

A IA na autonomia

Vamos nos certificar de que estamos na mesma página sobre a natureza da IA ​​de hoje.

Não há nenhuma IA hoje que seja senciente. Nós não temos isso. Não sabemos se a IA senciente será possível. Ninguém pode prever adequadamente se alcançaremos a IA senciente, nem se a IA senciente de alguma forma milagrosamente surgirá espontaneamente em uma forma de supernova cognitiva computacional (geralmente chamada de singularidade, veja minha cobertura em o link aqui).

O tipo de IA em que estou focando consiste na IA não senciente que temos hoje. Se quiséssemos especular loucamente sobre autoconsciente AI, essa discussão pode ir em uma direção radicalmente diferente. Uma IA senciente supostamente seria de qualidade humana. Você precisaria considerar que a IA senciente é o equivalente cognitivo de um humano. Mais ainda, já que alguns especulam que podemos ter IA superinteligente, é concebível que tal IA possa acabar sendo mais inteligente que os humanos (para minha exploração da IA ​​superinteligente como uma possibilidade, veja a cobertura aqui).

Vamos manter as coisas mais realistas e considerar a IA computacional não senciente de hoje.

Perceba que a IA de hoje não é capaz de “pensar” de forma semelhante ao pensamento humano. Quando você interage com Alexa ou Siri, as capacidades de conversação podem parecer semelhantes às capacidades humanas, mas a realidade é que é computacional e carece de cognição humana. A era mais recente da IA ​​fez uso extensivo de Machine Learning (ML) e Deep Learning (DL), que alavancam a correspondência de padrões computacionais. Isso levou a sistemas de IA que têm a aparência de tendências humanas. Enquanto isso, não há nenhuma IA hoje que tenha uma aparência de bom senso e nem a maravilha cognitiva do pensamento humano robusto.

Tenha muito cuidado ao antropomorfizar a IA de hoje.

ML/DL é uma forma de correspondência de padrões computacional. A abordagem usual é reunir dados sobre uma tarefa de tomada de decisão. Você alimenta os dados nos modelos de computador ML/DL. Esses modelos buscam encontrar padrões matemáticos. Depois de encontrar esses padrões, se encontrados, o sistema de IA usará esses padrões ao encontrar novos dados. Na apresentação de novos dados, os padrões baseados nos dados “antigos” ou históricos são aplicados para tornar uma decisão atual.

Eu acho que você pode adivinhar onde isso está indo. Se os humanos que tomaram as decisões padronizadas estão incorporando vieses indesejáveis, as chances são de que os dados reflitam isso de maneiras sutis, mas significativas. A correspondência de padrões computacionais de aprendizado de máquina ou aprendizado profundo simplesmente tentará imitar matematicamente os dados de acordo. Não há aparência de senso comum ou outros aspectos sensíveis da modelagem criada por IA per se.

Além disso, os desenvolvedores de IA também podem não perceber o que está acontecendo. A matemática misteriosa no ML/DL pode dificultar a descoberta dos preconceitos agora ocultos. Você esperaria e esperaria, com razão, que os desenvolvedores de IA testassem os vieses potencialmente enterrados, embora isso seja mais complicado do que possa parecer. Existe uma chance sólida de que, mesmo com testes relativamente extensos, ainda haja vieses embutidos nos modelos de correspondência de padrões do ML/DL.

Você poderia usar um pouco o famoso ou infame ditado de trash-in garbage out. O problema é que isso é mais parecido com preconceitos que insidiosamente são infundidos como preconceitos submersos na IA. O algoritmo de tomada de decisão (ADM) da IA ​​torna-se axiomaticamente carregado de iniquidades.

Não é bom.

Com esse histórico básico adicional, voltamos mais uma vez ao tópico de sistemas autônomos e armamento. Vimos anteriormente que a IA entra no componente do sistema autônomo e também pode entrar no componente de armamento. A IA de hoje não é senciente. Isso é digno de repetição e vou destacar isso para insights adicionais sobre esses assuntos.

Vamos explorar alguns cenários para ver como isso é uma consideração crucial. Vou momentaneamente deixar de lado uma orientação de guerra sobre este tópico e mostrar como ele permeia muitos outros meios sociais. Firme-se em conformidade.

Um sistema autônomo baseado em IA, como um veículo autônomo, que diremos não ter nada a ver com armas, está percorrendo um local normal. Um humano vem para fazer uso do veículo autônomo. A pessoa está armada com uma arma de mau presságio. Assuma, para fins de discussão, neste cenário específico, que a pessoa tem algo desfavorável em mente. A pessoa entra no veículo autônomo (portando sua arma, escondida ou não escondida, de qualquer forma).

O veículo autônomo segue para qualquer destino que o motociclista tenha solicitado. Nesse caso, a IA está simplesmente transportando programaticamente esse passageiro de um local de coleta para um destino designado, assim como vem fazendo por possivelmente dezenas ou centenas de viagens, todos os dias.

Se este tivesse sido um motorista humano e um veículo dirigido por humanos, presumivelmente há alguma chance de o motorista humano perceber que o passageiro está armado e parece ter intenções desfavoráveis. O motorista humano pode se recusar a dirigir o veículo. Ou o motorista humano pode dirigir até a delegacia. Ou talvez o motorista humano possa tentar subjugar o passageiro armado (existem casos relatados) ou dissuadir o passageiro de usar sua arma. É bastante complicado, e qualquer número de variações pode existir. Você seria pressionado a afirmar que há apenas uma resposta certa para resolver tal situação. Infelizmente, a situação é irritante e obviamente perigosa.

É improvável que a IA neste caso seja programada para qualquer um desses tipos de possibilidades. Em suma, o passageiro armado pode usar sua arma, fazendo-o de dentro do veículo autônomo, durante a viagem de direção. O sistema de direção de IA continuará a viajar e o veículo autônomo continuará indo para a designação declarada do passageiro (assumindo que o destino não foi considerado fora dos limites).

A maioria dos sistemas de direção de IA contemporâneos estariam apenas focando computacionalmente na estrada e não nos esforços do motociclista.

As coisas podem ficar piores do que isso.

Suponha que alguém queira ter um monte de mantimentos transportados para um lugar que leva comida extra para os necessitados. A pessoa solicita um veículo autônomo e coloca as sacolas de compras no banco traseiro do veículo. Eles não vão para o passeio e estão apenas usando o veículo autônomo para entregar as sacolas de comida para eles.

Parece perfeitamente bem.

Imagine que uma pessoa covarde opte por colocar alguma forma de armamento no veículo autônomo, em vez da noção mais pacífica de sacolas de supermercado. Acho que você pode adivinhar o que pode acontecer. Essa é uma preocupação que venho exortando repetidamente em minhas colunas e prevenindo que precisamos lidar com ela mais cedo ou mais tarde.

Uma resposta oferecida a esses tipos de cenários é que talvez todos os veículos autônomos possam ser programados para usar suas câmeras e outros sensores para tentar detectar se um passageiro em potencial está armado e tem intenções nefastas. Talvez a IA fosse programada para fazer isso. Ou a IA alerta eletronicamente e silenciosamente um operador humano remoto que, através das câmeras, examina visualmente e possivelmente interage com o passageiro. Tudo isso faz parte de uma lata de worms complexa e potencialmente intratável, de modo que levanta problemas de privacidade intensos e uma infinidade de outras preocupações potenciais de IA ética. Veja minha cobertura em o link aqui.

Outra alternativa um tanto semelhante é que a IA contém algum tipo de programação ética incorporada que tenta permitir que a IA faça julgamentos éticos ou morais que normalmente são reservados aos tomadores de decisão humanos. Eu examinei esses tipos de prognosticadores de ética computacional incorporados em IA, veja o link aqui e o link aqui.

Voltando a um cenário de campo de batalha, imagine que um sistema letal de armas autônomas está cruzando sobre uma zona de combate. A IA está operando o sistema autônomo. A IA está operando as armas a bordo. Já havíamos concebido a possibilidade de que a IA pudesse ser programada para escanear movimentos aparentemente hostis ou outros indicadores de alvos humanos considerados combatentes válidos.

Essa mesma IA deveria ter algum tipo de componente ético que se esforça para considerar computacionalmente o que um humano no circuito pode fazer, agindo no sentido de ter um humano no circuito?

Alguns dizem que sim, vamos buscar isso. Alguns recuam horrorizados e dizem que é impossível ou viola a santidade da humanidade.

Mais uma lata de vermes.

Conclusão

Para aqueles que se interessam por este tema, há muito mais a ser discutido.

Vou dar-lhe uma amostra rápida de um enigma irritante.

Normalmente, esperamos que um humano seja responsabilizado por tudo o que ocorre durante a guerra. Se a IA está controlando um sistema de armas autônomo ou controlando um sistema autônomo que talvez tenha sido armado, e esse sistema faz algo no campo de batalha que se acredita ser inconcebível, quem ou o que deve ser culpado por isso?

Você pode argumentar que a IA deve ser responsabilizada. Mas, em caso afirmativo, o que isso significa exatamente? Ainda não consideramos a IA de hoje como a personificação da personalidade jurídica, veja minha explicação em o link aqui. Nada de prender o rabo no burro no caso da IA. Talvez se algum dia a IA se tornar senciente, você possa tentar fazê-lo. Até então, isso é um pouco de alcance (além disso, a que tipo de penalidades ou repercussões a IA estaria sujeita, veja minha análise em o link aqui e o link aqui, por exemplo).

Se a IA não for o suspeito responsável, podemos naturalmente dizer que qualquer humano ou humanos que tenham concebido a IA deve ser responsabilizado. Você pode fazer isso se a IA estivesse apenas executando um sistema autônomo e alguns humanos aparecessem que o acoplassem ao armamento? Você vai atrás dos desenvolvedores de IA? Ou aqueles que implantaram a IA? Ou apenas o ator armador?

Espero que você entenda que só toquei a ponta do iceberg em minha discussão calorosa.

Por enquanto, vamos em frente e encerrar este discurso. Você deve se lembrar que John Lyly em Euphues: A anatomia da sagacidade em 1578 memoravelmente afirmou que tudo é justo no amor e na guerra.

Teria ele em mente o surgimento de sistemas de armas autônomos e também o advento de sistemas autônomos que são armados?

Certamente precisamos colocar isso no topo de nossas mentes, imediatamente.