3 razões pelas quais sua organização precisará de avaliadores de algoritmos externos

Por Satta Sarmah-Hightower

Os líderes empresariais estão extraindo todo o valor que podem da inteligência artificial (IA). Um estudo de 2021 da KPMG descobre a maioria dos líderes de negócios do governo, manufatura industrial, serviços financeiros, varejo, ciências da vida e saúde dizem que a IA é pelo menos moderadamente funcional em suas organizações. O estudo também descobriu que metade dos entrevistados diz que sua organização acelerou a adoção da IA ​​em resposta à pandemia de Covid-19. Nas organizações onde a IA foi adotada, pelo menos metade diz que a tecnologia superou as expectativas.

Os algoritmos de IA são cada vez mais responsáveis ​​por uma variedade de interações e inovações atuais, desde recomendações de produtos e atendimento ao cliente experiências aos bancos decisões de empréstimo e até mesmo resposta da polícia.

Mas, apesar de todos os benefícios que oferecem, os algoritmos de IA apresentam grandes riscos se não forem efetivamente monitorados e avaliados quanto à resiliência, justiça, explicabilidade e integridade. Para ajudar os líderes empresariais a monitorar e avaliar a IA, o estudo mencionado acima mostra que um Um número crescente de líderes empresariais quer que o governo regule a IA para permitir que as organizações invistam na tecnologia e nos processos de negócios certos. Para o suporte e supervisão necessários, é aconselhável considerar avaliações externas oferecidas por um provedor de serviços com experiência na prestação de tais serviços. Aqui estão três razões.

1. Algoritmos são “caixas pretas”

Os algoritmos de IA – que aprendem com os dados para resolver problemas e otimizar tarefas – tornam os sistemas mais inteligentes, permitindo que eles coletem e gerem insights muito mais rápido do que os humanos poderiam.

No entanto, algumas partes interessadas consideram esses algoritmos como “caixas pretas”, explica Drew Rosen, diretor-gerente de auditoria da KPMG, uma empresa líder em serviços profissionais. Especificamente, algumas partes interessadas podem não entender como o algoritmo chegou a uma determinada decisão e, portanto, podem não estar confiantes na justiça ou precisão dessa decisão.

“Os resultados obtidos com o algoritmo podem ser propensos ao viés e à má interpretação dos resultados”, diz Rosen. “Isso também pode levar a alguns riscos para a entidade, pois ela alavanca esses resultados e os compartilha com o público e seus stakeholders.”

Um algoritmo que usa dados defeituosos, por exemplo, é ineficaz na melhor das hipóteses – e prejudicial na pior. Como isso pode ser na prática? Considere um chatbot baseado em IA que fornece as informações erradas da conta aos usuários ou uma ferramenta de tradução automática de idiomas que traduz texto de forma imprecisa. Ambos os casos podem resultar em erros graves ou más interpretações para entidades ou empresas governamentais, bem como para os constituintes e clientes que confiam nas decisões tomadas por esses algoritmos.

Outro contribuinte para o problema da caixa preta é quando o viés inerente se infiltra no desenvolvimento de modelos de IA, potencialmente causando uma tomada de decisão tendenciosa. Os credores de crédito, por exemplo, usam cada vez mais a IA para prever o valor do crédito de potenciais mutuários para tomar decisões de empréstimo. No entanto, um risco pode surgir quando as principais entradas da IA, como a pontuação de crédito de um potencial mutuário, tem um erro material, levando à negação de empréstimos a esses indivíduos.

Isso destaca a necessidade de um avaliador externo que possa atuar como um avaliador imparcial e fornecer uma avaliação focada, baseada em critérios aceitos, da relevância e confiabilidade dos dados históricos e suposições que alimentam um algoritmo.

2. As partes interessadas e os reguladores exigem transparência

Em 2022, não havia requisitos de relatórios atuais para IA responsável. No entanto, diz Rosen, “assim como os órgãos governamentais introduziram a regulamentação ESG [ambiental, social e de governança] para relatório sobre certas métricas ESG, é apenas uma questão de tempo que veremos requisitos adicionais de relatórios de regulamentação para IA responsável.”

De fato, a partir de 1º de janeiro de 2023, a cidade de Nova York Lei Local 144 exige que uma auditoria de viés seja conduzida em uma ferramenta de decisão de emprego automatizada antes de ser usada.

E a nível federal, o Lei da Iniciativa Nacional de Inteligência Artificial de 2020— que se baseia em um ordem executiva de 2019— concentra-se em padrões e orientações técnicas de IA. Além disso, o Lei de Responsabilidade Algorítmica pode exigir avaliações de impacto de sistemas de decisão automatizados e processos de decisão críticos aumentados. E no exterior, o Lei de Inteligência Artificial foi proposto, oferecendo uma estrutura regulatória abrangente com objetivos específicos sobre segurança, conformidade, governança e confiabilidade da IA.

Com essas mudanças, as organizações estão sob um microscópio de governança. Um avaliador de algoritmo pode fornecer relatórios que atendam aos requisitos regulatórios e aumentem a transparência das partes interessadas, evitando o risco de que as partes interpretem incorretamente ou sejam enganado pelos resultados da avaliação.

3. As empresas se beneficiam do gerenciamento de risco de longo prazo

Steve Camara, sócio da prática de garantia de tecnologia da KPMG, prevê que os investimentos em IA continuarão a crescer à medida que as entidades avançam na automatização de processos, desenvolvendo inovações que aprimoram a experiência do cliente e distribuindo o desenvolvimento de IA pelas funções de negócios. Para se manterem competitivas e lucrativas, as organizações precisarão de controles eficazes que não apenas abordem as deficiências imediatas da IA, mas também reduzam quaisquer riscos de longo prazo associados às operações de negócios alimentadas por IA.

É aqui que os avaliadores externos intervêm como um recurso confiável e experiente. À medida que as organizações adotam cada vez mais a integridade da IA ​​como um facilitador de negócios, a parceria pode se tornar menos um serviço ad hoc e mais uma colaboração consistente, explica Camara.

“Vemos um caminho a seguir em que será necessário um relacionamento contínuo entre as organizações que estão desenvolvendo e operacionalizando a IA de forma contínua e um avaliador externo objetivo”, diz ele.

Um olhar para o que vem a seguir

No futuro, as organizações podem utilizar avaliações externas de forma mais cíclica à medida que desenvolvem novos modelos, ingerem novas fontes de dados, integram soluções de fornecedores terceirizados ou navegam em novos requisitos de conformidade, por exemplo.

Quando requisitos adicionais de regulamentação e conformidade são obrigatórios, os avaliadores externos podem fornecer serviços para avaliar diretamente o quão bem uma organização implantou ou usou a IA em relação a esses requisitos. Esses avaliadores estariam então mais bem posicionados para compartilhar os resultados da avaliação de maneira clara e consistente.

Para capitalizar a tecnologia e, ao mesmo tempo, proteger-se contra suas limitações, uma organização deve procurar avaliadores externos para fornecer relatórios nos quais possa confiar para demonstrar maior transparência ao implantar algoritmos. A partir daí, tanto a organização quanto as partes interessadas podem entender melhor o poder da IA ​​e suas limitações.