O especialista em segurança Bar Lanyado fez recentemente algumas pesquisas sobre como os modelos generativos de IA contribuem inadvertidamente para enormes ameaças potenciais à segurança no mundo do desenvolvimento de software. Essa pesquisa de Lanyado encontrou uma tendência alarmante: a IA sugere pacotes de software imaginário, e os desenvolvedores, mesmo sem saber, os incluem em suas bases de código.
O problema revelado
Agora, o problema é que a solução gerada foi um nome fictício – algo típico de IA. No entanto, esses nomes de pacotes fictícios são sugeridos com segurança para desenvolvedores que têm dificuldade em programar com modelos de IA. Na verdade, alguns nomes de pacotes inventados foram parcialmente baseados em pessoas – como Lanyado – e alguns foram em frente e os transformaram em pacotes reais. Isto, por sua vez, levou à inclusão acidental de códigos potencialmente maliciosos em projetos de software reais e legítimos.
Uma das empresas que sofreu este impacto foi a Alibaba, um dos principais players da indústria tecnológica. Nas instruções de instalação do GraphTranslator, Lanyado descobriu que o Alibaba incluía um pacote chamado “huggingface-cli” que havia sido falsificado. Na verdade, havia um pacote real com o mesmo nome hospedado no Python Package Index (PyPI), mas o guia do Alibaba referia-se ao que Lanyado havia feito.
Testando a persistência
A pesquisa de Lanyado teve como objetivo avaliar a longevidade e a exploração potencial desses nomes de pacotes gerados por IA. Nesse sentido, a LQuery realizou modelos de IA distintos sobre os desafios de programação e entre linguagens no processo de entender se, efetivamente, de forma sistemática, aqueles nomes fictícios eram recomendados. É claro nesta experiência que existe o risco de entidades prejudiciais abusarem de nomes de pacotes gerados por IA para a distribuição de software malicioso.
Esses resultados têm implicações profundas. Os malfeitores podem explorar a confiança cega depositada pelos desenvolvedores nas recomendações recebidas, de tal forma que podem começar a publicar pacotes nocivos sob identidades falsas. Com os modelos de IA, o risco aumenta com recomendações consistentes de IA para nomes de pacotes inventados, que seriam incluídos como malware por desenvolvedores desavisados. **O caminho a seguir**
Portanto, à medida que a IA se torna mais integrada com o desenvolvimento de software, pode surgir a necessidade de corrigir as vulnerabilidades se estiver ligada às recomendações geradas pela IA. Nesses casos, deve-se praticar a devida diligência para que os pacotes de software sugeridos para integração sejam legítimos. Além disso, a plataforma que hospeda o repositório de software deve estar em vigor para verificar e ser forte o suficiente para que nenhum código de qualidade malévola seja distribuído.
A interseção da inteligência artificial e do desenvolvimento de software revelou uma ameaça preocupante à segurança. Além disso, o modelo de IA pode levar à recomendação acidental de pacotes de software falsos, o que representa um grande risco para a integridade dos projetos de software. O fato de que em suas instruções o Alibaba incluiu uma caixa que nunca deveria ter existido é apenas uma prova de como as possibilidades poderiam realmente surgir quando as pessoas seguissem as recomendações automaticamente.
dado pela IA. No futuro, a vigilância terá de ser tomada em medidas proativas para evitar o uso indevido da IA para o desenvolvimento de software.
Fonte: https://www.cryptopolitan.com/ai-generated-software-packages-threats/