A Microsoft Corp adicionou uma série de recursos de segurança no Azure AI Studio que devem, com o tempo, continuar reduzindo a probabilidade de seus usuários configurarem modelos de IA em um modo que os faria agir de forma anormal ou inadequada. Washington descreveu as melhorias em uma postagem no blog, enfatizando a garantia da integridade das interações de IA e a promoção da confiança na base de usuários.
Escudos de alerta e muito mais
Entre os principais desenvolvimentos está a criação de “escudos de alerta”, uma tecnologia projetada para localizar e eliminar injeções imediatas enquanto conversa com chatbots de IA. Esses são os chamados jailbreaks e são basicamente entradas de usuários que são intencionais de forma que provocam uma resposta indesejada dos modelos de IA.
Por exemplo, a Microsoft está a desempenhar o seu papel indirectamente com injecções imediatas, onde a execução de ordens maliciosas é possível, e um cenário como este pode levar a graves consequências de segurança, como roubo de dados e sequestro de sistemas. Os mecanismos são fundamentais para detectar e responder a estas ameaças únicas em tempo real, de acordo com Sarah Bird, Diretora de Produto para IA Responsável da Microsoft.
A Microsoft acrescenta que em breve haverá alertas na tela do usuário, que apontarão quando é provável que um modelo esteja expressando informações falsas ou enganosas, garantindo mais facilidade de uso e confiança.
Construindo confiança em ferramentas de IA
O esforço da Microsoft faz parte de uma iniciativa maior, destinada a dar às pessoas confiança na IA generativa cada vez mais popular, que está a ser amplamente aplicada em serviços destinados a consumidores individuais e à clientela empresarial. A Microsoft passou com um pente fino, depois de incorrer nos casos, em que os usuários tinham a capacidade de enganar o chatbot Copilot para produzir resultados bizarros ou prejudiciais. Isto apoiará um resultado que mostra a necessidade de defesas fortes contra as táticas manipulativas mencionadas, que provavelmente aumentarão com as tecnologias de IA e o conhecimento popular. Prever e então mitigar ocorre no reconhecimento de padrões de ataque, como quando um invasor repete questionamentos ou instruções na encenação.
Como maior investidor e parceiro estratégico da OpenAI, a Microsoft está ampliando os limites de como incorporar e criar tecnologias de IA generativas, responsáveis e seguras. Ambos estão comprometidos com a implantação responsável e com modelos fundamentais de IA generativa para medidas de segurança. Mas Bird admitiu que estes grandes modelos de linguagem, embora estejam a ser vistos como uma base para grande parte da inovação futura da IA, não são à prova de manipulação.
Construir sobre estas bases exigirá muito mais do que apenas confiar nos próprios modelos; seria necessária uma abordagem abrangente à segurança e proteção da IA.
A Microsoft anunciou recentemente o fortalecimento das medidas de segurança para seu Azure AI Studio para mostrar e garantir medidas proativas que estão sendo tomadas para proteger o cenário mutável de ameaças de IA.
Ela se esforça para evitar o uso indevido da IA e preservar a integridade e a confiabilidade da interação da IA, incorporando telas e alertas oportunos.
Com a constante evolução da tecnologia de IA e a sua adoção em muitas inclusões da vida quotidiana, será mais do que tempo de a Microsoft e o resto da comunidade de IA manterem uma postura de segurança muito vigilante.
Fonte: https://www.cryptopolitan.com/microsoft-ai-chatbot-security-to-tricksters/