Security Testing

Os testadores estão prontos para a IA adversária?

O que é Shadow AI

Tenho ouvido muito sobre Shadow AI recentemente. Era um novo termo para mim, logo tive a sorte de ter a chance de falar mais sobre isso com o Dr. Arash Rahnama, encarregado de IA aplicada em Modzy.

O Dr. Arash descreve o Shadow AI uma vez que a pausa entre o que o pesquisador de dados desenvolve no laboratório e o resultado real de que a empresa pode precisar.

Sempre há uma diferença entre o que você testa em seu laboratório com seus próprios conjuntos de dados e graduação e um resultado que você pode realmente usar em aplicativos e conjuntos de dados em grande graduação.

Porquê qualquer outro exemplo de segurança cibernética, esses modelos de IA também são vulneráveis ​​a ataques de hackers ou uso indevido.

Porquê isso acontece com os Modelos Pré-treinados na período de treinamento?

Quando você desenvolve um protótipo de IA, geralmente ele é projetado para realizar uma tarefa específica. Você treina IA em um conjunto de dados de treinamento e, com base no que está ocorrendo durante o treinamento, esse protótipo aprende a fazer previsões.

Em seguida, você pega isso e desenvolve o resultado final, que é executado em seu conjunto de dados de ingresso durante a inferência de tempo de teste.

Depois de implantar seu protótipo de IA, às vezes ele fica vulnerável a ruídos, mas você pode juntar soído de engenharia à ingresso e enganar completamente as previsões que o protótipo foi treinado para fazer.

Ataque de IA competidor

É verosímil para um mau ator olhar para um protótipo de IA que você treinou, desenvolveu e implantou e desvendar uma vez que mudar essas entradas?

Arash explicou que o protótipo não funciona conforme projetado durante a inferência ou implantação sem que o usuário perceba.

Essa é a segmento complicada.

Essas mudanças são tão pequenas e fáceis de fazer (e tão difíceis de detectar) que se tornam bastante problemáticas para muitas aplicações diferentes porque você acha que seu protótipo de IA está funcionando, mas realmente não está … e pode levar qualquer tempo para você perceber nascente.

Logo, você está contando com essas previsões. Você está ouvindo um protótipo de IA, mas o que você está vendo em termos das informações que está recebendo é se elas estão comprometidas.

Esse tipo de ataque é publicado uma vez que intoxicação de dados.

Envenenamento de dados de IA

O que é intoxicação por dados de IA?

O Gartner disse que em 2022, 30% de todos os ataques cibernéticos de IA alavancarão o treinamento intoxicação de dados.

Logo, o que é intoxicação de dados de IA?

O intoxicação de dados é um dos subcampos do aprendizagem de máquina competidor.

O que queremos expressar com intoxicação de dados é quando, no início, quando um pesquisador de dados começa a treinar seus modelos nos conjuntos de dados de treinamento, esses conjuntos de dados de treinamento são comprometidos pelo competidor.

O intoxicação de dados acontece no laboratório quando você está treinando modelos e conjuntos de dados nos quais você confia, mas que podem ter sido comprometidos ou envenenados pelo competidor.

E o que acontece é que você treina seu protótipo final naquele conjunto de dados envenenado, de forma que tudo parece normal.

Você obtém os índices de desempenho e previsões que espera no conjunto de dados de teste.

Porquê pesquisador de dados, você não perceberia que um pouco pode estar falso com seu conjunto de dados.

Mas, uma vez que você implanta seu pacote, o protótipo fica comprometido no sentido de que pode ter um desempenho subalterno e casos específicos em que o competidor estava interessado quando apresentou seu conjunto de dados.

Portanto, ainda tem um bom desempenho 80% do tempo.

Mas para esses 20% e esses casos específicos, o protótipo apresenta desempenho subalterno e, novamente, torna-se difícil de detectar porque está muito oculto nos processos que o protótipo está produzindo.

Por que os testadores deveriam se preocupar com isso?

Porquê testante, você pode se perguntar por que se preocupa com isso?

Muito, existem muitos exemplos adversários dos quais você deve estar cônscio.

Por exemplo, carros autônomos.

Quando se trata de carros autônomos, é verosímil hackear esses modelos de classificação de imagens, colocados em diversos veículos autônomos ou carros sem motorista onde detectam sinais de trânsito, por exemplo.

Se eu sou um mau ator e quero motivar um acidente, seria fácil hackear esse protótipo de classificação de imagens, que obviamente é meu objetivo. Estou tentando comprometer a segurança do motorista.

É verosímil hackear um protótipo de classificação de imagem em um sege sem motorista para que ele não detecte os limites de velocidade ou uma placa de pare e não pare em um interceptação, levando a um acidente.

Assim, carros autônomos são tudo menos autônomos; você deseja prometer que o sistema ao qual está atribuindo a tarefa funcione conforme o esperado. Aliás, podem surgir problemas de privacidade e segurança se o sistema for comprometido por backdoors adversários.

A resguardo é outro exemplo.

Se estiver implantando modelos de IA para objetivos ou metas de missão sátira ou ambientes de missão sátira, você quer ter certeza de que o sistema de IA está fazendo o que deve fazer.

Alguns exemplos significativos seriam com a Internet das Coisas (IoT), cidades automatizadas ou controle de tráfico automatizado, todas essas coisas ou tráfico desatento.

Porquê estamos usando cada vez mais sistemas de aprendizagem profundo de IA e há aplicativos específicos, você quer ter certeza de que seu sistema está seguro porque agora eles estão substituindo algumas das tarefas mundanas que os humanos usam para realizar.

Você está contando com um sistema para automatizar esses processos e deseja ter certeza de que eles estão funcionando conforme o esperado.

Maneiras de combater o intoxicação de dados

Assim uma vez que o lado competidor e ofensivo da IA ​​está crescendo, seu lado defensivo também está aumentando.

Várias soluções defensivas estão sendo criadas para ajudar a proteger seus dados, seu protótipo de IA ou seus processos de ciência de dados.

Por exemplo, o Dr. Arash e sua equipe em Modzy criaram alguns modelos de IA que levam a sistemas mais robustos.

Ele apresentou nascente trabalho no evento de visão computacional CVPR.

A teoria principal por trás do trabalho deles é que, quando você olha para a teoria de automação e controle, ela tem se desenvolvido para ser robusta contra ruídos externos e perturbações nos últimos centena anos.

Se estiver projetando robôs de fábrica, por exemplo, você define objetivos específicos para aquele robô, mas também o cria de uma maneira muito seguro.

Se um pouco imprevisível ocorrer, o robô pode mourejar com isso.

Eles olharam para os sistemas de IA da mesma maneira.

Eles disseram: “Ok … o próprio sistema de IA está em uma caixa?” É uma caixa preta. É um sistema não linear.
Depois de implantar esse protótipo de IA, ele tem um objetivo específico.

Mas, ao mesmo tempo, está lidando com o envolvente, soído extrínseco e perturbação, portanto, esses ruídos e ataques adversários podem ser subconjuntos do soído extrínseco.

Você deve desenvolver seu protótipo para que ele seja robusto contra qualquer coisa imprevisível que possa ocorrer, a termo de executar seu objetivo e as tarefas específicas que lhe foram atribuídas.

Eles trouxeram a ciência da automação, uma vez que a firmeza e a robustez são definidas e aplicadas aos sistemas de IA.

E eles desenvolveram essa novidade forma de treinamento baseada em retropropagação, o que leva aos mesmos índices de robustez que são comuns na teoria de controle.

Aplicando esses sistemas de IA e modelos de IA e perceptibilidade sintético, mostramos que podemos superar muitas outras soluções nesta superfície porque podemos desenvolver redes neurais robustas para nos proteger contra ataques adversários

O que ter em mente ao desenvolver seus modelos de IA

O melhor parecer do Dr. Arash é certificar-se de que a maneira uma vez que você está treinando seus modelos adversários não seja a maneira tradicional de fazer o treinamento de modelos – que está desatualizado neste ponto.

É bom considerar o desempenho, mas não ignorar preconceitos, questões éticas ou robustez do competidor.

Você não quer somente considerar a precisão da previsão, mas deve examinar uma vez que pode explicar os resultados de seus modelos e uma vez que pode usar isso para explicar e mourejar com os vieses inatos em seu processo.

Porquê testante, você também deve prometer que seu protótipo esteja fazendo previsões corretas sobre entradas de dados limpos e ingresso adversária.

Para somar, o desenvolvimento de modelos no campo da IA ​​e ciência de dados agora é sobre:

  • atuação
  • Robustez
  • Falta de preconceito

Esses três objetivos devem ser considerados primeiro ao desenvolver seus modelos de IA.

 

Leave a Reply

O seu endereço de email não será publicado. Campos obrigatórios marcados com *