Aprendizado de máquina adversário: significado, exemplos e como funciona

O aprendizado de máquina adversário é um ramo do aprendizado de máquina que se concentra nas vulnerabilidades dos modelos de aprendizado de máquina a vários ataques.

Uma entrada adversária é qualquer entrada de aprendizado de máquina que visa enganar o modelo, fazendo-o fazer previsões erradas ou produzir resultados errados.

Porque os ataques adversários podem ter consequências graves, inclusive no segurançaNos setores de fraude e saúde, os pesquisadores se concentram na descoberta de diferentes métodos de ataque, bem como no desenvolvimento de mecanismos de defesa contra eles.

Esta postagem explora o mundo adversário do aprendizado de máquina e inclui exemplos, desafios e maneiras de atacar e defender AI .

O que é aprendizado de máquina adversário?

O aprendizado de máquina adversário estuda uma classe de ataques que visa reduzir o desempenho dos classificadores em tarefas específicas. Em outras palavras, eles pretendem enganar a máquina de IA.

À medida que o uso de inteligência artificial e técnicas de aprendizado de máquina se torna mais difundido, o risco de ataques adversários aumenta. Isso representa uma ameaça significativa para vários aplicativos baseados em IA, incluindo detecção de spam, assistentes pessoais, visão computacional e assim por diante.

Como funcionam os ataques adversários

Um ataque adversário é qualquer processo projetado para enganar um modelo de aprendizado de máquina e causar previsões erradas. Isso pode acontecer durante o treinamento, bem como em um ambiente de execução ao vivo. Em outras palavras, se você conseguir descobrir uma maneira de enganar ou sabotar o modelo, então você o atacou com sucesso.

O que é um exemplo adversário?

Um exemplo adversário é qualquer entrada especialmente projetada para um modelo de aprendizado de máquina que visa fazer com que o modelo cometa um erro ou produza uma saída incorreta.

Você pode criar um exemplo adversário fazendo pequenas alterações nos dados de entrada, que embora possam não ser visíveis ao olho humano, muitas vezes são suficientes para alterar a compreensão do modelo e levá-lo a produzir resultados errôneos.

Exemplos adversários são usados ​​nos estágios de treinamento de um modelo de IA e as modificações feitas são normalmente geradas usando várias técnicas de otimização, incluindo métodos baseados em gradiente, como o Fast Gradient Sign Method (FGSM) Attack, que explora a sensibilidade do modelo a mudanças em o espaço de entrada.

O objetivo dos exemplos adversários é adicionar pequenas perturbações aos dados de entrada que podem ser pouco visíveis para os observadores humanos, mas que ainda são significativas o suficiente para levar o modelo a classificar incorretamente a entrada.

Os ataques adversários podem acontecer em diferentes setores de aprendizado de máquina, incluindo reconhecimento de imagens e processamento de linguagem natural.

Aplicações de ML adversário

A capacidade de detectar e explorar fraquezas em qualquer plataforma de inteligência artificial tem uma ampla gama de utilizações, pois o invasor é limitado apenas pela sua imaginação. Aqui estão algumas das muitas maneiras pelas quais um cabouqueiro pode aproveitar uma máquina de IA comprometida usando métodos adversários de aprendizado de máquina.

• Reconhecimento de imagem e vídeo: Da moderação de conteúdo aos veículos autônomos e sistemas de vigilância, muitos aplicativos de inteligência artificial dependem de algoritmos de reconhecimento de imagem e vídeo. Ao alterar a entrada da máquina e obrigá-la a classificar coisas incorretamente, um invasor pode escapar de quaisquer sistemas de controle que dependam de suas capacidades de reconhecimento de objetos. Para veículos autônomos, tal manipulação pode levar a acidentes rodoviários.
• Filtragem de Spam: Os spammers podem contornar com sucesso os sistemas de detecção de spam de IA, otimizando seus e-mails de spam com estruturas diferentes, mais palavras boas, menos palavrões e assim por diante.
• Detecção de malware: é igualmente possível criar códigos de computador maliciosos que possam escapar à detecção por scanners de malware.
• Processamento de Linguagem Natural: ao classificar incorretamente o texto usando aprendizado de máquina adversário, o invasor pode manipular sistemas de recomendação baseados em texto, detectores de notícias falsas, detectores de sentimentos e assim por diante.
• Assistência médica: os invasores podem manipular registros médicos para alterar o diagnóstico de um paciente ou enganar o sistema para que revele registros médicos confidenciais.
• Detecção de fraude financeira: Os sistemas de IA empregados na detecção de fraudes financeiras também correm risco de ataques adversários de aprendizado de máquina. Por exemplo, um invasor pode criar dados sintéticos que imitam transações legítimas, possibilitando assim a realização de fraudes não detectadas pelo modelo.
• Sistemas de Segurança Biométrica: ao empregar dados manipulados, um invasor pode vencer os sistemas de segurança de impressão digital ou detecção facial para obter acesso não autorizado a uma rede ou plataforma.
• Defesa Adversária: Embora a maioria dos usos anteriores sejam para atacar um sistema, a defesa contraditória é o estudo de ataques adversários para uso na criação de sistemas de defesa robustos contra invasores da máquina.

Consequências do ML adversário

O aprendizado de máquina adversário tem consequências que podem afetar a confiabilidade ou o desempenho dos sistemas de IA. Aqui estão os principais.

• Corrói a confiança: Se os ataques adversários crescerem e ficarem fora de controle, isso causará a erosão da confiança nos sistemas de IA, uma vez que o público passará a ver qualquer sistema baseado em aprendizado de máquina com um certo nível de suspeita.
• Implicações éticas: A aplicação de sistemas de aprendizagem automática em domínios como os cuidados de saúde e a justiça criminal levanta questões éticas, uma vez que qualquer sistema de IA comprometido pode causar graves danos pessoais e sociais.
• Implicações econômicas: Os ataques adversários podem levar a perdas financeiras, aumento dos custos de segurança, manipulação do mercado financeiro e até danos à reputação.
• Maior complexidade: A ameaça de ataques adversários aumenta o esforço de pesquisa e a complexidade geral dos sistemas de aprendizado de máquina.
• Roubo de modelo: O próprio modelo de IA pode ser atacado para investigar e recuperar parâmetros internos ou informações sobre sua arquitetura que podem ser empregados para um ataque mais sério ao sistema.

Tipos de ataques adversários

Existem diferentes tipos de ataques adversários de aprendizado de máquina e eles variam dependendo dos objetivos do invasor e de quanto acesso ele tem ao sistema. Aqui estão os principais tipos.

• Ataques de Evasão: Em ataques de evasão, os adversários modificam as entradas para induzir o sistema de IA a classificá-las incorretamente. Isso pode envolver a adição de perturbações imperceptíveis (ou ruído deliberado) para inserir imagens ou outros dados para enganar o modelo.
• Ataques de envenenamento de dados: Os ataques de envenenamento de dados ocorrem durante a fase de treinamento de um sistema de IA. Ao adicionar dados ruins (ou envenenados) ao conjunto de dados de treinamento da máquina, o modelo se torna menos preciso em suas previsões e, portanto, fica comprometido.
• Ataques de extração de modelo: Em ataques de inversão de modelo, os adversários exploram a capacidade de extrair informações confidenciais de um modelo de IA treinado. Ao manipular as entradas e observar as respostas do modelo, eles podem reconstruir dados privados, como imagens ou texto.
• Transferir Ataques: refere-se à capacidade de um ataque contra um sistema de aprendizado de máquina ser igualmente eficaz contra outro sistema de aprendizado de máquina.

Como se defender contra ataques adversários

Existem diferentes mecanismos de defesa que você pode usar para proteger seu modelo de IA contra ataques adversários. Aqui estão alguns dos mais populares.

• Criando Sistemas Robustos: Isso envolve o desenvolvimento de modelos de IA que sejam mais resistentes a ataques adversários, incluindo testes e diretrizes de avaliação para ajudar os desenvolvedores a identificar falhas no sistema que possam levar a ataques adversários. Eles podem então desenvolver defesas contra tais ataques.
• Validação de entrada: Outra abordagem é verificar as entradas de um modelo de ML em busca de vulnerabilidades já conhecidas. O modelo poderia ser projetado para rejeitar entradas, por exemplo, que contenham modificações conhecidas por fazer com que as máquinas façam previsões erradas.
• Treinamento Adversarial: você também pode introduzir uma certa quantidade de exemplos adversários nos dados de treinamento do seu sistema para ajudar o modelo a aprender a detectar e rejeitar exemplos adversários no futuro.
• IA explicável: Teoricamente, quanto melhor os desenvolvedores e usuários entenderem como um modelo de IA funciona no fundo, mais fácil será para as pessoas criarem defesas contra ataques. Portanto, uma abordagem de IA explicável (XAI) para aprendizado de máquina e desenvolvimento de modelos de IA pode resolver muitos problemas.

Conclusão

Os ataques adversários de aprendizado de máquina representam uma ameaça significativa à confiabilidade e ao desempenho dos sistemas de inteligência artificial. No entanto, ao compreender os diferentes tipos de ataques conhecidos e implementar estratégias de defesa para evitá-los, os desenvolvedores podem proteger melhor seus modelos de IA contra ataques adversários.

Finalmente, você deve compreender que os campos da IA ​​e do aprendizado de máquina adversário ainda estão crescendo. Portanto, ainda pode haver outros métodos de ataque adversário que ainda não se tornaram de conhecimento público.

Recursos

1. https://en.wikipedia.org/wiki/Adversarial_machine_learning
2. https://www.csoonline.com/article/573031/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html
3. https://medium.com/@durgeshpatel2372001/an-introduction-to-adversarial-machine-learning-820010645df9
4. https://insights.sei.cmu.edu/blog/the-challenge-of-adversarial-machine-learning/
5. https://viso.ai/deep-learning/adversarial-machine-learning/
6. https://www.toptal.com/machine-learning/adversarial-machine-learning-tutorial