적대적 머신 러닝: 의미, 예 및 작동 방식

적대적 머신 러닝은 다양한 공격에 대한 머신 러닝 모델의 취약성에 초점을 맞춘 머신 러닝의 한 분야입니다.

적대적 입력은 모델을 속여 잘못된 예측을 하거나 잘못된 출력을 생성하도록 하는 모든 머신 러닝 입력입니다.

적대적 공격은 보안, 사기, 의료 분야 등을 포함한 모든 분야에서 심각한 결과를 초래할 수 있으므로, 연구자들은 다양한 공격 방법을 발견하고 이에 대한 방어 메커니즘을 개발하는 데 주력하고 있습니다.

이 게시물에서는 적대적 머신 러닝 세계를 살펴보고 AI 모델을 공격하고 방어하는 방법, 사례, 과제를 소개합니다.

적대적 머신 러닝이란?

적대적 머신 러닝은 특정 작업에서 분류기의 성능을 낮추는 것을 목표로 하는 공격 유형을 연구합니다. 즉, AI 머신을 속이는 것을 목표로 합니다.

인공 지능과 머신 러닝 기술의 사용이 더 널리 퍼지면서 적대적 공격의 위험도 증가합니다. 이는 스팸 탐지, 개인 비서, 컴퓨터 비전 등 다양한 AI 기반 애플리케이션에 상당한 위협을 가합니다.

적대적 공격의 작동 방식

적대적 공격은 머신 러닝 모델을 속여 잘못된 예측을 유발하도록 설계된 모든 프로세스입니다. 이는 훈련 중에 발생할 수도 있고, 라이브 실행 환경에서도 발생할 수 있습니다. 다시 말해, 모델을 속이거나 방해하는 방법을 알아낼 수 있다면 성공적으로 공격한 것입니다.

적대적 예란 무엇인가?

적대적 예는 머신 러닝 모델을 위해 특별히 설계된 입력으로, 모델이 실수를 하거나 잘못된 출력을 생성하도록 하는 것을 말합니다.

입력 데이터를 약간 변경하면 적대적 사례를 만들 수 있습니다. 이는 사람의 눈에는 보이지 않더라도 모델의 이해를 바꾸고 잘못된 출력을 내기에 충분한 경우가 많습니다.

적대적 사례는 AI 모델의 학습 단계에서 사용되며, 일반적으로 다양한 최적화 기술을 사용하여 수정이 이루어집니다. 여기에는 입력 공간의 변화에 ​​대한 모델의 민감도를 활용하는 FGSM(Fast Gradient Sign Method) 공격과 같은 그래디언트 기반 방법이 포함됩니다.

적대적 사례의 목표는 인간 관찰자에게는 거의 눈에 띄지 않지만 모델이 입력 데이터를 잘못 분류할 수 있을 만큼 충분히 중요한 미세한 변동을 입력 데이터에 추가하는 것입니다.

적대적 공격은 이미지 인식과 자연어 처리를 포함한 다양한 머신 러닝 분야에서 발생할 수 있습니다.

적대적 ML의 응용

모든 인공 지능 플랫폼의 취약점을 탐지하고 악용할 수 있는 능력은 공격자가 상상력에 의해서만 제한을 받기 때문에 광범위한 용도가 있습니다. 해커가 적대적 머신 러닝 방법을 사용하여 손상된 AI 머신을 활용할 수 있는 여러 가지 방법 중 일부는 다음과 같습니다.

• 이미지 및 비디오 인식: 콘텐츠 조정에서 자율 주행차와 감시 시스템에 이르기까지 많은 인공 지능 애플리케이션은 이미지 및 비디오 인식 알고리즘에 의존합니다. 공격자는 기계의 입력을 변경하고 물건을 잘못 분류하도록 강요함으로써 객체 인식 기능에 의존하는 모든 제어 시스템을 회피할 수 있습니다. 자율 주행차의 경우 이러한 조작은 도로 사고로 이어질 수 있습니다.
• 스팸 필터링: 스패머는 다양한 구조, 더 많은 좋은 단어, 더 적은 나쁜 단어 등으로 스팸 이메일을 최적화함으로써 AI 스팸 감지 시스템을 성공적으로 우회할 수 있습니다.
• 멀웨어 탐지: 맬웨어 스캐너의 감지를 피할 수 있는 악성 컴퓨터 코드를 제작할 수도 있습니다.
• NLP 자연 언어 처리: 공격자는 적대적 기계 학습을 사용하여 텍스트를 잘못 분류함으로써 텍스트 기반 추천 시스템, 가짜 뉴스 감지기, 감정 감지기 등을 조작할 수 있습니다.
• 의료: 공격자는 의료 기록을 조작하여 환자의 진단을 바꾸거나 시스템을 속여 중요한 의료 기록을 공개할 수 있습니다.
• 금융 사기 탐지: 금융 사기 탐지에 사용되는 AI 시스템도 적대적 머신 러닝 공격의 위험에 처해 있습니다. 예를 들어, 공격자는 합법적 거래를 모방하는 합성 데이터를 만들어 모델에서 탐지되지 않은 사기를 수행할 수 있습니다.
• 생체인식 보안 시스템: 공격자는 조작된 데이터를 사용하여 지문이나 얼굴 감지 보안 시스템을 무력화하고 네트워크나 플랫폼에 무단으로 액세스할 수 있습니다.
• 적대적 방어: 앞서 언급한 대부분의 용도가 시스템을 공격하는 데 사용된 반면, 적대적 방어는 기계의 공격자에 대항하여 견고한 방어 시스템을 만드는 데 사용하기 위해 적대적 공격을 연구하는 것입니다.

적대적 ML의 결과

적대적 머신 러닝은 AI 시스템의 신뢰성이나 성능에 영향을 미칠 수 있는 결과를 초래합니다. 주요 결과는 다음과 같습니다.

• 신뢰를 침식하다: 적대적 공격이 커지고 걷잡을 수 없게 되면 대중이 머신 러닝 기반 시스템을 의심의 눈초리로 바라보게 되어 AI 시스템에 대한 신뢰가 떨어지게 됩니다.
• 윤리적 의미: 의료 및 형사 사법과 같은 분야에 머신 러닝 시스템을 적용하는 것은 윤리적 문제를 제기합니다. 손상된 AI 시스템은 심각한 개인적, 사회적 피해를 일으킬 수 있기 때문입니다.
• 경제적 시사점: 적대적 공격은 재정적 손실, 보안 비용 증가, 금융 시장 조작, 심지어는 평판 훼손으로 이어질 수 있습니다.
• 복잡성 증가: 적대적 공격의 위협은 머신 러닝 시스템의 연구 노력과 전반적인 복잡성을 증가시킵니다.
• 모델 도난: AI 모델 자체를 공격하여 아키텍처에 대한 내부 매개변수나 정보를 알아내거나 검색할 수 있으며, 이를 시스템에 대한 보다 심각한 공격에 사용할 수 있습니다.

적대적 공격의 유형

적대적 머신 러닝 공격에는 여러 유형이 있으며, 공격자의 목표와 시스템에 대한 액세스 권한에 따라 다릅니다. 주요 유형은 다음과 같습니다.

• 회피 공격: 회피 공격에서 적대자는 입력을 수정하여 AI 시스템이 잘못 분류하도록 속입니다. 여기에는 모델을 속이기 위해 입력 이미지나 다른 데이터에 감지할 수 없는 교란(또는 의도적인 노이즈)을 추가하는 것이 포함될 수 있습니다.
• 데이터 포이즈닝 공격: 데이터 포이즈닝 공격은 AI 시스템의 훈련 단계에서 발생합니다. 머신의 훈련 데이터 세트에 잘못된(또는 포이즈닝된) 데이터를 추가하면 모델의 예측 정확도가 떨어지고, 따라서 손상됩니다.
• 모델 추출 공격: 모델 역전 공격에서 적대자는 훈련된 AI 모델에서 민감한 정보를 추출하는 능력을 악용합니다. 입력을 조작하고 모델의 응답을 관찰함으로써 이미지나 텍스트와 같은 비공개 데이터를 재구성할 수 있습니다.
• 공격 전송: 이는 한 머신 러닝 시스템에 대한 공격이 다른 머신 러닝 시스템에도 마찬가지로 효과적일 수 있는 능력을 의미합니다.

적대적 공격에 대한 방어 방법

적대적 공격으로부터 AI 모델을 보호하는 데 사용할 수 있는 다양한 방어 메커니즘이 있습니다. 가장 인기 있는 몇 가지를 소개합니다.

• 강력한 시스템 만들기: 여기에는 적대적 공격에 더 강한 AI 모델을 개발하는 것이 포함되며, 개발자가 적대적 공격으로 이어질 수 있는 시스템 결함을 식별하는 데 도움이 되는 테스트 및 평가 가이드라인을 포함합니다. 그런 다음 그러한 공격에 대한 방어책을 개발할 수 있습니다.
• 입력 유효성 검사: 또 다른 접근 방식은 이미 알려진 취약성에 대해 ML 모델의 입력을 확인하는 것입니다. 모델은 예를 들어 기계가 잘못된 예측을 하게 하는 것으로 알려진 수정을 포함하는 입력을 거부하도록 설계될 수 있습니다.
• 적대적 훈련: 나중에 모델이 적대적 사례를 감지하고 거부하는 방법을 학습할 수 있도록 시스템의 학습 데이터에 일정량의 적대적 사례를 도입할 수도 있습니다.
• 설명 가능한 AI: 이론적으로 개발자와 사용자가 AI 모델이 어떻게 기능하는지 깊이 이해할수록 사람들이 공격에 대한 방어책을 마련하기가 더 쉬워질 것입니다. 따라서 머신 러닝과 AI 모델 개발에 대한 설명 가능한 AI(XAI) 접근 방식은 많은 문제를 해결할 수 있습니다.

맺음말

적대적 머신 러닝 공격은 인공 지능 시스템의 신뢰성과 성능에 상당한 위협을 가합니다. 그러나 다양한 유형의 잘 알려진 공격을 이해하고 이를 방지하기 위한 방어 전략을 구현함으로써 개발자는 적대적 공격으로부터 AI 모델을 더 잘 보호할 수 있습니다.

마지막으로, AI와 적대적 머신 러닝 분야는 여전히 성장하고 있다는 것을 이해해야 합니다. 따라서 아직 대중에게 알려지지 않은 다른 적대적 공격 방법이 있을 수 있습니다.

자료

1. https://en.wikipedia.org/wiki/Adversarial_machine_learning
2. https://www.csoonline.com/article/573031/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html
3. https://medium.com/@durgeshpatel2372001/an-introduction-to-adversarial-machine-learning-820010645df9
4. https://insights.sei.cmu.edu/blog/the-challenge-of-adversarial-machine-learning/
5. https://viso.ai/deep-learning/adversarial-machine-learning/
6. https://www.toptal.com/machine-learning/adversarial-machine-learning-tutorial