Змагальне машинне навчання: значення, приклади та як це працює

Змагальне машинне навчання — це розділ машинного навчання, який зосереджується на вразливості моделей машинного навчання до різних атак.

Змагальні вхідні дані — це будь-які вхідні дані машинного навчання, які мають на меті змусити модель зробити неправильні прогнози або отримати неправильні результати.

Оскільки суперницькі атаки можуть мати серйозні наслідки, зокрема у сферах безпеки, шахрайства та охорони здоров’я, дослідники зосереджуються на виявленні різних методів атак, а також на розробці механізмів захисту від них.

У цьому дописі досліджується світ машинного навчання, пов’язаний із змагальністю, і містяться приклади, виклики та способи нападу та захисту моделей ШІ.

Що таке змагальне машинне навчання?

Змагальне машинне навчання вивчає клас атак, які спрямовані на зниження продуктивності класифікаторів у конкретних завданнях. Іншими словами, вони прагнуть обдурити машину ШІ.

Оскільки використання штучного інтелекту та методів машинного навчання стає все більш поширеним, ризик атак противника зростає. Це становить значну загрозу для різних програм на базі штучного інтелекту, зокрема для виявлення спаму, персональних помічників, комп’ютерного зору тощо.

Як працюють змагальні атаки

Змагальна атака — це будь-який процес, призначений для того, щоб обдурити модель машинного навчання, щоб вона спричинила помилкові прогнози. Це може статися під час навчання, а також у середовищі живого виконання. Іншими словами, якщо ви можете знайти спосіб обдурити або саботувати модель, то ви успішно її атакували.

Що таке змагальний приклад?

Змагальним прикладом є будь-який спеціально розроблений вхід для моделі машинного навчання, який має на меті змусити модель зробити помилку або створити неправильний результат.

Ви можете створити приклад змагальності, вносячи незначні зміни у вхідні дані, яких, хоча й не видно людському оку, часто буває достатньо, щоб змінити розуміння моделі та спонукати її до помилкових виходів.

Змагальні приклади використовуються на етапах навчання моделі штучного інтелекту, а внесені модифікації зазвичай генеруються за допомогою різних методів оптимізації, включно з методами на основі градієнта, як-от атака методом швидкого градієнтного знака (FGSM), яка використовує чутливість моделі до змін у простір введення.

Мета суперечливих прикладів полягає в тому, щоб додати невеликі збурення до вхідних даних, які можуть бути ледве помітними для людей-спостерігачів, але все ще достатньо значущі, щоб привести модель до неправильної класифікації вхідних даних.

Змагальні атаки можуть відбуватися в різних секторах машинного навчання, включаючи розпізнавання зображень і обробку природної мови.

Застосування Adversarial ML

Здатність виявляти та використовувати слабкі місця в будь-якій платформі штучного інтелекту має широкий спектр використання, оскільки зловмисник обмежений лише своєю уявою. Ось деякі з багатьох способів, за допомогою яких хакер може використати скомпрометовану машину ШІ за допомогою методів змагального машинного навчання.

• Розпізнавання зображень і відео: від модерації вмісту до автономних транспортних засобів і систем спостереження, багато програм штучного інтелекту покладаються на алгоритми розпізнавання зображень і відео. Змінюючи вхідні дані машини та змушуючи її неправильно класифікувати дані, зловмисник може уникнути будь-яких систем керування, які покладаються на її можливості розпізнавання об’єктів. Для автономних автомобілів така маніпуляція може призвести до ДТП.
• Фільтрація спаму: Спамери можуть успішно обійти системи виявлення спаму штучним інтелектом, оптимізувавши свої спамові електронні листи за допомогою іншої структури, більше хороших слів, менше поганих слів тощо.
• Виявлення шкідливих програм: Так само можна створити шкідливий комп’ютерний код, який може уникнути виявлення сканерами шкідливих програм.
• Обробка природних мов: шляхом неправильної класифікації тексту за допомогою змагального машинного навчання зловмисник може маніпулювати системами текстових рекомендацій, детекторами фейкових новин, детекторами настроїв тощо.
• Охорона здоров'я: зловмисники можуть маніпулювати медичними документами, щоб змінити діагноз пацієнта або обманом змусити систему розкрити конфіденційні медичні записи.
• Виявлення фінансового шахрайства: Системи штучного інтелекту, які використовуються для виявлення фінансового шахрайства, також піддаються ризику агресивних атак машинного навчання. Наприклад, зловмисник може створювати синтетичні дані, які імітують законні транзакції, таким чином роблячи можливим шахрайство, непомічене моделлю.
• Біометричні системи безпеки: Використовуючи підроблені дані, зловмисник може зламати системи безпеки з розпізнаванням відбитків пальців або обличчя, щоб отримати несанкціонований доступ до мережі чи платформи.
• Змагальний захист: У той час як більшість вищезазначених застосувань призначені для атаки на систему, змагальний захист — це дослідження змагальних атак для використання у створенні надійних систем захисту від зловмисників машини.

Наслідки змагального ML

Змагальне машинне навчання має наслідки, які можуть вплинути на надійність або продуктивність систем ШІ. Ось основні з них.

• Підриває довіру: Якщо атаки противника зростатимуть і вийдуть з-під контролю, це призведе до ерозії довіри до систем штучного інтелекту, оскільки громадськість сприйме будь-яку систему, засновану на машинному навчанні, з певною підозрою.
• Етичні наслідки: Застосування систем машинного навчання в таких областях, як охорона здоров’я та кримінальне правосуддя, викликає етичні питання, оскільки будь-яка скомпрометована система ШІ може завдати серйозної особистої та соціальної шкоди.
• Економічні наслідки: Змагальні атаки можуть призвести до фінансових втрат, збільшення витрат на безпеку, маніпулювання фінансовими ринками та навіть шкоди репутації.
• Підвищена складність: загроза супротивних атак збільшує дослідницькі зусилля та загальну складність систем машинного навчання.
• Крадіжка моделі: саму модель штучного інтелекту можна атакувати, щоб перевірити та отримати внутрішні параметри або інформацію про її архітектуру, які можуть бути використані для більш серйозної атаки на систему.

Типи змагальних атак

Існують різні типи змагальних атак машинного навчання, і вони відрізняються залежно від цілей зловмисника та обсягу доступу, який він має до системи. Ось основні типи.

• Атаки ухилення: під час атак ухилення супротивники змінюють вхідні дані, щоб змусити систему штучного інтелекту неправильно їх класифікувати. Це може включати додавання непомітних збурень (або навмисного шуму) до вхідних зображень або інших даних, щоб ввести в оману модель.
• Атаки з отруєнням даних: атаки з отруєнням даних відбуваються на етапі навчання системи ШІ. Додаючи погані (або отруєні) дані до навчального набору даних машини, модель стає менш точною у своїх прогнозах і, отже, скомпрометована.
• Атаки вилучення моделі: під час атак інверсії моделі зловмисники використовують можливість витягувати конфіденційну інформацію з навченої моделі ШІ. Маніпулюючи вхідними даними та спостерігаючи за відповідями моделі, вони можуть реконструювати приватні дані, наприклад зображення чи текст.
• Трансферні атаки: це стосується здатності атаки на одну систему машинного навчання бути однаково ефективним проти іншої системи машинного навчання.

Як захиститися від супротивних атак

Існують різні захисні механізми, які можна використовувати, щоб захистити свою модель ШІ від агресивних атак. Ось деякі з найпопулярніших.

• Створення надійних систем: це передбачає розробку моделей штучного інтелекту, які є більш стійкими до агресивних атак, включаючи тести та вказівки з оцінки, щоб допомогти розробникам виявити недоліки системи, які можуть призвести до агресивних атак. Тоді вони можуть виробити захист від таких атак.
• Перевірка вводу: Інший підхід полягає у перевірці вхідних даних до моделі машинного навчання на наявність уже відомих уразливостей. Модель може бути розроблена для відхилення вхідних даних, наприклад, які містять модифікації, які, як відомо, змушують машини робити неправильні прогнози.
• Змагальний тренінг: Ви також можете додати деяку кількість змагальних прикладів до навчальних даних вашої системи, щоб допомогти моделі навчитися виявляти та відхиляти змагальні приклади в майбутньому.
• Пояснюваний ШІ: Теоретично, чим краще розробники та користувачі розуміють, як функціонує модель штучного інтелекту в глибині душі, тим легше людям буде придумувати засоби захисту від атак. Таким чином, зрозумілий підхід штучного інтелекту (XAI) до машинного навчання та розробки моделі ШІ може вирішити багато проблем.

Висновок

Змагальні атаки машинного навчання становлять значну загрозу для надійності та продуктивності систем штучного інтелекту. Однак, розуміючи різні типи відомих атак і впроваджуючи стратегії захисту для їх запобігання, розробники можуть краще захистити свої моделі ШІ від агресивних атак.

Нарешті, ви повинні розуміти, що сфери ШІ та змагального машинного навчання все ще розвиваються. Отже, все ще можуть існувати інші методи змагальної атаки, які ще не стануть загальновідомими.

Ресурси

1. https://en.wikipedia.org/wiki/Adversarial_machine_learning
2. https://www.csoonline.com/article/573031/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html
3. https://medium.com/@durgeshpatel2372001/an-introduction-to-adversarial-machine-learning-820010645df9
4. https://insights.sei.cmu.edu/blog/the-challenge-of-adversarial-machine-learning/
5. https://viso.ai/deep-learning/adversarial-machine-learning/
6. https://www.toptal.com/machine-learning/adversarial-machine-learning-tutorial