Състезателно машинно обучение: Значение, примери и как работи

Състезателното машинно обучение е клон на машинното обучение, който се фокусира върху уязвимостите на моделите на машинно обучение към различни атаки.

Съпернически вход е всеки вход за машинно обучение, който има за цел да заблуди модела да прави грешни прогнози или да генерира грешни резултати.

Тъй като състезателните атаки могат да имат сериозни последици, включително в секторите на сигурността, измамите и здравеопазването, изследователите се фокусират върху откриването на различни методи за атака, както и върху разработването на защитни механизми срещу тях.

Тази публикация изследва състезателния свят на машинно обучение и включва примери, предизвикателства и начини за атака и защита на AI модели.

Какво е състезателно машинно обучение?

Състезателното машинно обучение изучава клас атаки, които са насочени към намаляване на ефективността на класификаторите при конкретни задачи. С други думи, те имат за цел да заблудят AI машината.

Тъй като използването на изкуствен интелект и техники за машинно обучение става все по-широко разпространено, рискът от противникови атаки се увеличава. Това представлява значителна заплаха за различни приложения, работещи с AI, включително откриване на спам, лични асистенти, компютърно зрение и т.н.

Как работят състезателните атаки

Съперническа атака е всеки процес, предназначен да заблуди модел на машинно обучение, за да причини грешни прогнози. Това може да се случи по време на обучение, както и в среда за изпълнение на живо. С други думи, ако можете да измислите начин да заблудите или саботирате модела, значи успешно сте го атакували.

Какво е състезателен пример?

Пример за противопоставяне е всеки специално проектиран вход за модел на машинно обучение, който има за цел да накара модела да направи грешка или да произведе неправилен изход.

Можете да създадете състезателен пример, като направите леки промени във входните данни, които, макар и да не са видими за човешкото око, често са достатъчни, за да променят разбирането на модела и да го накарат да прави грешни резултати.

Състезателните примери се използват в етапите на обучение на AI модел и направените модификации обикновено се генерират с помощта на различни техники за оптимизация, включително базирани на градиент методи като атака на метода за бърз градиент (FGSM), която използва чувствителността на модела към промени във входното пространство.

Целта на състезателните примери е да се добавят леки смущения към входните данни, които може да са едва видими за човешки наблюдатели, но все пак да са достатъчно значими, за да накарат модела да класифицира входа погрешно.

Съперническите атаки могат да се случат в различни сектори на машинно обучение, включително разпознаване на изображения и обработка на естествен език.

Приложения на Adversarial ML

Способността за откриване и използване на слабости във всяка платформа с изкуствен интелект има широк спектър от приложения, тъй като нападателят е ограничен само от своето въображение. Ето някои от многото начини, по които един хакер може да използва компрометирана AI машина, използвайки методи за машинно обучение със съперничество.

• Разпознаване на изображения и видео: От модериране на съдържание до автономни превозни средства и системи за наблюдение, много приложения с изкуствен интелект разчитат на алгоритми за разпознаване на изображения и видео. Променяйки въвеждането на машината и я принуждавайки да класифицира погрешно неща, нападателят може да избегне каквито и системи за контрол да разчитат на възможностите му за разпознаване на обекти. При автономните превозни средства подобна манипулация може да доведе до пътни инциденти.
• Филтриране на спам: Разпространителите на нежелана поща могат успешно да заобиколят системите за откриване на нежелана поща чрез изкуствен интелект, като оптимизират своите нежелани имейли с различни структури, повече добри думи, по-малко лоши думи и т.н.
• Откриване на злонамерен софтуер: Също така е възможно да се създаде злонамерен компютърен код, който може да избегне откриването от скенери за зловреден софтуер.
• Natural Language Processing: Чрез погрешно класифициране на текст с помощта на състезателно машинно обучение, нападателят може да манипулира базирани на текст системи за препоръки, детектори за фалшиви новини, детектори за настроения и т.н.
• Здравеопазване: Нападателите могат да манипулират медицински досиета, за да променят диагнозата на пациента или да подведат системата да разкрие чувствителни медицински досиета.
• Откриване на финансови измами: AI системите, използвани за откриване на финансови измами, също са изложени на риск от конкурентни атаки с машинно обучение. Например, нападателят може да създаде синтетични данни, които имитират легитимни транзакции, като по този начин прави възможно извършването на измама, незабелязана от модела.
• Биометрични системи за сигурност: Използвайки манипулирани данни, нападателят може да победи системите за сигурност с пръстов отпечатък или разпознаване на лице, за да получи неоторизиран достъп до мрежа или платформа.
• Съперническа защита: Докато повечето от гореспоменатите употреби са за атака на система, състезателната отбрана е изследване на състезателни атаки за използване при създаване на стабилни защитни системи срещу нападатели на машината.

Последици от състезателното ML

Състезателното машинно обучение има последствия, които могат да повлияят на надеждността или производителността на AI системите. Ето основните от тях.

• Подкопава доверието: Ако състезателните атаки растат и излязат извън контрол, това ще доведе до ерозия на доверието към системите с изкуствен интелект, тъй като обществеността ще гледа на всяка система, базирана на машинно обучение, с ниво на подозрение.
• Етични последици: Прилагането на системи за машинно обучение в области като здравеопазването и наказателното правосъдие повдига етични въпроси, тъй като всяка компрометирана AI система може да причини сериозни лични и социални щети.
• Икономически последици: Съперническите атаки могат да доведат до финансови загуби, увеличени разходи за сигурност, манипулиране на финансовия пазар и дори увреждане на репутацията.
• Повишена сложност: Заплахата от противникови атаки увеличава изследователските усилия и цялостната сложност на системите за машинно обучение.
• Кражба на модел: Самият AI модел може да бъде атакуван, за да се изследват и извлекат вътрешни параметри или информация за неговата архитектура, които могат да бъдат използвани за по-сериозна атака срещу системата.

Видове състезателни атаки

Има различни видове състезателни атаки с машинно обучение и те варират в зависимост от целите на атакуващия и от това колко достъп има до системата. Ето основните типове.

• Атаки за избягване: При атаки за избягване, противниците променят входовете, за да подмамят AI системата да ги класифицира погрешно. Това може да включва добавяне на незабележими смущения (или умишлен шум) към входни изображения или други данни, за да се подведе моделът.
• Атаки с отравяне на данни: Атаките с отравяне на данни възникват по време на фазата на обучение на AI система. Чрез добавяне на лоши (или отровени) данни в набора от данни за обучение на машината, моделът става по-малко точен в своите прогнози и следователно е компрометиран.
• Атаки за извличане на модел: При атаки с инверсия на модел, противниците използват способността да извличат чувствителна информация от обучен AI модел. Чрез манипулиране на входове и наблюдение на отговорите на модела, те могат да реконструират лични данни, като изображения или текст.
• Трансферни атаки: Това се отнася до способността на атака срещу една система за машинно обучение да бъде еднакво ефективна срещу друга система за машинно обучение.

Как да се защитим срещу противникови атаки

Има различни защитни механизми, които можете да използвате, за да защитите своя AI модел срещу противникови атаки. Ето някои от най-популярните.

• Създаване на здрави системи: Това включва разработването на AI модели, които са по-устойчиви на състезателни атаки, като включват тестове и насоки за оценка, за да помогнат на разработчиците да идентифицират системни недостатъци, които могат да доведат до противникови атаки. След това те могат да развият защита срещу такива атаки.
• Проверка на входа: Друг подход е да се проверят входните данни към ML модел за вече известни уязвимости. Моделът може да бъде проектиран да отхвърля входове, например, които съдържат модификации, за които е известно, че карат машините да правят грешни прогнози.
• Състезателно обучение: Можете също така да въведете известно количество състезателни примери в данните за обучение на вашата система, за да помогнете на модела да се научи да открива и отхвърля състезателни примери в бъдеще.
• Обясним AI: Теоретично, колкото по-добре разработчиците и потребителите разбират как функционира един AI модел дълбоко в себе си, толкова по-лесно ще бъде за хората да измислят защити срещу атаки. Следователно, обясним AI (XAI) подход към машинното обучение и разработването на AI модел може да реши много проблеми.

Заключение

Състезателните атаки с машинно обучение представляват значителна заплаха за надеждността и производителността на системите с изкуствен интелект. Въпреки това, чрез разбиране на различните типове добре познати атаки и прилагане на защитни стратегии за предотвратяването им, разработчиците могат по-добре да защитят своите AI модели от противникови атаки.

И накрая, трябва да разберете, че областите на AI и състезателното машинно обучение все още се разрастват. Така че все още може да има други методи за състезателна атака, които тепърва ще стават обществено достояние.

Ресурси

1. https://en.wikipedia.org/wiki/Adversarial_machine_learning
2. https://www.csoonline.com/article/573031/adversarial-machine-learning-explained-how-attackers-disrupt-ai-and-ml-systems.html
3. https://medium.com/@durgeshpatel2372001/an-introduction-to-adversarial-machine-learning-820010645df9
4. https://insights.sei.cmu.edu/blog/the-challenge-of-adversarial-machine-learning/
5. https://viso.ai/deep-learning/adversarial-machine-learning/
6. https://www.toptal.com/machine-learning/adversarial-machine-learning-tutorial