Ці можаце вы правесці рэінжынірыроўку нашай нейронавай сеткі?

Нарастаючая пагроза зваротнай інжынерыі нейронных сетак — і што гэта значыць для вашага бізнесу

У 2024 годзе даследчыкі з буйнога ўніверсітэта прадэманстравалі, што яны могуць аднавіць унутраную архітэктуру запатэнтаванай мадэлі вялікай мовы, выкарыстоўваючы не больш чым адказы API і вылічэнні коштам прыкладна 2000 долараў. Эксперымент выклікаў шок у індустрыі штучнага інтэлекту, але наступствы выходзяць далёка за межы Сіліконавай даліны. Любы бізнес, які разгортвае мадэлі машыннага навучання - ад сістэм выяўлення махлярства да механізмаў рэкамендацый кліентаў - цяпер сутыкаецца з нязручным пытаннем: ці можа хтосьці скрасці інтэлект, на які вы патрацілі месяцы? Зваротная інжынерыя нейронных сетак больш не з'яўляецца тэарэтычнай рызыкай. Гэта практычны, усё больш даступны вектар атакі, які павінна разумець кожная тэхналагічная арганізацыя.

Як насамрэч выглядае зваротная інжынерыя нейроннай сеткі

Зваротная інжынерыя нейронавай сеткі не патрабуе фізічнага доступу да сервера, на якім яна працуе. У большасці выпадкаў зламыснікі выкарыстоўваюць тэхніку пад назвай выманне мадэлі, дзе яны сістэматычна запытваюць API мадэлі з дапамогай старанна прадуманых уваходных дадзеных, а затым выкарыстоўваюць выхады для навучання амаль ідэнтычнай копіі. Даследаванне 2023 года, апублікаванае ў USENIX Security, паказала, што зламыснікі могуць паўтарыць межы прыняцця камерцыйных класіфікатараў відарысаў з больш чым 95% дакладнасцю, выкарыстоўваючы менш за 100 000 запытаў - працэс, які каштуе менш за некалькі сотняў долараў у якасці платы за API.

Акрамя экстракцыі, існуюць атакі інверсіі мадэлі, якія працуюць у адваротным кірунку. Замест таго, каб капіяваць мадэль, зламыснікі рэканструююць самі навучальныя даныя. Калі ваша нейронавая сетка навучалася запісам кліентаў, уласным стратэгіям цэнаўтварэння або ўнутраным бізнес-метрыкам, паспяховая інверсійная атака не проста крадзе вашу мадэль — яна раскрывае канфідэнцыяльныя даныя, укладзеныя ў яе вагі. Трэцяя катэгорыя, атакі высновы членства, дазваляе супернікам вызначыць, ці была пэўная кропка даных часткай навучальнага набору, што выклікае сур'ёзныя праблемы з прыватнасцю ў адпаведнасці з такімі правіламі, як GDPR і CCPA.

Агульным з'яўляецца тое, што здагадка аб "чорнай скрыні" - ідэя аб тым, што разгортванне мадэлі за API забяспечвае яе бяспеку - у корані парушана. Кожны прагноз, які вяртае ваша мадэль, з'яўляецца кропкай даных, якую зламыснік можа выкарыстоўваць супраць вас.

Чаму кампаніі павінны клапаціцца больш, чым цяпер

Большасць арганізацый засяроджваюць свае бюджэты на кібербяспеку на сеткавых перыметрах, абароне канчатковых кропак і шыфраванні даных. Але інтэлектуальная ўласнасць, убудаваная ў навучаную нейронавую сетку, можа прадстаўляць месяцы даследаванняў і распрацовак і мільённыя выдаткі на распрацоўку. Калі канкурэнт або зламыснік здабывае вашу мадэль, яны атрымліваюць усю каштоўнасць вашых даследаванняў без якіх-небудзь выдаткаў. Згодна са справаздачай IBM Cost of a Data Breach за 2024 г., сярэдні ўзлом з выкарыстаннем сістэм штучнага інтэлекту каштаваў арганізацыям 5,2 мільёна долараў — на 13 % больш, чым узломы без выкарыстання сродкаў штучнага інтэлекту.

Рызыка асабліва вострая для малога і сярэдняга бізнесу. Карпаратыўныя кампаніі могуць дазволіць сабе спецыяльныя групы бяспекі ML і карыстацкую інфраструктуру. Але ўсё большая колькасць прадпрыемстваў малога і сярэдняга бізнесу, якія інтэгруюць машыннае навучанне ў сваю дзейнасць — для ацэнкі патэнцыйных кліентаў, прагназавання попыту або аўтаматызаванай падтрымкі кліентаў — часта разгортваюць мадэлі з мінімальным узмацненнем бяспекі. Яны абапіраюцца на платформы іншых вытворцаў, якія могуць або не могуць укараніць належную абарону.

Самае небяспечнае здагадка ў бяспецы штучнага інтэлекту заключаецца ў тым, што складанасць роўная абароне. Нейронная сетка са 100 мільёнамі параметраў па сваёй сутнасці не бяспечнейшая за сетку з 1 мільёнам — важна тое, як вы кантралюеце доступ да яе ўваходаў і вывадаў.

Пяць практычных сродкаў абароны ад крадзяжу мадэляў

Абарона вашых нейронавых сетак не патрабуе доктарскай ступені ў галіне спаборніцкага машыннага навучання, але патрабуе прадуманых архітэктурных рашэнняў. Наступныя стратэгіі прадстаўляюць сучасныя лепшыя практыкі, рэкамендаваныя такімі арганізацыямі, як NIST і OWASP, для забеспячэння бяспекі разгорнутых мадэляў ML.

• Абмежаванне хуткасці і бюджэт запытаў: абмежаванне колькасці выклікаў API, якія любы карыстальнік або ключ можа зрабіць на працягу зададзенага часовага акна. Мадэльныя атакі экстракцыі патрабуюць дзясяткаў тысяч запытаў — агрэсіўнае абмежаванне хуткасці робіць буйнамаштабную экстракцыю непрактычнай, не выклікаючы трывогі.
• Абурэнне выхаду: Дадайце кантраляваны шум да прагнозаў мадэлі. Замест вяртання дакладных паказчыкаў даверу (напрыклад, 0,9237), акругліце інтэрвалы да больш грубых (напрыклад, 0,92). Гэта захоўвае зручнасць выкарыстання і рэзка павялічвае колькасць запытаў, неабходных зламысніку для рэканструкцыі вашай мадэлі.
• Вадзяныя знакі: убудуйце незаўважныя подпісы ў паводзіны вашай мадэлі — пэўныя пары ўводу-вываду, якія служаць адбіткам пальца. Калі з'явіцца скрадзеная копія вашай мадэлі, вадзяныя знакі стануць крыміналістычнымі доказамі крадзяжу.
• Дыферэнцыяльная прыватнасць падчас навучання: Увядзіце матэматычны шум падчас самога працэсу навучання. Гэта даказальна абмяжоўвае колькасць інфармацыі пра любы асобны навучальны прыклад, які прасочваецца праз прадказанні мадэлі, абараняючы як ад інверсіі, так і ад атак вываду членства.
• Маніторынг і выяўленне анамалій: адсочвайце шаблоны выкарыстання API на наяўнасць прыкмет сістэматычнага зандзіравання. Атакі экстракцыі ствараюць характэрнае размеркаванне запытаў, якое зусім не падобна на законны карыстальніцкі трафік — аўтаматычныя абвесткі могуць пазначаць падазроныя паводзіны яшчэ да таго, як атака атрымаецца.

Укараненне нават двух-трох з гэтых мер павялічвае кошт і складанасць атакі на парадкі. Мэта - не ідэальная бяспека - гэта робіць здабычу эканамічна нерацыянальнай у параўнанні са стварэннем мадэлі з нуля.

Роля аперацыйнай інфраструктуры ў бяспецы штучнага інтэлекту

Адно з вымярэнняў, якое забываецца ў размовах пра бяспеку мадэлі, - гэта больш шырокае аперацыйнае асяроддзе. Нейронная сетка не існуе ў ізаляцыі — яна падключаецца да баз дадзеных, CRM-сістэм, білінгавых платформаў, запісаў супрацоўнікаў і інструментаў сувязі з кліентамі. Зламыснік, які не можа правесці рэінжынірыраванне вашай мадэлі непасрэдна, можа замест гэтага нацэліцца на канвееры даных, якія падаюць яе, на API, якія спажываюць яе вынікі, або на бізнес-сістэмы, якія захоўваюць яе прагнозы.

Вось дзе наяўнасць уніфікаванай аперацыйнай платформы становіцца сапраўднай перавагай бяспекі, а не проста зручнасцю. Калі кампаніі аб'ядноўваюць дзясяткі адключаных інструментаў SaaS, кожная кропка інтэграцыі становіцца патэнцыйнай паверхняй для атакі. Mewayz вырашае гэта шляхам кансалідацыі 207 бізнес-модуляў — ад CRM і выстаўлення рахункаў да кадраў і аналітыкі — у адзіную платформу з цэнтралізаваным кантролем доступу і рэгістрацыяй аўдыту. Замест таго, каб забяспечваць пятнаццаць розных інструментаў з пятнаццаццю рознымі мадэлямі дазволаў, каманды кіруюць усім з адной прыборнай панэлі.

Для арганізацый, якія разгортваюць магчымасці штучнага інтэлекту, такая кансалідацыя азначае меншую колькасць перадач даных паміж сістэмамі, меншую колькасць ключоў API, якія знаходзяцца ў файлах канфігурацыі, і адзіную кропку прымянення палітык доступу. Калі даныя кліентаў, аперацыйныя паказчыкі і бізнес-логіка знаходзяцца ў адным кіраваным асяроддзі, паверхня атакі для выкрадання даных — сыравіны для атак інверсіі мадэлі — значна скарачаецца.

Інцыдэнты з рэальнага свету, якія змянілі размову

У 2022 годзе фінтэх-стартап выявіў, што канкурэнт запусціў амаль ідэнтычны прадукт крэдытнага скоринга ўсяго праз восем месяцаў пасля запуску самога стартапа. Унутраны аналіз паказаў, што канкурэнт на працягу некалькіх месяцаў сістэматычна запытваў API ацэнкі стартапа, выкарыстоўваючы адказы для падрыхтоўкі копіі мадэлі. Стартап не меў абмежаванняў хуткасці, вяртаў поўныя размеркаванні імавернасцей і не падтрымліваў журналы запытаў, якія маглі б падтрымліваць судовыя дзеянні. Канкурсант не панёс ніякіх наступстваў.

Зусім нядаўна, у канцы 2024 года, даследчыкі бяспекі прадэманстравалі тэхніку пад назвай "выманне мадэлі бакавога канала", якая выкарыстоўвае часовыя адрозненні ў адказах API — колькі часу патрабуецца серверу для вяртання вынікаў для розных уводаў — для высновы аб унутранай структуры мадэлі, нават не аналізуючы самі прагнозы. Атака спрацавала супраць мадэляў, разгорнутых ва ўсіх трох асноўных воблачных правайдэрах, і не патрабавала спецыяльнага доступу, акрамя стандартнага ключа API.

Гэтыя інцыдэнты падкрэсліваюць важны момант: пагроза развіваецца хутчэй, чым сродкі абароны большасці арганізацый. Метады, якія лічыліся перадавымі даследаваннямі тры гады таму, цяпер даступныя ў выглядзе набораў інструментаў з адкрытым зыходным кодам на GitHub. Прадпрыемствы, якія разглядаюць бяспеку мадэляў як праблему будучыні, ужо адстаюць.

Стварэнне культуры штучнага інтэлекту, арыентаванай на бяспеку

Адна толькі тэхналогія не вырашыць гэтую праблему. Арганізацыі павінны пабудаваць культуру, у якой актывы штучнага інтэлекту будуць разглядацца з той жа сур'ёзнасцю, што і зыходны код, камерцыйныя сакрэты і базы дадзеных кліентаў. Гэта пачынаецца з інвентарызацыі - многія кампаніі нават не вядуць поўны спіс таго, якія мадэлі разгорнуты, дзе яны даступныя і хто мае доступ да API. Вы не можаце абараніць тое, пра што не ведаеце.

Міжфункцыянальнае супрацоўніцтва вельмі важна. Навукоўцы па дадзеных павінны разумець канкурэнтныя пагрозы. Каманды бяспекі павінны разумець, як працуюць канвееры машыннага навучання. Менеджэры па прадуктах павінны прымаць абгрунтаваныя рашэнні аб тым, якую інфармацыйную мадэль паказваюць API. Рэгулярныя вучэнні «чырвонай каманды» — калі ўнутраныя каманды спрабуюць здабыць або перавярнуць вашы ўласныя мадэлі — выяўляюць уразлівасці раней, чым гэта зробяць знешнія зламыснікі. Такія кампаніі, як Google і Microsoft, праводзяць гэтыя практыкаванні штоквартальна; няма прычын, па якіх меншыя арганізацыі не могуць прыняць спрошчаныя версіі.

Такія платформы, як Mewayz, якія аб'ядноўваюць аператыўныя даныя пад адным дахам, таксама палягчаюць выкананне палітык кіравання данымі, якія непасрэдна ўплываюць на бяспеку штучнага інтэлекту. Калі вы можаце адсочваць, хто атрымліваў доступ да якіх сегментаў кліентаў, калі ствараліся аналітычныя справаздачы і як даныя перамяшчаюцца паміж модулямі, вы ствараеце такую назіральнасць, што значна ўскладняе несанкцыянаванае выманне даных і крадзеж мадэляў незаўважанымі.

Што будзе далей: рэгуляванне, стандарты і гатоўнасць

Нарматыўная сістэма даганяе ўпушчанае. Закон ЕС аб ​​штучным інтэлекце, які ўступаў у сілу паэтапна з 2025 года, уключае палажэнні аб празрыстасці і бяспецы мадэлі, якія патрабуюць ад арганізацый прадэманстраваць, што яны прынялі разумныя меры для абароны сістэм штучнага інтэлекту ад падробак і крадзяжоў. У Злучаных Штатах NIST's AI Risk Management Framework (AI RMF) зараз відавочна разглядае выманне мадэляў як катэгорыю пагроз. Прадпрыемствам, якія актыўна прымуць гэтыя структуры, будзе прасцей выконваць патрабаванні — і яны будуць у большай пазіцыі для абароны сваіх інвестыцый у штучны інтэлект.

Сутнасць простая: зваротная інжынерыя нейронных сетак не з'яўляецца гіпатэтычнай пагрозай, зарэзерваванай для суб'ектаў нацыянальнай дзяржавы. Гэта даступны, добра задакументаваны метад, які любы матываваны канкурэнт або зламыснік можа прымяніць супраць дрэнна абароненых сістэм. Прадпрыемствы, якія квітнеюць у эпоху штучнага інтэлекту, будуць не толькі тымі, хто стварае лепшыя мадэлі, але і тымі, хто іх абараняе. Пачніце з кантролю доступу, абурэння выхаду і маніторынгу выкарыстання. Абапірайцеся на адзіную аператыўную аснову, якая зводзіць да мінімуму распаўсюджванне даных. І ставіцеся да сваіх падрыхтаваных мадэляў як да каштоўных актываў, таму што вашы канкурэнты, безумоўна, будуць.

Часта задаюць пытанні

Што такое зваротная інжынерыя нейронавай сеткі?

Зваротная інжынерыя нейронавай сеткі - гэта працэс аналізу вынікаў мадэлі машыннага навучання, адказаў API або мадэляў паводзін для рэканструкцыі яе ўнутранай архітэктуры, вагавых паказчыкаў або навучальных даных. Зламыснікі могуць выкарыстоўваць такія метады, як выманне мадэляў, вывад членства і спаборніцкае зандзіраванне, каб скрасці прапрыетарныя алгарытмы. Для прадпрыемстваў, якія разлічваюць на інструменты на базе штучнага інтэлекту, гэта стварае сур'ёзныя рызыкі для інтэлектуальнай уласнасці і канкурэнцыі, якія патрабуюць актыўных мер бяспекі.

Як кампаніі могуць абараніць свае мадэлі штучнага інтэлекту ад зваротнай распрацоўкі?

Асноўныя сродкі абароны ўключаюць у сябе запыты API з абмежаваннем хуткасці, даданне кантраляванага шуму да вывадаў мадэлі, маніторынг падазроных шаблонаў доступу і выкарыстанне дыферэнцыяльнай прыватнасці падчас навучання. Такія платформы, як Mewayz, 207-модульная бізнес-АС, дапамагаюць кампаніям цэнтралізаваць аперацыі і знізіць уздзеянне, падтрымліваючы адчувальныя працоўныя працэсы штучнага інтэлекту ў бяспечным уніфікаваным асяроддзі, а не раскіданыя па ўразлівых старонніх інтэграцыях.

Ці пагражае малым прадпрыемствам крадзеж мадэляў штучнага інтэлекту?

Абавязкова. Даследчыкі прадэманстравалі мадэлі нападаў экстракцыі, якія каштуюць усяго 2000 долараў ЗША, што робіць іх даступнымі практычна любому. Малыя прадпрыемствы, якія выкарыстоўваюць індывідуальныя механізмы рэкамендацый, алгарытмы цэнаўтварэння або мадэлі выяўлення махлярства, з'яўляюцца прывабнымі мэтамі менавіта таму, што ім часта не хапае бяспекі карпаратыўнага ўзроўню. Даступныя платформы, такія як Mewayz, ад 19 долараў у месяц на app.mewayz.com, дапамагаюць невялікім камандам укараніць больш моцную аперацыйную бяспеку.

Што мне рабіць, калі я падазраю, што мая мадэль штучнага інтэлекту была ўзламаная?

Пачніце з праверкі журналаў доступу да API на прадмет незвычайных аб'ёмаў запытаў або сістэматычных шаблонаў уводу, якія мяркуюць спробы здабывання. Неадкладна павярніце ключы API і ўкараніце больш жорсткія абмежаванні хуткасці. Ацаніце, ці з'явіліся вынікі мадэлі ў прадуктах канкурэнтаў. Падумайце аб пазначэнні вадзяных знакаў на будучых версіях мадэляў, каб адсочваць несанкцыянаванае выкарыстанне, і пракансультуйцеся са спецыялістам па кібербяспецы, каб ацаніць увесь аб'ём узлому і ўзмацніць абарону.