Ar galite pakeisti mūsų neuroninį tinklą?

Didėjanti neuroninių tinklų atvirkštinės inžinerijos grėsmė – ir ką tai reiškia jūsų verslui

2024 m. didelio universiteto mokslininkai įrodė, kad gali atkurti patentuoto didelės kalbos modelio vidinę architektūrą naudodami API atsakymus ir maždaug 2 000 USD vertės skaičiavimus. Eksperimentas sukėlė šokiravimo bangas AI pramonėje, tačiau pasekmės siekia toli už Silicio slėnio. Bet kuri įmonė, diegianti mašininio mokymosi modelius – nuo ​​sukčiavimo aptikimo sistemų iki klientų rekomendacijų variklių – dabar susiduria su nepatogiu klausimu: ar kas nors gali pavogti informaciją, kurią praleidote kurdami mėnesius? Neuroninių tinklų atvirkštinė inžinerija nebėra teorinė rizika. Tai praktiškas, vis labiau prieinamas atakos vektorius, kurį turi suprasti kiekviena technologijomis pagrįsta organizacija.

Kaip iš tikrųjų atrodo neuroninio tinklo atvirkštinė inžinerija

Neuroninio tinklo atvirkštinė inžinerija nereikalauja fizinės prieigos prie jį valdančio serverio. Daugeliu atvejų užpuolikai naudoja techniką, vadinamą modelio išskyrimu, kai jie sistemingai pateikia modelio API užklausą naudodami kruopščiai paruoštas įvestis, tada naudoja išvestis, kad sukurtų beveik identišką kopiją. 2023 m. tyrimas, paskelbtas USENIX Security, parodė, kad užpuolikai gali pakartoti komercinių vaizdų klasifikatorių sprendimų ribas daugiau nei 95 % tikslumu, naudodami mažiau nei 100 000 užklausų – šis procesas kainuoja mažiau nei kelis šimtus USD API mokesčių.

Be išgavimo, yra modelio inversijos atakų, kurios veikia priešinga kryptimi. Užuot nukopijavę modelį, užpuolikai atkuria pačius mokymo duomenis. Jei jūsų neuroninis tinklas buvo apmokytas klientų įrašų, patentuotų kainodaros strategijų ar vidinių verslo metrikų, sėkminga inversijos ataka ne tik pavagia jūsų modelį – jis atskleidžia jautrius duomenis, sudėtus į jo svorį. Trečioji kategorija, narystės išvados atakos, leidžia priešininkams nustatyti, ar konkretus duomenų taškas buvo mokymo rinkinio dalis, todėl kyla rimtų privatumo problemų pagal tokius reglamentus kaip BDAR ir CCPA.

Bendra gija yra ta, kad „juodosios dėžės“ prielaida – idėja, kad modelio įdiegimas už API užtikrina jo saugumą – iš esmės sulaužyta. Kiekvienas jūsų modelio pateiktas numatymas yra duomenų taškas, kurį užpuolikas gali panaudoti prieš jus.

Kodėl įmonėms turėtų rūpėti labiau nei šiuo metu

Dauguma organizacijų savo kibernetinio saugumo biudžetus skiria tinklo perimetrams, galinių taškų apsaugai ir duomenų šifravimui. Tačiau intelektinė nuosavybė, įterpta į apmokytą neuroninį tinklą, gali reikšti kelių mėnesių MTTP ir milijonus plėtros išlaidų. Kai konkurentas ar piktavalis veikėjas išgauna jūsų modelį, jie įgyja visą jūsų tyrimo vertę be jokių išlaidų. Pagal 2024 m. IBM ataskaitą Cost of a Data Breach, vidutinis AI sistemų pažeidimas organizacijoms kainuoja 5,2 mln. USD – 13 % daugiau nei pažeidimai, nesusiję su AI turtu.

Rizika ypač didelė mažoms ir vidutinėms įmonėms. Įmonių įmonės gali sau leisti specialias ML saugos komandas ir pritaikytą infrastruktūrą. Tačiau vis daugiau mažų ir vidutinių įmonių, integruojančių mašininį mokymąsi į savo veiklą – nesvarbu, ar tai būtų potencialių klientų įvertinimas, paklausos prognozavimas ar automatizuotas klientų aptarnavimas – dažnai diegia modelius su minimaliu saugumo sustiprinimu. Jie remiasi trečiųjų šalių platformomis, kurios gali įdiegti arba neįdiegti tinkamos apsaugos.

Pavojingiausia dirbtinio intelekto saugumo prielaida yra ta, kad sudėtingumas yra lygus apsaugai. Neuroninis tinklas su 100 milijonų parametrų iš esmės nėra saugesnis nei tas, kuriame yra 1 milijonas – svarbu, kaip valdote prieigą prie jo įvesties ir išvesties.

Penkios praktinės apsaugos priemonės nuo modelio vagystės

Norint apsaugoti neuroninius tinklus, nebūtinas priešpriešinio mašininio mokymosi daktaro laipsnis, tačiau tam reikia apgalvotų architektūrinių sprendimų. Toliau pateiktos strategijos atspindi dabartinę geriausią praktiką, rekomenduojamą tokių organizacijų kaip NIST ir OWASP, kad apsaugotų įdiegtus ML modelius.

• Kaipos ribojimas ir užklausų biudžeto sudarymas: apribokite API iškvietimų skaičių, kurį vienas naudotojas ar raktas gali atlikti per tam tikrą laikotarpį. Modelio išgavimo atakoms reikia dešimčių tūkstančių užklausų – dėl agresyvaus greičio ribojimo didelio masto išgavimas tampa nepraktiškas, nesukeliant pavojaus signalų.
• Išvesties trikdžiai: pridėkite valdomą triukšmą prie modelio prognozių. Užuot grąžinę tikslius pasitikėjimo balus (pvz., 0,9237), suapvalinkite intervalus iki grubesnių (pvz., 0,92). Taip išsaugomas naudojimo patogumas ir labai padidėja užklausų, kurių užpuolikui reikia norint atkurti jūsų modelį, skaičius.
• Vandens žymėjimas: į savo modelio elgesį įterpkite nepastebimų parašų – konkrečias įvesties ir išvesties poras, kurios naudojamos kaip piršto atspaudas. Jei paviršiuje pasirodo pavogta modelio kopija, vandens ženklai yra vagystės įrodymas.
• Diferencijuotas privatumas treniruočių metu: įleiskite matematinį triukšmą treniruotės metu. Tai akivaizdžiai riboja, kiek informacijos apie bet kurį individualų mokymo pavyzdį nuteka per modelio prognozes, apsisaugodama nuo inversijos ir narystės išvadų atakų.
• Stebėjimas ir anomalijų aptikimas: stebėkite API naudojimo modelius ir ieškokite sistemingo zondavimo požymių. Ištraukimo atakos sukuria išskirtinius užklausų paskirstymus, kurie nepanašūs į teisėtą naudotojų srautą – automatiniai įspėjimai gali pažymėti įtartiną elgesį, kol ataka pavyksta.

Įgyvendinus net dvi ar tris iš šių priemonių, atakos kaina ir sunkumas padidėja daugybe dydžių. Tikslas nėra tobulas saugumas – dėl to išgavimas tampa ekonomiškai neracionalus, palyginti su modelio kūrimu nuo nulio.

Veiklos infrastruktūros vaidmuo AI saugoje

Vienas aspektas, į kurį neatsižvelgiama kalbant apie modelio saugumą, yra platesnė veikimo aplinka. Neuroninis tinklas neegzistuoja atskirai – jis jungiasi prie duomenų bazių, CRM sistemų, atsiskaitymo platformų, darbuotojų įrašų ir komunikacijos su klientais įrankių. Užpuolikas, kuris negali tiesiogiai pakeisti jūsų modelio, gali nusitaikyti į jį teikiančius duomenų vamzdynus, jo išvestis naudojančias API arba verslo sistemas, kuriose saugomi jo prognozės.

Štai kur vieninga operacinė platforma tampa tikru saugumo pranašumu, o ne tik patogumu. Kai įmonės sujungia dešimtis atjungtų SaaS įrankių, kiekvienas integracijos taškas tampa potencialiu atakos paviršiumi. Mewayz tai išsprendžia sujungdama 207 verslo modulius – nuo ​​CRM ir sąskaitų faktūrų išrašymo iki žmogiškųjų išteklių ir analizės – į vieną platformą su centralizuotais prieigos valdikliais ir audito registravimu. Užuot užsitikrinusios penkiolika skirtingų įrankių su penkiolika skirtingų leidimų modelių, komandos viską valdo vienoje informacijos suvestinėje.

Organizacijoms, diegiančioms DI galimybes, šis konsolidavimas reiškia mažiau duomenų perdavimo tarp sistemų, mažiau API raktų, slankiojančių konfigūracijos failuose, ir vieną prieigos politikos vykdymo tašką. Kai jūsų klientų duomenys, veiklos metrika ir verslo logika yra vienoje valdomoje aplinkoje, duomenų išfiltravimo atakos paviršius – modelio inversijos atakų žaliava – gerokai susitraukia.

Realūs įvykiai, pakeitę pokalbį

2022 m. fintech startuolis sužinojo, kad konkurentas pristatė beveik identišką kredito balų produktą, praėjus vos aštuoniems mėnesiams nuo paties startuolio pasirodymo. Vidinė analizė atskleidė, kad konkurentas kelis mėnesius sistemingai klausinėjo paleisties įvertinimo API, naudodamas atsakymus kurdamas modelio kopiją. Paleidimas neturėjo greičio ribojimo, grąžino visas tikimybių paskirstymus ir neturėjo užklausų žurnalų, kurie galėtų paremti teisinius veiksmus. Konkurentas nepatyrė jokių pasekmių.

Visai neseniai, 2024 m. pabaigoje, saugos tyrinėtojai pademonstravo metodą, vadinamą "šalutinio kanalo modelio išskyrimu", pagal kurį buvo naudojami API atsakymų laiko skirtumai – per kiek laiko serveris pateikė skirtingų įvesties rezultatus, kad būtų galima daryti išvadą apie vidinę modelio struktūrą, net neanalizuojant pačių prognozių. Ataka veikė prieš modelius, įdiegtus visuose trijuose pagrindiniuose debesijos paslaugų teikėjuose, ir nereikėjo jokios specialios prieigos, išskyrus standartinį API raktą.

Šie incidentai pabrėžia kritinį dalyką: grėsmė vystosi greičiau nei daugumos organizacijų gynybos priemonės. Metodai, kurie prieš trejus metus buvo laikomi pažangiausiais tyrimais, dabar yra prieinami kaip atvirojo kodo įrankių rinkiniai „GitHub“. Įmonės, kurios modelių saugumą laiko ateities rūpesčiu, jau atsilieka.

Sukurti saugą pirmiausia AI kultūrą

Vien tik technologijos šios problemos neišsprendžia. Organizacijos turi sukurti kultūrą, kurioje dirbtinio intelekto turtas būtų traktuojamas taip pat rimtai kaip šaltinio kodas, komercinės paslaptys ir klientų duomenų bazės. Tai prasideda nuo inventoriaus – daugelis įmonių net neturi viso sąrašo, kurie modeliai yra įdiegti, kur jie pasiekiami ir kas turi API prieigą. Negalite apsaugoti to, ko nežinote esant.

Kelių funkcijų bendradarbiavimas yra būtinas. Duomenų mokslininkai turi suprasti priešiškas grėsmes. Saugos komandos turi suprasti, kaip veikia mašininio mokymosi vamzdynai. Produktų vadovai turi priimti pagrįstus sprendimus dėl informacijos modelio API. Reguliarūs „raudonosios komandos“ pratimai – kai vidinės komandos bando išgauti arba pakeisti jūsų pačių modelius – atskleidžia pažeidžiamumą anksčiau nei tai padaro išoriniai užpuolikai. Tokios įmonės kaip „Google“ ir „Microsoft“ šiuos pratimus vykdo kas ketvirtį; Nėra jokios priežasties, kodėl mažesnės organizacijos negali priimti supaprastintų versijų.

Platformos, pvz., „Mewayz“, kurios operatyvinius duomenis pateikia po vienu stogu, taip pat palengvina duomenų valdymo politikos, tiesiogiai veikiančios dirbtinio intelekto saugumą, vykdymą. Kai galite stebėti, kas pasiekė kuriuos klientų segmentus, kada buvo sugeneruotos analizės ataskaitos ir kaip duomenys cirkuliuoja tarp modulių, sukuriate tokį stebėjimą, dėl kurio ir neteisėtą duomenų išgavimą, ir modelio vagystę žymiai sunkiau atlikti nepastebėjus.

Kas bus toliau: reguliavimas, standartai ir pasirengimas

Reguliavimo aplinka vejasi. Į ES AI įstatymą, kurio vykdymas buvo pradėtas etapais nuo 2025 m., įtrauktos nuostatos, susijusios su modelio skaidrumu ir saugumu, pagal kurias organizacijos turės įrodyti, kad ėmėsi pagrįstų veiksmų, kad apsaugotų dirbtinio intelekto sistemas nuo klastojimo ir vagystės. Jungtinėse Valstijose NIST AI rizikos valdymo sistemoje (AI RMF) dabar modelio išgavimas aiškiai nurodomas kaip grėsmės kategorija. Įmonės, kurios aktyviai taikys šias sistemas, lengviau laikysis reikalavimų ir galės geriau apginti savo AI investicijas.

Esmė paprasta: neuroninių tinklų atvirkštinė inžinerija nėra hipotetinė grėsmė, skirta tik nacionalinių valstybių veikėjams. Tai prieinama, gerai dokumentuota technika, kurią bet kuris motyvuotas konkurentas ar piktavalis veikėjas gali panaudoti prieš prastai apsaugotas sistemas. AI eroje klestinčios įmonės bus ne tik tos, kurios kuria geriausius modelius – jos bus tos, kurios juos saugos. Pradėkite nuo prieigos kontrolės, išvesties trikdžių ir naudojimo stebėjimo. Kurkite ant vieningo veikimo pagrindo, kuris sumažina duomenų sklaidą. Ir laikykite savo apmokytus modelius kaip didelės vertės turtą, nes jūsų konkurentai tikrai tai padarys.

Dažniausiai užduodami klausimai

Kas yra neuroninių tinklų atvirkštinė inžinerija?

Neuroninio tinklo atvirkštinė inžinerija – tai mašininio mokymosi modelio išėjimų, API atsakymų ar elgesio modelių analizės procesas, siekiant atkurti jo vidinę architektūrą, svorius arba mokymo duomenis. Norėdami pavogti patentuotus algoritmus, užpuolikai gali naudoti tokius metodus kaip modelio išskyrimas, narystės išvados ir priešiškas tyrimas. Įmonėms, kurios naudojasi dirbtinio intelekto įrankiais, tai kelia rimtą intelektinės nuosavybės ir konkurencijos pavojų, dėl kurio reikia imtis aktyvių saugumo priemonių.

Kaip įmonės gali apsaugoti savo AI modelius nuo atvirkštinės inžinerijos?

Pagrindinės apsaugos priemonės apima greitį ribojančias API užklausas, valdomo triukšmo pridėjimą prie modelio išėjimų, įtartinų prieigos modelių stebėjimą ir skirtingą privatumą mokymų metu. Tokios platformos kaip „Mewayz“, 207 modulių verslo OS, padeda įmonėms centralizuoti operacijas ir sumažinti poveikį, nes jautrios AI darbo eigos yra saugioje, vieningoje aplinkoje, o ne išsklaidytos tarp pažeidžiamų trečiųjų šalių integracijų.

Ar mažoms įmonėms gresia AI modelio vagystė?

Visiškai. Tyrėjai pademonstravo modelių išgavimo atakas, kainuojančias vos 2000 USD, todėl jos yra prieinamos beveik visiems. Mažos įmonės, naudojančios pasirinktinius rekomendacijų variklius, kainų algoritmus ar sukčiavimo aptikimo modelius, yra patrauklūs tikslai būtent todėl, kad joms dažnai trūksta įmonės lygio saugumo. Įperkamos platformos, pvz., „Mewayz“, kainuojančios nuo 19 USD/mėn. adresu app.mewayz.com, padeda mažesnėms komandoms užtikrinti didesnį veiklos saugumą.

Ką daryti, jei įtariu, kad mano AI modelis buvo pažeistas?

Pradėkite tikrindami API prieigos žurnalus, ieškodami neįprastų užklausų apimčių arba sistemingų įvesties šablonų, kurie rodo bandymus išgauti. Nedelsdami pakeiskite API raktus ir nustatykite griežtesnius greičio apribojimus. Įvertinkite, ar modelio rezultatai pasirodė konkurentų gaminiuose. Apsvarstykite galimybę būsimose modelių versijose pažymėti vandenženklį, kad atsektumėte neteisėtą naudojimą, ir pasikonsultuokite su kibernetinio saugumo specialistu, kad įvertintumėte visą pažeidimo mastą ir sustiprintumėte savo apsaugą.