Hacker News

Xana u nga endla reverse engineer ya neural network ya hina?

Mavonelo

16 min read Via blog.janestreet.com

Mewayz Team

Editorial Team

Hacker News

Nxungeto Lowu Kulaka Wa Neural Network Reverse Engineering — Na Leswi Swi Vulaka swona Eka Bindzu Ra Wena

Hi 2024, valavisisi va le yunivhesiti leyikulu va kombisile leswaku va nga pfuxeta xivumbeko xa le ndzeni xa modele wa ririmi lerikulu ra vulawuri hi ku tirhisa nchumu handle ka tinhlamulo ta yona ta API na kwalomu ka $2,000 ya ntsengo wa xibalo. Xikambelo lexi xi rhumele magandlati yo chavisa eka bindzu ra AI, kambe switandzhaku swa kona swi fika ekule swinene na Silicon Valley. Bindzu rin’wana na rin’wana leri tirhisaka timodeli to dyondza hi muchini — ku suka eka tisisiteme to kuma vuxisi ku ya eka tinjhini to ringanyeta vaxavi — sweswi ri langutane na xivutiso lexi nga nyawuriki: xana munhu a nga yiva vutlhari lebyi u heteke tin’hweti to tala byi ri karhi u byi aka? Neural network reverse engineering a ya ha ri khombo ra thiyori. I vector ya nhlaselo leyi tirhaka, leyi fikelelaka swinene leyi nhlangano wun’wana na wun’wana lowu fambiwaka hi thekinoloji wu faneleke ku yi twisisa.

Leswi Vuinjhiniyere bya Neural Network Reverse byi langutekisaka xiswona hakunene

Ku tlherisela endzhaku vuinjhiniyere bya netiweke ya nyurali a swi lavi ku nghena hi xiviri eka sevha leyi yi tirhisaka. Hi xitalo, vahlaseri va tirhisa endlelo leri vuriwaka model extraction, laha hi ndlela leyi hlelekeke va vutisaka API ya modele hi swingheniso leswi endliweke hi vukheta, kutani va tirhisa swikumiwa ku letela khopi leyi nga kusuhi na ku fana. Dyondzo ya 2023 leyi kandziyisiweke eka USENIX Security yi kombisile leswaku vahlaseri va nga tekelela mindzilakano ya swiboho swa swihlawulekisi swa swifaniso swa mabindzu hi ku tshembeka loku tlulaka 95% hi ku tirhisa swivutiso swa le hansi ka 100,000 — endlelo leri durhaka ehansi ka madzana ma nga ri mangani ya tirhandi eka tihakelo ta API.

Ehandle ka ku humesiwa, ku na nhlaselo wa ku hundzula modele, lowu tirhaka hi ndlela leyi hambaneke. Ematshan’weni yo kopa modele wolowo, vahlaseri va pfuxeta rungula ra ndzetelo hi roxe. Loko netiweke ya wena ya nyurali yi leteriwile eka tirhekhodo ta vaxavi, tindlela ta nxavo wa vulawuri, kumbe timetriki ta bindzu ra le ndzeni, nhlaselo wo hundzuluxa lowu humelelaka a wu yivi ntsena modele wa wena — wu paluxa datha ya nkoka leyi bakiweke eka swipimelo swa yona. Xiyenge xa vunharhu, nhlaselo wa ku ringanyeta ka swirho, xi pfumelela valala ku kumisisa loko ndhawu yo karhi ya datha a yi ri xiphemu xa sete ya ndzetelo, leswi tlakusaka swivilelo leswikulu swa vuhlayiseki bya xihundla ehansi ka milawu yo fana na GDPR na CCPA.

Thread leyi tolovelekeke hileswaku "black box" assumption — miehleketo ya leswaku ku tirhisa modele endzhaku ka API swi yi hlayisa yi hlayisekile — hi xisekelo yi tshovekile. Ku vhumbha kun’wana na kun’wana loku modele wa wena wu ku vuyisaka i data point leyi muhlaseri a nga yi tirhisaka ku lwisana na wena.

Ha Yini Mabindzu Ma Fanele Ma Khathalela Ku Tlula Leswi Ma Endlaka Sweswi

Tinhlangano to tala ti kongomisa mipimanyeto ya tona ya vuhlayiseki bya xiyenge xa inthanete eka matlhelo ya netiweke, nsirhelelo wa makumu, na ku fihla ka datha. Kambe nhundzu ya vutlhari leyi nghenisiweke eka netiweke ya nyurali leyi leteriweke yi nga yimela tin’hweti ta R&D na timiliyoni ta ku durha ka nhluvukiso. Loko muphikizani kumbe mutlangi wo biha a humesa modele wa wena, va kuma nkoka hinkwawo wa ndzavisiso wa wena handle ka mali yo karhi. Hi ku ya hi xiviko xa IBM xa 2024 xa Cost of a Data Breach, ku tlula nawu ka xikarhi loku katsaka tisisiteme ta AI ku koxe tinhlengeletano $5.2 wa timiliyoni — 13% ehenhla ku tlula ku tlula nawu loku nga katsiki nhundzu ya AI.

Khombo leri rikulu ngopfu eka mabindzu lamatsongo na ya le xikarhi. Tikhamphani ta mabindzu ti nga swi kota ku xava swipano swa vuhlayiseki swa ML leswi tinyiketeleke na switirhisiwa swa ntolovelo. Kambe nhlayo leyi kulaka ya ti-SMB leti hlanganisaka ku dyondza hi muchini eka matirhelo ya tona — hambi ku ri ku nyika swikoweto swa lead, ku vhumbha xilaveko, kumbe nseketelo wa vaxavi hi xiothomethi — hakanyingi ti tirhisa timodeli leti nga na ku nonoka ka vuhlayiseki kutsongo. Va titshege hi tipulatifomo ta vanhu va vunharhu leti nga ha tirhisaka kumbe ku nga tirhisi nsirhelelo lowu ringaneleke.

Ku ehleketiwa loku nga na khombo swinene eka vuhlayiseki bya AI hi leswaku ku rharhangana ku ringana na nsirhelelo. Netiweke ya nyurali leyi nga na 100 wa timiliyoni ta tipharamitha hi ntumbuluko a yi hlayisekanga ku tlula leyi nga na 1 wa timiliyoni — lexi nga xa nkoka i ndlela leyi u lawulaka mfikelelo eka swingheniso na swihumesi swa yona.

Swisirhelelo swa ntlhanu leswi tirhaka eka ku yiva ka xikombiso

Ku sirhelela ti neural network ta wena a swi lavi PhD eka adversarial machine learning, kambe swi lava swiboho swa vumaki hi vomu. Maendlelo lama landzelaka ya yimela maendlelo lamanene ya sweswi lama ringanyetiweke hi tinhlengeletano to fana na NIST na OWASP ku sirhelela timodeli ta ML leti tirhisiweke.

  • Ku pima mpimo na mpimanyeto wa swivutiso: Capa nhlayo ya tifoyini ta API leti mutirhisi wihi kumbe wihi un’we kumbe xilotlelo a nga ti endlaka endzeni ka fasitere ra nkarhi leri nyikiweke. Minhlaselo ya ku humesa xikombiso yi lava makume ya magidi ya swivutiso — ku ringanyeta mpimo hi matimba swi endla leswaku ku humesiwa ka xikalo lexikulu ku nga tirhi handle ko tlakusa tialamu.
  • Ku kavanyetiwa ka vuhumelerisi: Engetela mpfumawulo lowu lawuriwaka eka ku vhumbha ka modele. Ematshan’wini yo vuyisa swikoweto swa ku tshemba leswi kongomeke (e.g., 0.9237), rhendzeleka ku ya eka swiphemu swo khwaxa (e.g., 0.92). Leswi swi hlayisa ku tirhiseka loko swi ri karhi swi engetela swinene nhlayo ya swivutiso leswi muhlaseri a swi lavaka ku pfuxeta modele wa wena.
  • Ku fungha mati: Nghenisa masayini lama nga vonakiki eka mahanyelo ya modele wa wena — mimpatswa yo karhi ya ku nghenisa-ku humesa leyi tirhaka tanihi xikombiso xa tintiho. Loko khopi leyi yiviweke ya modele wa wena yi humelela, swikombiso swa mati swi nyika vumbhoni bya forensiki bya ku yiva.
  • Vuhlayisi bya xihundla byo hambana hi nkarhi wa ndzetelo: Nghenisa mpfumawulo wa tinhlayo hi nkarhi wa endlelo ra ndzetelo hi roxe. Leswi swi tikomba swi ringanyeta leswaku i mahungu yo tanihi kwihi mayelana na xikombiso xihi kumbe xihi xa ndzetelo wa munhu hi xiyexe lama vupfaka hi ku tirhisa ku vhumbha ka modele, ku sirhelela eka nhlaselo wa ku hundzuluka na ku ehleketa ka swirho.
  • Ku langutisisa na ku kumiwa ka anomaly: Landzelela swivumbeko swa matirhiselo ya API ku kuma swikombiso swa ku lavisisa loku hlelekeke. Minhlaselo yo humesa yi tumbuluxa ku hangalasiwa ka swivutiso loku hambaneke loku langutekaka ku nga fani na thrafikhi ya vatirhisi leyi nga enawini — switsundzuxo swa xiothomethi swi nga fungha mahanyelo lama kanakanisaka nhlaselo wu nga si humelela.

Ku tirhisa hambi ku ri magoza mambirhi kumbe manharhu ya lawa swi tlakusa ntsengo na ku tika ka nhlaselo hi tioda ta vukulu. Xikongomelo a hi vuhlayiseki lebyi hetisekeke — i ku endla leswaku ku humesiwa ku nga vi na vutlhari hi tlhelo ra ikhonomi loko ku pimanisiwa na ku aka modele ku suka eka xiyimo xa le hansi.

Ntirho wa Switirhisiwa swa Matirhelo eka Vuhlayiseki bya AI

Xiyenge xin’we lexi honisiwaka eka mabulo mayelana na vuhlayiseki bya xikombiso i ndhawu yo anama ya matirhelo. Netiweke ya nyurali a yi kona hi yoxe — yi hlanganisa na tidathabeyisi, tisisiteme ta CRM, tipulatifomo to hakela, tirhekhodo ta vatirhi, na switirhisiwa swa vuhlanganisi bya vaxavi. Muhlaseri loyi a nga kotiki ku tlherisela modele wa wena endzhaku hi ku kongoma ematshan’wini ya sweswo a nga ha kongomisa tiphayiphi ta data leti yi phamelaka, ti-API leti dyaka swikumiwa swa yona, kumbe tisisiteme ta bindzu leti hlayisaka vuprofeta bya yona.

Laha hi laha ku va na pulatifomo ya matirhelo leyi hlanganeke swi hundzukaka vuyelo bya vuhlayiseki bya xiviri ku tlula ku olova ntsena. Loko mabindzu ya hlanganisa madzana ya switirhisiwa swa SaaS leswi nga hlanganisiwangiki, ndhawu yin’wana na yin’wana yo hlanganisa yi hundzuka ndhawu leyi nga ha hlaselaka. Mewayz yi lulamisa leswi hi ku hlanganisa mimojula ya mabindzu ya 207 — ku suka eka CRM na ku endla ti-invoice ku ya eka HR na vuxopaxopi — eka pulatifomo yin’we leyi nga na vulawuri bya mfikelelo lebyi nga exikarhi na ku logging ka oditi. Ematshan’wini yo tiyisisa khume ntlhanu wa switirhisiwa swo hambana hi khume ntlhanu wa timodeli to hambana ta mpfumelelo, swipano swi lawula hinkwaswo ku suka eka dashboard yin’we.

Eka tinhlengeletano leti tirhisaka vuswikoti bya AI, ku hlanganisiwa loku ku vula ku nyikiwa ka datha kutsongo exikarhi ka tisisiteme, swilotlelo switsongo swa API leswi papamalaka eka tifayela ta vuhlanganisi, na ndhawu yin’we yo sindzisa eka tipholisi ta mfikelelo. Loko datha ya wena ya vaxavi, timetriki ta matirhelo, na loji ya bindzu hinkwaswo swi hanya endzeni ka ndhawu yin’we leyi lawuriwaka, vuandlalo bya nhlaselo wa ku sefa data — nchumu wo ka wu nga tirhisiwanga wa nhlaselo wa ku hundzula modele — wu hunguteka swinene.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Swiendlakalo Swa Xiviri Leswi Cinceke Bulo

Hi 2022, ku sungula ka fintech ku kumile leswaku muphikizani u sungurile xitirhisiwa xa ku nyika swikoweto swa xikweleti lexi nga kusuhi na ku fana endzhaku ka tinhweti ta tsevu ntsena endzhaku ka ku sunguriwa ka masungulo hi woxe. Nxopaxopo wa le ndzeni wu paluxile leswaku muphikizani a a ri karhi a vutisa hi ndlela leyi hlelekeke API ya ku nyika swikoweto ya ku sungula ku ringana tin’hweti, a tirhisa tinhlamulo ku letela modele wa xifaniso. Ku sungula a ku nga ri na swipimelo swa mpimo, ku vuyisa ku hangalasiwa loku heleleke ka ku koteka, naswona a ku hlayisa ku nga ri na tilog ta swivutiso leti nga seketelaka magoza ya nawu. Muphikizani a nga langutananga na switandzhaku.

Sweswinyana, eku heleni ka 2024, valavisisi va vuhlayiseki va kombisile thekiniki leyi vuriwaka "side-channel model extraction" leyi tirhiseke ku hambana ka nkarhi eka tinhlamulo ta API — leswaku sevha yi teke nkarhi wo tanihi kwihi ku vuyisa mimbuyelo ya swingheniso swo hambana — ku ehleketa hi xivumbeko xa le ndzeni xa modele handle ko kambisisa hambi ku ri ku vhumbha hi koxe. Nhlaselo wu tirhile ku lwisana na timodeli leti tirhisiweke eka vaphakeri hinkwavo vanharhu lavakulu va mapapa naswona a wu lava mfikelelo wo hlawuleka ku tlula xilotlelo xa API xa ntolovelo.

Swiendlakalo leswi swi kandziyisa yinhla ya nkoka: nxungeto wu hluvuka hi ku hatlisa ku tlula vusirheleri bya tinhlengeletano to tala. Tithekiniki leti a ti tekiwa tanihi ndzavisiso wa xiyimo xa le henhla malembe manharhu lama hundzeke sweswi ta kumeka tanihi switirhisiwa swa xihlovo lexi pfulekeke eka GitHub. Mabindzu lama khomaka vuhlayiseki bya xikombiso tanihi ku vilela ka nkarhi lowu taka se ma sale endzhaku.

Ku aka Ndhavuko wa AI wo Sungula wa Vuhlayiseki

Thekinoloji ntsena a yi tlhantlhi xiphiqo lexi. Tinhlengeletano ti fanele ku aka ndhavuko laha nhundzu ya AI yi khomiwaka hi vukheta lebyi fanaka na khodi ya xihlovo, swihundla swa mabindzu, na tidathabeyisi ta vaxavi. Leswi swi sungula hi nhundzu — tikhamphani to tala a ti hlayisi hambi ku ri nxaxamelo lowu heleleke wa leswaku hi tihi timodeli leti tirhisiwaka, laha ti fikeleleka kona, na leswaku i mani loyi a nga na mfikelelo wa API. A wu nge swi koti ku sirhelela leswi u nga swi tiviki leswaku swi kona.

Ntirhisano wa mintirho hinkwayo i wa nkoka. Vativi va sayense ya data va fanele ku twisisa minxungeto ya valala. Swipano swa vuhlayiseki swi fanele ku twisisa ndlela leyi tiphayiphi to dyondza hi muchini ti tirhaka ha yona. Vafambisi va swikumiwa va fanele ku teka swiboho leswi nga na vutivi mayelana na leswaku i ti-API ta modele wa mahungu wahi ti paluxa. Switoloveto swa nkarhi na nkarhi swa "xipano xo tshwuka" — laha swipano swa le ndzeni swi ringetaka ku humesa kumbe ku hundzuluxa timodeli ta wena — swi paluxa vuhlayiseki vahlaseri va le handle va nga si endla tano. Tikhamphani to fana na Google na Microsoft ti fambisa switoloveto leswi kotara yin’wana na yin’wana; a ku na xivangelo xa leswaku tinhlengeletano letitsongo ti nga amukeli vuhundzuluxeri lebyi olovisiweke.

Tipulatifomo to fana na Mewayz leti tisaka datha ya matirhelo ehansi ka lwangu rin’we ti tlhela ti endla leswaku swi olova ku sindzisa tipholisi ta vulawuri bya datha leti khumbaka vuhlayiseki bya AI hi ku kongoma. Loko u kota ku landzelela leswaku i mani loyi a ngheneleke swiyenge swihi swa vaxavi, leswaku swiviko swa vuxopaxopi swi endliwile rini, na ndlela leyi datha yi khulukaka ha yona exikarhi ka mimojula, u aka muxaka wa ku langutiwa loku endlaka leswaku ku humesiwa ka datha loku nga pfumeleriwangiki na ku yiva ka modele swi tika swinene ku swi endla swi nga voniwi.

Leswi landzelaka: Vulawuri, Swipimelo, na ku Tilulamisela

Ndhawu ya milawu yi le ku khomeni. Nawu wa EU wa AI, lowu ngheneleke ku sindzisiwa hi switeji ku sukela hi 2025, wu katsa swiletelo leswi rhendzeleke ku va erivaleni ka xikombiso na vuhlayiseki leswi nga ta lava leswaku tinhlengeletano ti kombisa leswaku ti tekile magoza lama twalaka ku sirhelela tisisiteme ta AI eka ku onhiwa na ku yiva. EUnited States, Rimba ra Vulawuri bya Khombo ra AI ra NIST (AI RMF) sweswi ri langutana hi ku kongoma ku humesiwa ka modele tanihi xiyenge xa ​​nxungeto. Mabindzu lama amukelaka hi ku hatlisa swivumbeko leswi ma ta kuma ku landzelela swi olova — naswona ma ta va eka xiyimo xo antswa xo sirhelela vuvekisi bya wona bya AI.

Mhaka ya le hansi yi kongomile: neural network reverse engineering a hi nxungeto wa xiringanyeto lowu vekeriweke vatlangi va mfumo wa rixaka. I thekiniki leyi fikelelaka, leyi tsariweke kahle leyi muphikizani wihi na wihi la hlohloteriweke kumbe mutlangi wo biha a nga yi tirhisaka eka tisisiteme leti nga sirhelelekangiki kahle. Mabindzu lawa ya humelelaka eka nguva ya AI a ya nge vi ntsena lawa ya akaka timodeli ta kahle swinene — ya ta va lawa ya ti sirhelelaka. Sungula hi vulawuri bya mfikelelo, ku kavanyetiwa ka vuhumelerisi, na ku vekiwa tihlo ka matirhiselo. Aka eka masungulo ya matirhelo lama hlanganeke lama hungutaka ku hangalaka ka datha. Naswona khoma timodeli ta wena leti leteriweke tanihi nhundzu ya nkoka wa le henhla leyi ti nga yona, hikuva vaphikizani va wena hakunene va ta.

Swivutiso Leswi Vutisiwaka Nkarhi Na Nkarhi

Xana i yini vunjhiniyara byo tlhelela endzhaku bya netiweke ya tinyiyo?

Neural network reverse engineering i endlelo ro xopaxopa swikumiwa swa modele wa dyondzo ya muchini, tinhlamulo ta API, kumbe swivumbeko swa mahanyelo ku pfuxeta architecture ya yona ya le ndzeni, swipimelo, kumbe datha ya ndzetelo. Vahlaseri va nga tirhisa tithekiniki to fana na model extraction, membership inference, na adversarial probing ku yiva ti algorithms ta vulawuri. Eka mabindzu lama titshegeke hi switirhisiwa leswi fambiwaka hi AI, leswi swi tisa nhundzu ya vutlhari leyikulu na makhombo ya mphikizano lama lavaka magoza ya vuhlayiseki lama tirhaka.

Xana mabindzu ma nga swi sirhelela njhani timodeli ta wona ta AI leswaku ti nga endliwi hi vunjhiniyara byo tlhelela endzhaku?

Swisirhelelo swa nkoka swi katsa swivutiso swa API leswi ringanyetaka mpimo, ku engetela mpfumawulo lowu lawuriwaka eka swikumiwa swa modele, ku veka tihlo eka swivumbeko swa mfikelelo leswi kanakanisaka, na ku tirhisa vuhlayiseki bya ku hambana hi nkarhi wa ndzetelo. Tipulatifomo to fana na Mewayz, OS ya bindzu ya timodyuli ta 207, ti pfuna tikhamphani ku hlanganisa matirhelo na ku hunguta ku paluxiwa hi ku hlayisa maendlelo ya ntirho ya AI lama nga na vuxiyaxiya endzeni ka ndhawu leyi sirhelelekeke, leyi hlanganeke ku tlula ku hangalaka eka ku hlanganisiwa ka vanhu va vunharhu loku nga sirhelelekangiki.

Xana mabindzu lamatsongo ma le khombyeni ro yiva modele ya AI?

Hi ku hetiseka. Valavisisi va kombise minhlaselo ya ku humesa swikombiso leyi durhaka mali yitsongo ku fana na R1 000 eka khompyuta, leswi endlaka leswaku yi fikeleleka eka kwalomu ka mani na mani. Mabindzu lamatsongo lama tirhisaka tinjhini ta switsundzuxo leswi endleriweke wena, tialgorithm ta nxavo, kumbe timodeli to kuma vuxisi i swikongomelo leswi kokaka rinoko kahle-kahle hikuva hakanyingi ma pfumala vuhlayiseki bya xiyimo xa bindzu. Tipulatifomo leti nga durhiki to fana na Mewayz, ku sukela eka $19/mo eka app.mewayz.com, ti pfuna swipano leswitsongo ku tirhisa vuhlayiseki byo tiya bya matirhelo.

Xana ndzi fanele ku endla yini loko ndzi sola leswaku modele wa mina wa AI wu onhiwile?

Sungula hi ku odita tilog ta mfikelelo wa API eka tivholumo ta swivutiso leti nga tolovelekangiki kumbe tipheteni to nghenisa leti hlelekeke leti ringanyetaka matshalatshala yo humesa. Jikisa swilotlelo swa API hi ku hatlisa naswona u tirhisa swipimelo swa mpimo leswi tiyeke. Kambela loko swikumiwa swa xikombiso swi humelerile eka swikumiwa swa vaphikizani. Anakanya hi ku veka swikombiso swa mati eka tivhidiyo ta modele ta nkarhi lowu taka ku landzelerisa ku tirhisiwa loku nga pfumeleriwangiki, naswona vulavurisana na mutivi wa vuhlayiseki bya xiyenge xa inthanete ku kambela vukulu hinkwabyo bya ku tlula nawu na ku nonokisa vusirheleri bya wena.