Kā kaķis atkļūdoja stabilu difūziju (2023)

Vienā no negaidītākajiem atkļūdošanas stāstiem AI vēsturē mājas kaķis netīšām palīdzēja inženieriem noteikt kritisku latentu telpas kropļojumu Stable Diffusion attēlu ģenerēšanas konveijerā. 2023. gada incidents kļuva par nozīmīgu gadījuma izpēti par to, kā neparedzami reāli ievadi var atklāt trūkumus, kurus tūkstošiem stundu strukturētās testēšanas laikā pilnībā izlaiž.

Kas patiesībā notika ar kaķi un stabilo difūziju?

2023. gada sākumā mašīnmācīšanās inženieris, kurš strādāja no mājām, pamanīja kaut ko savdabīgu. Viņu kaķis, staigājot pa tastatūru Stabilas difūzijas treniņa laikā, ievadīja virkni bezjēdzīgu rakstzīmju ātrajā partijā. Tā vietā, lai radītu izkropļotas izvades vai pieļautu kļūdu, modelis ģenerēja attēlu sēriju ar konsekventu un ļoti specifisku vizuālo artefaktu — atkārtotu teselācijas modeli, kam, ņemot vērā uzvednes ievadi, nevajadzēja pastāvēt.

Tas nebija nejaušs troksnis. Modelis atklāja iepriekš neatklātu neobjektivitāti modeļa savstarpējās uzmanības slāņos, īpaši attiecībā uz to, kā U-Net arhitektūra apstrādāja noteiktas marķieru kombinācijas, kas bija ārpus parastajām valodas robežām. Kaķa tastatūras saspiešana bija radījusi pretrunīgu pamudinājumu, ko neviens cilvēks testētājs nebija domājis izmēģināt, atklājot modeļa CLIP teksta kodētāja integrācijas trūkumu, kas ietekmēja telpisko attiecību aprēķināšanu trokšņa slāpēšanas procesā.

Inženieru komanda pavadīja nākamās nedēļas, lai izsekotu artefaktam līdz tā pamatcēlonim: peldošā komata noapaļošanas problēmai latentā difūzijas plānotājā, kas izpaudās tikai īpašos marķierizācijas malas gadījumos. Labojums uzlaboja attēla saskaņotību visos uzvedņu veidos par aptuveni 3–4%, ievērojami uzlabojot ģeneratīvo AI veiktspēju.

Kāpēc netradicionāla ievade uztver kļūdas, kuras kvalitātes nodrošināšanas komandas palaiž garām?

Strukturētā testēšana notiek saskaņā ar cilvēka loģiku. Inženieri raksta testa gadījumus, pamatojoties uz paredzamo lietotāju uzvedību, malas gadījumiem, ko viņi var iedomāties, un zināmajiem atteices režīmiem no iepriekšējām iterācijām. Taču programmatūrā — īpaši mākslīgā intelekta sistēmās ar miljardiem parametru — ir ietverts kombinatorisks iespējamo stāvokļu eksplozija, ko neviena testēšanas sistēma nevar pilnībā aptvert.

"Bīstamākās kļūdas nav tās, kuras slēpjas kodā, kuru neesat pārbaudījis. Tās ir tās, kuras slēpjas kodā, kuru pārbaudījāt ar nepareiziem pieņēmumiem." — Šis princips, kas jau sen tika izprasts tradicionālajā programmatūras inženierijā, kļūst eksponenciāli svarīgāks mašīnmācīšanās sistēmās, kurās ievades vieta ir faktiski bezgalīga.

Kaķa incidents pastiprināja to, ko haosa inženieru praktiķi ir zinājuši gadiem ilgi: nejaušināta, neparedzama ievade atklāj sistēmiskus trūkumus, ko nevar veikt metodiskā pārbaude. Tas ir tāds pats princips, kas darbojas aiz izplūdes testēšanas, kad sistēmās tiek ievadīti apzināti nepareizi veidoti dati, lai atklātu ievainojamības. Šeit atšķirība bija tāda, ka fuzerim bija četras kājas un aste.

Ko tas atklāja par AI atkļūdošanas izaicinājumiem?

Ģeneratīvo AI modeļu atkļūdošana būtiski atšķiras no tradicionālās programmatūras atkļūdošanas. Ja parastā lietojumprogramma neizdodas, tiek parādīts kļūdu žurnāls, steka izsekošana un reproducējams ceļš. Ja AI modelis rada smalki nepareizus rezultātus, kļūme var palikt nepamanīta vairākus mēnešus, jo nav vienas “pareizās” atbildes, ar ko salīdzināt.

• Latentās telpas necaurredzamība: difūzijas modeļu iekšējos attēlojumus ir ļoti grūti interpretēt, tāpēc ir grūti izsekot izvades artefaktiem līdz konkrētām skaitļošanas kļūmēm.
• Tūlītēja jutība: nelielas teksta ievades variācijas var radīt ļoti dažādas izvades, kas nozīmē, ka kļūdas var parādīties tikai šauros un neparedzamos apstākļos.
• Novērtēšanas subjektivitāte: atšķirībā no klasifikācijas uzdevumiem ar izmērāmu precizitāti, attēlu ģenerēšanas kvalitāte ir daļēji subjektīva, ļaujot automātiskajām pārbaudēm izslīdēt smalkas degradācijas.
• Kaskādes atkarības: viens teksta kodētāja defekts var izplatīties, izmantojot savstarpējas uzmanības mehānismu, trokšņu slāpēšanas plānotāju un VAE dekodētāju, padarot pamatcēloņa analīzi ārkārtīgi sarežģītu.
• Apmācības datu sapīšana: lai atšķirtu kļūdas modeļa arhitektūrā un novirzes, kas mantotas no apmācības datiem, ir jāveic rūpīgi ablācijas pētījumi, kas ir laikietilpīgi un dārgi.

Kā šis incidents ir ietekmējis AI izstrādes praksi?

Kaķu atkļūdošanas stāsts, lai arī virspusē ir humoristisks, pamudināja vairākas konkrētas izmaiņas AI komandu pieejas kvalitātes nodrošināšanai. Kopš tā laika vairākas organizācijas ir paplašinājušas savus ģeneratīvo modeļu izplūdes testēšanas protokolus, īpaši iekļaujot nejaušas un pretrunīgas marķieru secības, kas atdarina ne-lingvistisku ievadi. Dažas komandas tagad veic automātiskas "tastatūras staigāšanas" simulācijas kā daļu no nepārtrauktās integrācijas konveijera.

Incidents arī atjaunoja interesi par difūzijas modeļu interpretējamības rīkiem. Ja vizuālais artefakts būtu bijis mazāk pamanāms — smalka krāsu maiņa, nevis trekns teselācija —, iespējams, tas būtu palicis nepamanīts uz nenoteiktu laiku. Tas ir mudinājis kopienu izstrādāt labāku automatizētu anomāliju noteikšanu ģenerētajām izvadēm — sistēmas, kas var atzīmēt statistiskus pārkāpumus pat tad, ja atsevišķi attēli šķiet virspusēji normāli.

Komandām, kas pārvalda sarežģītas darbplūsmas saistībā ar AI izstrādi, produktu iterāciju un kvalitātes nodrošināšanu, šādi incidenti izceļ nepieciešamību pēc centralizētas darbības redzamības. Ja kļūda aptver teksta kodētāju, plānotāju un dekodētāju, izmeklēšanas izsekošana izkliedētos rīkos un atvienotos sakaru kanālos rada savu berzes slāni.

Bieži uzdotie jautājumi

Vai Stable Diffusion cat atkļūdošanas incidents bija reāls notikums?

Pamatstāsts ir balstīts uz plaši kopīgotu AI inženieru kopienas kontu 2023. gadā. Lai gan konkrētās detaļas pārstāstā ir nedaudz mitoloģizētas, pamatā esošais tehniskais scenārijs — nejauša tastatūras ievade, kas atklāj latentu kosmosa kļūdu — ir labi dokumentēts un atbilst zināmajiem atteices režīmiem difūzijas modeļu arhitektūrā. Līdzīgi nejauši atklājumi ir notikuši visā programmatūras inženierijas vēsturē.

Vai izplūdes testēšana var droši noteikt kļūdas ģeneratīvajos AI modeļos?

Izplūdes testēšana ir efektīva, lai konstatētu noteiktas kļūdu kategorijas, jo īpaši tās, kas saistītas ar ievades parsēšanu, marķieru malu gadījumiem un skaitliskās stabilitātes problēmām. Tomēr tas nav sudraba lode ģeneratīvajam AI. Tā kā šie modeļi rada varbūtības izvades, nevis deterministiskas, lai definētu, kas ir "kļūme" izplūdes testēšanas laikā, ir vajadzīgas sarežģītas anomāliju noteikšanas sistēmas, nevis vienkārši apstiprinājumi/neatteices apgalvojumi.

Kā profesionālas AI komandas pārvalda atkļūdošanas darbplūsmas sarežģītās sistēmās?

Lielākā daļa nobriedušu AI komandu paļaujas uz eksperimentu izsekošanas platformu, centralizētas reģistrēšanas, sadarbības dokumentācijas un strukturētas projektu pārvaldības kombināciju. Galvenais izaicinājums ir izsekojamības saglabāšana — konkrēta izvades artefakta savienošana ar modeļa versiju, apmācības dati, hiperparametri un koda ieviešana, kas to radīja. Komandas, kas apvieno šīs darbplūsmas vienotās operētājsistēmās, pavada ievērojami mazāk laika koordinēšanai un vairāk laika faktiskai problēmu risināšanai.

Vienkāršojiet darbības sarežģītību

Neatkarīgi no tā, vai atkļūdojat AI modeļus vai pārvaldāt jebkuru citu sarežģītu biznesa darbību, sadrumstaloti rīki rada sadrumstalotu domāšanu. Mewayz apvieno 207 integrētus moduļus vienā biznesa operētājsistēmā, kurai uzticas vairāk nekā 138 000 lietotāju, nodrošinot jūsu komandai centralizētu redzamību, kas nepieciešama, lai izsekotu problēmām līdz to avotam, koordinētu atbildes un pārvietotos ātrāk. Sāciet savu bezmaksas izmēģinājuma versiju vietnē app.mewayz.com un uzziniet, kādas ir apvienotās darbības.