Ferret-UI Lite: Lærdómur af því að byggja upp litla GUI umboðsmenn í tæki

The Rise of On-Device GUI Agents: A New Frontier in Human-Computer Interaction

Í áratugi hefur ríkjandi hugmyndafræði hugbúnaðarsamskipta haldist þrjósk: maður les skjá, hreyfir bendilinn, smellir á hnapp og bíður eftir svari. Þessi lykkja - skynja, ákveða, bregðast við - hefur skilgreint tölvumál síðan fyrsta grafíska skjáborðið birtist á áttunda áratugnum. En hljóðlát bylting er í gangi. Vísindamenn og verkfræðingar eru að smíða lítil, skilvirk gervigreind líkön sem geta skynjað, rökrætt um og starfað innan grafískra notendaviðmóta algjörlega á tækinu, án þess að skýjatengdar ályktanir séu leyndar, kostnaðar eða persónuverndaráhyggjur. Lærdómurinn af þessum verkefnum er að endurmóta hvernig við hugsum um greindan hugbúnað, sjálfvirkni og framtíð viðskiptatóla.

Þróun þéttra GUI umboðsmanna - módel eins og Apple's Ferret-UI og léttari hliðstæða þess - leiðir eitthvað djúpt í ljós: þú þarft ekki gríðarstórt tungumálalíkan til að skilja skjá. Þú þarft réttan arkitektúr, réttu þjálfunargögnin og miskunnarlausa skuldbindingu til verkefnasértækrar skilvirkni. Þegar þessi kerfi þroskast eru þau farin að umbreyta því hvernig fyrirtæki eiga í samskiptum við eigin hugbúnaðarbunka og opna möguleika sem einu sinni tilheyrðu aðeins vísindaskáldskap.

Af hverju léttar gerðir eru algjör bylting

Það er tilhneiging í gervigreindumræðu að leggja að jöfnu getu og mælikvarða. Stærri módel, er hugsunin, eru betri fyrirmyndir. En fyrir GUI umboðsmenn - kerfi sem verða að skilja uppsetningar á pixlastigi, flokka gagnvirka þætti og framkvæma fjölþrepa verkefni í flóknum forritum - er óunnin færibreytufjöldi minna mikilvægur en rýmisnákvæmni og jarðtengingarnákvæmni. 7 milljarða færibreytur líkan sem getur á áreiðanlegan hátt ýtt á réttan hnapp í farsímaviðmóti er betri en 70 milljarða færibreytur alhæfingur sem ofsjónir staðsetningar frumefna.

Rannsóknir á litlum GUI módelum í tæki hafa stöðugt sýnt fram á að markviss fínstilling á sértækum gögnum við notendaviðmót skilar stórkostlegum framförum en einfaldlega að hvetja til stórs grunnlíkans. Líkön sem þjálfaðar eru á skjámyndum með athugasemdum, stigveldi frumefna og víxlverkunarsporum læra í grundvallaratriðum öðruvísi sjónræna málfræði en þær sem þjálfaðar eru á nettexta og náttúrulegum myndum. Þeir þróa með sér skilning á affordances - hvað er hægt að pikka, strjúka, fletta eða slá inn - sem almennar módel skortir einfaldlega.

Hagnýtu afleiðingarnar eru mikilvægar. Líkan sem keyrir á taugavinnslueiningu snjallsíma getur aðstoðað notendur í rauntíma, lært af staðbundnum samskiptamynstri og starfað í umhverfi án nettengingar. Fyrir fyrirtækjasamhengi þar sem viðkvæm fjárhagsgögn, starfsmannaskrár eða viðskiptavinaupplýsingar eru innan hugbúnaðarviðmóta, er ályktun í tæki ekki sniðug – það er nauðsyn að uppfylla reglur.

Arkitektúrkennslurnar sem í raun flytjast

Að byggja upp hæfan GUI umboðsmann í litlum mæli krefst byggingarákvarðana sem eru verulega frábrugðnar venjulegu sjónmálslíkönhönnun. Nokkrir lærdómar hafa stöðugt komið fram í rannsóknarhópum sem vinna að þessu vandamáli.

Í fyrsta lagi, samræmd framsetning skiptir gríðarlegu máli. Snemma GUI umboðsmenn áttu í erfiðleikum vegna þess að þeir erfðu staðbundna rökhugsun frá módelum sem voru þjálfaðir í að lýsa senum frekar en að hafa samskipti við þær. Líkan sem segir „það er blár hnappur neðst til hægri á skjánum“ er gagnslaus fyrir sjálfvirkni. Líkan sem skilar eðlilegum hnitum með nákvæmni undirpixla - og gerir það á áreiðanlegan hátt í mismunandi skjáupplausnum, DPI stillingum og stýrikerfisþemum - er virkilega gagnlegt. Breytingin frá lýsandi yfir í aðgerðarhæfan staðbundinn útgang krafðist þess að endurskoða hvernig jarðtengingarhausar eru þjálfaðir og metnir.

Í öðru lagi bætir stigveldismeðvituð kóðun árangur verulega. Nútímaviðmót forrita eru ekki flatar myndir - þau eru hreiður uppbygging gáma, lista, forms og gagnvirkra þátta. Líkön sem hafa aðgang að aðgengistrénu eða skoðað stigveldi samhliða sýndu skjámyndinni standa sig verulega betur í flóknum siglingaverkefnum en þau sem vinna úr pixlum einum saman. Þetta er ástæðan fyrir því að umboðsmenn GUI í tæki nýta oft forritaskil aðgengis vettvangs sem samhliða merki bæði við þjálfun og ályktanir.

Í þriðja lagi verður niðurbrot verkefna að vera innbyggt í framleiðslugerð líkansins. Í stað þess að búa til eina einhæfa aðgerðaáætlun, framleiða skilvirkir GUI umboðsmenn stigveldisraðir undirverkefna með skýrum eftirlitsstöðvum. Þetta gerir þeim kleift að jafna sig eftir villur í miðju verki – hæfileiki sem er nauðsynlegur í raunverulegu verkflæði fyrirtækja þar sem missmellur getur kallað fram óviljandi ástandsbreytingar.

Gagnavandamálið: Hvers vegna er einstaklega erfitt að þjálfa GUI umboðsmenn

Tungumálslíkön njóta góðs af í raun og veru óendanlegan hluta mannlegs texta. Sjónlíkön geta þjálfað sig á milljörðum merktra ljósmynda. GUI umboðsmenn hafa enga samsvarandi úrræði. Forritaviðmót eru tímabundin, séreign og róttækt fjölbreytt - launaskjár á einum SaaS vettvangi deilir nánast engu sjónrænt með CRM mælaborði á öðrum, jafnvel þótt báðir sinna hliðstæðum aðgerðum.

Framsælustu rannsóknarhóparnir hafa tekist á við þetta með tilbúnum gagnaöflun í umfangsmiklum mæli. Með því að útfæra forrit með sjálfvirkum prófunarramma, fanga víxlverkunarspor og para þau við verkefnalýsingar á náttúrulegu tungumáli, geta rannsakendur búið til milljónir skýrðra HÍ dæma. Áskorunin er að tryggja umfang: viðskiptahugbúnaður spannar allt frá ERP fyrirtækja með þéttum töflugögnum til tækja sem eru fyrst fyrir farsíma með látbragðsmiðaðri leiðsögn og líkan sem er þjálfað á einu léni getur mistekist skelfilega á öðru.

"Færustu GUI umboðsmennirnir eru ekki þeir sem eru þjálfaðir á flestum gögnum – þeir eru þeir sem eru þjálfaðir í fjölbreytilegustu gögnunum. Flækjustig viðmóts er fall af lénsbreidd, ekki skjáfjölda."

Þessi innsýn hefur ýtt teymum í átt að alhæfingarviðmiðum yfir forrit sem meta frammistöðu umboðsmanna á áður óséðum hugbúnaði. GUI umboðsmaður sem skorar fullkomlega í þjálfunardreifingu en mistekst í nýju forriti er ekki tilbúinn til framleiðslu. Gullstaðalinn er núll-skot verkefnalokun - hæfileikinn til að vafra um ókunnugt viðmót með því að nota aðeins náttúrulegt tungumál og sjónræna athugun á núverandi skjástöðu.

Persónuvernd, biðtími og kostur tækisins í viðskiptasamhengi

Viðskiptatilvikin fyrir umboðsmenn GUI í tækinu fara út fyrir hreina getu. Þrír samtengdir kostir gera staðbundnar ályktanir sannfærandi fyrir uppsetningu fyrirtækja:

• Gagnafullveldi: Skjáskot af viðskiptahugbúnaði geta innihaldið viðkvæm gögn viðskiptavina, fjárhagsupplýsingar eða persónulegar starfsmannaupplýsingar. Með því að senda þessar myndir í skýjaforritaskil kynnir eftirlit með váhrifum samkvæmt ramma eins og GDPR, HIPAA og SOC 2. Vinnsla í tæki heldur viðkvæmum sjónrænum gögnum innan öryggis jaðar.
• Töf við svörun: GUI umboðsmaður sem krefst hringferðar til skýjaályktunarendapunkts getur ekki starfað á hraða mannlegra samskipta. Módel í tækinu bregðast við á tugum millisekúndna, sem gerir raunverulega fljótandi verkflæði umboðsmanns kleift sem finnst upprunalegt frekar en vélrænt.
• Getu án nettengingar: Starfsmenn á vettvangi, heilbrigðisstarfsmenn og flutningsaðilar vinna oft í umhverfi með óáreiðanlegri tengingu. Gervigreind aðstoðarmaður sem þarf internetaðgang til að virka er ekki áreiðanlegt viðskiptatæki – það er ábyrgð.
• Fyrirsjáanleiki kostnaðar: Ályktunarkostnaður í skýi mælist með notkun. Fyrir umboðsaðstoðarmann sem gæti unnið úr hundruðum skjámynda á hverri notendalotu, verður verðlagning á tákni efnahagslega ofboðslega í mælikvarða. Fastar afskriftir á vélbúnaði eru fyrirsjáanlegri fyrir fjármálastjóra sem sjá um gervigreindaruppbyggingarkostnað.

Þessir kostir ýta undir fjárfestingarbylgju í AI hröðlum í útliti yfir vélbúnaðarstokkinn. Taugavél Apple, Hexagon frá Qualcomm og Tensor flögur frá Google eru öll fínstillt fyrir fylkisaðgerðirnar sem liggja til grundvallar sjónmálslíkönum. Vélbúnaðarinnviðir fyrir GUI umboðsmenn í tæki eru að þroskast hratt og vistkerfi hugbúnaðarins fylgja.

Hvað þýðir þetta fyrir flókna viðskiptahugbúnaðarkerfi

Afleiðingar fyrir mát viðskiptavettvang eru veruleg. Íhugaðu rekstrarlegan veruleika vaxandi fyrirtækis sem notar alhliða viðskiptakerfi sem nær yfir CRM, reikningagerð, launaskrá, HR, flotastjórnun og greiningar - 207 aðskildar hagnýtar einingar, á vettvangi eins og Mewayz. Fyrir nýjan starfsmann sem kemur um borð, eða yfirmann sem sjaldan hefur aðgang að ákveðnum einingum, er það ósvikið framleiðniþurrð að vafra um ókunn viðmót. Þjálfunarkostnaður er raunverulegur. Stuðningsmiðar eru dýrir. Verkflæðisvillur í launaskrá eða reikningagerð hafa afleiðingar sem ná langt út fyrir einn missmell.

Hægur GUI umboðsmaður í tæki breytir þessum útreikningi algjörlega. Frekar en að nýr notandi læri hvar á að finna leyfissamþykkisvinnuflæðið eða hvernig á að stilla endurtekið reikningssniðmát, lýsa þeir áformum sínum á látlausu máli og umboðsmaðurinn sér um viðmótið fyrir þeirra hönd. Þetta er ekki sjálfvirkni í skjáskrapun – hún er ósvikin, samhengisvituð aðstoð sem lagar sig að viðmótsstöðu, meðhöndlar jaðartilvik og biður um skýringar þegar verkefnið er óljóst.

Einingaarkitektúr Mewayz hentar sérstaklega vel fyrir þessa hugmyndafræði. Vegna þess að hver eining hefur samræmt hönnunarmál og vel skilgreint virknisvið, getur GUI umboðsmaður sem er þjálfaður á viðmóti Mewayz þróað öfluga, yfirfæranlega framsetningu á algengum samskiptamynstri - bókunarstaðfestingar, launasamþykki, uppfærslur á CRM leiðslum - og beitt þeim á áreiðanlegan hátt yfir alla breidd pallsins. Þessir 138.000 notendur á pallinum tákna sameiginlega gríðarlegan fjölbreytileika vinnuflæðis, notkunartilvika og samskiptastíla, sem er nákvæmlega eins konar fjölbreytt þjálfunarmerki sem framleiðir hæfa, alhæfanlega miðla.

Hönnun hugbúnaðar með umboðsmennsku í huga

Einn mikilvægasti lærdómurinn sem kemur fram í rannsóknum á GUI umboðsmönnum er að hugbúnaður hannaður fyrir mannlega notendur og hugbúnaður hannaður fyrir notendur umboðsmanna er ekki það sama. Tengi sem eru fínstillt fyrir sjónræna fagurfræði - halla, hreyfimyndir, lög sem skarast, sérsniðnir gerðir íhlutir - er oft erfiðara fyrir umboðsmenn að flokka en þau sem eru hönnuð með aðgengi í huga. Þessi samruni á milli aðgengis-fyrstu hönnunar og umboðsmannahönnunar er ein af áhugaverðari þróuninni á þessu sviði.

Framsýn hugbúnaðarteymi eru farin að innlima „læsileika umboðsmanna“ í hönnunarkerfi sín. Þetta þýðir:

1. Að tryggja að gagnvirkir þættir séu með einstök, stöðug auðkenni sem eru aðgengileg í gegnum aðgengistréð
2. Viðhalda stöðugu sjónrænu framlagi í viðmótsríkjum frekar en að treysta á hreyfimyndaháðar ástandsbreytingar
3. Að bjóða upp á skipulagða staðfestingarglugga fyrir alvarlegar aðgerðir – samþykki, eyðingu, fjárhagslega skilagrein – sem gefur umboðsmönnum náttúrulega eftirlitsstaði
4. Að afhjúpa verkefnamiðaða djúpa hlekki sem gera umboðsmönnum kleift að sigla beint að viðeigandi viðmótsstöðu án þess að fara í röð
5. Lýsigögn samskipta við skráningu sem hægt er að nota til að búa til tilbúin þjálfunargögn til að fínstilla lénssértæka umboðsmann

Pallar sem fjárfesta í þessum byggingareignum í dag eru að byggja upp umtalsvert samkeppnisforskot. Þegar GUI umboðsmenn fara frá rannsóknarfrumgerðum yfir í framleiðslutæki á næstu tveimur til þremur árum mun hugbúnaður sem er læsilegur umboðsmaður skila verulega betri umboðsupplifun en hugbúnaður sem lítur á AI aðstoð sem eftiráhugsun sem er fest á núverandi viðmótsfyrirmynd.

Leiðin framundan: Frá aðstoðarmönnum til sjálfstætt starfandi umboðsmanna

Ferill rannsókna á GUI umboðsmanni í tæki vísar í átt að framtíð þar sem mörkin milli mannlegrar starfsemi og sjálfvirkrar framkvæmdar verða raunverulega fljótandi. Umboðsmenn dagsins í dag geta á áreiðanlegan hátt klárað einstök, vel skilgreind verkefni - farið á tiltekinn skjá, fyllt út eyðublað, dregið gildi úr mælaborði. Umboðsmenn morgundagsins munu stjórna verkflæði í mörgum lotum og forritum sem spanna klukkustundir eða daga af viðskiptastarfsemi.

Þessi breyting frá aðstoðarmanni yfir í sjálfstætt starfandi umboðsmann krefst framfara ekki bara í módelgetu heldur í trausti, sannprófun og mannlegu eftirlitskerfi. Fyrirtæki munu þurfa endurskoðunarslóðir fyrir aðgerðir umboðsmanna, tryggingar til að ganga til baka fyrir afleiddar aðgerðir og skýrar stigmögnunarleiðir fyrir óljósar aðstæður. Verkfræðiáskorunin snýst jafn mikið um stjórnunararkitektúr og um frammistöðu líkana.

Pallar eins og Mewayz, sem fylgjast nú þegar með notendavirkni í gegnum CRM-samskipti, launasamþykki og bókunarstaðfestingar, eru vel í stakk búnir til að stækka þessa endurskoðunarinnviði til að ná til aðgerða umboðsmanns. Gagnauppbyggingin sem þarf til að uppfylla reglur og til að stjórna umboðsmönnum er að mestu leyti sá sami - og stofnanir sem hafa fjárfest í annarri munu finna hina umtalsvert auðveldari. Framtíð viðskiptahugbúnaðar er ekki að menn noti hugbúnað eða gervigreind í stað manna. Þetta er samstarfslykkja þar sem umboðsmenn í tæki sjá um vélræna vinnu við viðmótsleiðsögu á meðan menn veita dómgreind, eftirlit og stefnumótun. Lærdómurinn sem dreginn er í dag í rannsóknum á samsettum GUI umboðsmönnum er að byggja grunninn að þeirri framtíð.

Algengar spurningar

Hvað er Ferret-UI Lite og hvernig er það frábrugðið hefðbundnum GUI sjálfvirkniverkfærum?

Ferret-UI Lite er fyrirferðarlítið gervigreindarlíkan í tæki sem er hannað til að skynja og hafa samskipti við grafísk notendaviðmót sjálfstætt, án þess að treysta á skýjatengingu. Ólíkt hefðbundnum sjálfvirkniverkfærum sem fylgja stífum, forskriftarreglum, notar Ferret-UI Lite sjónræn rök til að skilja samhengi skjásins á kraftmikinn hátt. Þetta gerir það mun aðlögunarhæfara í margvíslegum forritum og uppsetningum, sem gerir raunverulega umboðsmannslíka hegðun kleift beint á tækinu með lágmarks leynd.

Hvers vegna skiptir það máli fyrir næði og frammistöðu að keyra GUI umboðsmenn í tækinu?

Ályktun í tæki heldur viðkvæmum skjágögnum - þar á meðal lykilorðum, persónulegum skjölum og vinnuflæði fyrirtækja - algjörlega staðbundnum og útilokar persónuverndaráhættu sem tengist sendingu skjámynda til ytri netþjóna. Það fjarlægir einnig netleynd úr hverri samskiptalotu. Fyrir viðskiptakerfi eins og Mewayz, 207 eininga viðskiptastýrikerfi sem er fáanlegt á app.mewayz.com frá $19/mán., gætu umboðsmenn í tækinu að lokum gert flókið margþrepa verkflæði sjálfvirkt án þess að afhjúpa innri starfsemi að utan.

Hver eru stærstu tæknilegu áskoranirnar við að byggja upp lítil, skilvirk GUI umboðsmannslíkön?

Kerniáskorunin er að jafna stærð líkansins og skynjunargetu. GUI skilningur krefst staðbundinnar rökhugsunar, textagreiningar og samhengisályktunar samtímis - verkefni sem venjulega krefjast stórra líkana. Vísindamenn verða að þjappa arkitektúr með harðfylgi án þess að fórna nákvæmni á þéttum, upplýsingaríkum skjám. Fleiri hindranir fela í sér að meðhöndla gífurlegan sjónrænan fjölbreytileika nútímaviðmóta og þjálfun á dæmigerðum gagnasöfnum sem ná yfir neytendaforrit, mælaborð fyrirtækja og framleiðnisamsetningar.

Hvernig gætu umboðsmenn GUI í tækinu breytt því hvernig fyrirtæki stjórna hugbúnaðarverkflæði?

GUI umboðsmenn á tækinu gætu virkað sem ósýnilegir rekstraraðilar, flakkað um hugbúnað sjálfkrafa til að klára endurtekin verkefni eins og gagnafærslu, skýrslugerð eða uppfærslur á vettvangi. Fyrir fyrirtæki sem nota allt-í-einn vettvang eins og Mewayz – sem býður upp á 207 samþættar einingar á app.mewayz.com fyrir $19/mán – gætu slíkir umboðsmenn hlekkjað aðgerðir þvert á einingar án mannlegrar íhlutunar, dregið verulega úr rekstrarkostnaði og gert teymum kleift að einbeita sér að mikilvægari ákvarðanatöku frekar en handvirkum viðmótsleiðsögn.