„Nvidia PersonaPlex 7B“ su „Apple Silicon“: „Full-Duplex“ kalbos į kalbą funkcija „Swift“

Pristatome naują balso AI sieną

Dirbtinio intelekto peizažas iš debesies krypsta į kraštą, o „Apple Silicon“ pirmauja. Kūrėjams galimybė paleisti galingus modelius vietoje atveria naują jautrių, privačių ir neprisijungus veikiančių programų galimybių pasaulį. Įveskite „Nvidia“ „PersonaPlex 7B“ – pažangiausią modelį, sukurtą natūraliam, išraiškingam pokalbio AI. Kai šis galingas modelis yra suporuotas su M serijos „Mac“ neuroniniu varikliu ir supaprastintu „Swift“ diegimu, rezultatas yra realiojo laiko dvipusės kalbos ir kalbos sąveikos proveržis.

Kas yra dvipusis kalbėjimas į kalbą?

Prieš pasineriant į techninę magiją, labai svarbu suprasti „viso dvipusio“ komponentą. Skirtingai nuo paprastų balso padėjėjų, kuriems reikia paspausti mygtuką ir laukti atsakymo, dvipusė sąveika imituoja natūralų žmogaus pokalbį. Tai leidžia vienu metu kalbėti ir klausytis, įgalinant pertraukimus, pauzes ir tikrą dialogą pirmyn ir atgal. Tai reiškia, kad dirbtinis intelektas gali apdoroti tai, ką sakote, kol jūs kalbate, ir suformuluoti atsakymą, kuris prasideda tą akimirką, kai baigiate, arba net švelniai įsiterpti, jei pristabdote. Tai pasiekti vietiniame įrenginyje, nesiunčiant garso į tolimą serverį, yra šventasis gralis kuriant sklandžią ir intuityvią naudotojo patirtį.

„Apple Silicon“ vieningos architektūros panaudojimas

Svarbiausia, kad tai būtų įmanoma nešiojamajame arba staliniame kompiuteryje, yra unikali Apple Silicon architektūra. M serijos lustai sujungia procesorių, GPU ir galingą neuronų variklį (NE) viename silicio gabale. Ši vieninga atminties architektūra idealiai tinka mašininio mokymosi darbo krūviams. Dideli modeliai, tokie kaip „PersonaPlex 7B“, gali būti įkeliami tiesiai į bendrinamą atmintį, todėl procesorius gali tvarkyti „Swift“ programos logiką, grafikos procesorius paspartinti tam tikrus skaičiavimus, o neuroninis variklis itin efektyviai perplėšti pagrindines modelio tenzorines operacijas. Ši sinergija pašalina kliūtis, trukdančias perkelti duomenis tarp atskirų komponentų, todėl išvados realiuoju laiku daromos ne tik įmanomos, bet ir sklandžiai bei efektyviai naudojant energiją.

• Privatumas ir greitis: visas apdorojimas vyksta vietoje įrenginyje. Jūsų neskelbtini pokalbiai niekada nesiunčiami į debesį, todėl užtikrinamas visiškas duomenų privatumas ir gaunama beveik nulinė delsa.
• Funkcija neprisijungus: naudojant šį krūvą sukurtos programos veikia bet kur, be interneto ryšio, todėl jos yra neįtikėtinai patikimos.
• Savasis našumas: naudojant „Swift“ ir savąsias sistemas, tokias kaip „Core ML“, galima giliai integruoti su „MacOS“, todėl patirtis yra sklandi, kuri yra pačios operacinės sistemos dalis.

Vamzdyno tiesimas naudojant „Swift“

Šio dvipusio dujotiekio sukūrimas naudojant „Swift“ apima kelių komponentų suderinimą. Pirma, AVFoundation sistema fiksuoja garso įvestį iš mikrofono. Tada šis garso srautas konvertuojamas į tekstą naudojant vietinį kalbos atpažinimo modelį, pvz., „Apple“ įrenginyje esančią kalbos sistemą. Gautas tekstas įvedamas į Nvidia PersonaPlex 7B modelį, kuris buvo optimizuotas veikti naudojant Core ML arba kitą su Swift suderinamą išvadų variklį, pvz., MLX. Modelis sukuria apgalvotą, kontekstą suvokiantį tekstinį atsakymą. Galiausiai šis tekstas vėl paverčiamas tikroviška kalba naudojant vietinį teksto į kalbą (TTS) variklį. Tikrasis iššūkis yra vienu metu valdyti šiuos komponentus, kad būtų pasiektas visiškas dvipusis efektas – tai užduotis, kurioje modernus „Swift“ lygiagretumo modelis su async/await puikiai tinka.

"Galimybė paleisti tokio kalibro modelį vietoje Apple Silicon iš esmės keičia mūsų mąstymą apie AI integravimą į mūsų kasdienes darbo eigas. Tai perkelia AI nuo prijungtos paslaugos į vietinį, visada pasiekiamą įrankį." – „Mewayz“ vyresnysis kūrėjas

Poveikis tokioms platformoms kaip Mewayz

Modulinei verslo operacinei sistemai, tokiai kaip Mewayz, šis technologinis šuolis yra transformacinis. Įsivaizduokite išmaniuosius balso agentus savo verslo programinėje įrangoje, kurie gali padėti kurti el. laiškų juodraščius, valdyti sudėtingus projektų terminus arba analizuoti duomenis – visa tai vyksta natūraliai pokalbyje, nepakenkiant jautriems įmonės duomenims. „Mewayz“ modulis, maitinamas vietinio „PersonaPlex 7B“, gali pasiūlyti:

Beprecedentis privatumas tvarkant konfidencialią verslo informaciją, realiojo laiko bendradarbiavimo pagalbinės priemonės, kurios jaučiasi lyg kolega ekspertas kambaryje, ir labai greitai reaguojantys klientų aptarnavimo robotai, integruoti tiesiai į įmonės „Mewayz“ darbo sritį. Ši technologija leidžia „Mewayz“ peržengti verslo OS ribas ir pereiti ne tik į paprastas komandomis pagrįstas sąsajas, bet ir iki tikrai bendraujančių ir išmaniųjų sistemų, kurios saugiai ir efektyviai padidina žmogaus galimybes.

Nvidia „PersonaPlex 7B“, neapdorotos „Apple Silicon“ galios ir „Swift“ elegancijos derinys yra daugiau nei tik techninė demonstracinė versija; tai ateities žmogaus ir kompiuterio sąveikos planas. Tai žada pasaulį, kuriame mūsų įrenginiai mus supras ne kaip įsakymus duodančius vadus, o kaip pokalbio partnerius.

Dažniausiai užduodami klausimai

Pristatome naują balso AI sieną

Dirbtinio intelekto peizažas iš debesies krypsta į kraštą, o „Apple Silicon“ pirmauja. Kūrėjams galimybė paleisti galingus modelius vietoje atveria naują jautrių, privačių ir neprisijungus veikiančių programų galimybių pasaulį. Įveskite „Nvidia“ „PersonaPlex 7B“ – pažangiausią modelį, sukurtą natūraliam, išraiškingam pokalbio AI. Kai šis galingas modelis yra suporuotas su M serijos „Mac“ neuroniniu varikliu ir supaprastintu „Swift“ diegimu, rezultatas yra realiojo laiko dvipusės kalbos ir kalbos sąveikos proveržis.

Kas yra dvipusis kalbėjimas į kalbą?

Prieš pasineriant į techninę magiją, labai svarbu suprasti „viso dvipusio“ komponentą. Skirtingai nuo paprastų balso padėjėjų, kuriems reikia paspausti mygtuką ir laukti atsakymo, dvipusė sąveika imituoja natūralų žmogaus pokalbį. Tai leidžia vienu metu kalbėti ir klausytis, įgalinant pertraukimus, pauzes ir tikrą dialogą pirmyn ir atgal. Tai reiškia, kad dirbtinis intelektas gali apdoroti tai, ką sakote, kol jūs kalbate, ir suformuluoti atsakymą, kuris prasideda tą akimirką, kai baigiate, arba net švelniai įsiterpti, jei pristabdote. Tai pasiekti vietiniame įrenginyje, nesiunčiant garso į tolimą serverį, yra šventasis gralis kuriant sklandžią ir intuityvią naudotojo patirtį.

„Apple Silicon“ vieningos architektūros panaudojimas

Svarbiausia, kad tai būtų įmanoma nešiojamajame arba staliniame kompiuteryje, yra unikali Apple Silicon architektūra. M serijos lustai sujungia procesorių, GPU ir galingą neuronų variklį (NE) viename silicio gabale. Ši vieninga atminties architektūra idealiai tinka mašininio mokymosi darbo krūviams. Dideli modeliai, tokie kaip „PersonaPlex 7B“, gali būti įkeliami tiesiai į bendrinamą atmintį, todėl procesorius gali tvarkyti „Swift“ programos logiką, grafikos procesorius paspartinti tam tikrus skaičiavimus, o neuroninis variklis itin efektyviai perplėšti pagrindines modelio tenzorines operacijas. Ši sinergija pašalina kliūtis, trukdančias perkelti duomenis tarp atskirų komponentų, todėl išvados realiuoju laiku daromos ne tik įmanomos, bet ir sklandžiai bei efektyviai naudojant energiją.

Vamzdyno tiesimas naudojant „Swift“

Šio dvipusio dujotiekio sukūrimas naudojant „Swift“ apima kelių komponentų suderinimą. Pirma, AVFoundation sistema fiksuoja garso įvestį iš mikrofono. Tada šis garso srautas konvertuojamas į tekstą naudojant vietinį kalbos atpažinimo modelį, pvz., „Apple“ įrenginyje esančią kalbos sistemą. Gautas tekstas įvedamas į Nvidia PersonaPlex 7B modelį, kuris buvo optimizuotas veikti naudojant Core ML arba kitą su Swift suderinamą išvadų variklį, pvz., MLX. Modelis sukuria apgalvotą, kontekstą suvokiantį tekstinį atsakymą. Galiausiai šis tekstas vėl paverčiamas tikroviška kalba naudojant vietinį teksto į kalbą (TTS) variklį. Tikrasis iššūkis yra vienu metu valdyti šiuos komponentus, kad būtų pasiektas visiškas dvipusis efektas – tai užduotis, kai modernus „Swift“ lygiagretumo modelis su asinchronizacija / laukimas yra puikus.

Poveikis tokioms platformoms kaip Mewayz

Modulinei verslo operacinei sistemai, tokiai kaip Mewayz, šis technologinis šuolis yra transformacinis. Įsivaizduokite išmaniuosius balso agentus savo verslo programinėje įrangoje, kurie gali padėti kurti el. laiškų juodraščius, valdyti sudėtingus projektų terminus arba analizuoti duomenis – visa tai vyksta natūraliai pokalbyje, nepakenkiant jautriems įmonės duomenims. „Mewayz“ modulis, maitinamas vietinio „PersonaPlex 7B“, gali pasiūlyti: