Nvidia PersonaPlex 7B uz Apple Silicon: pilna dupleksa runas pārvēršana programmā Swift

Iepazīstinām ar jauno balss AI robežu

Mākslīgā intelekta ainava pāriet no mākoņa uz malu, un Apple Silicon ir vadošā loma. Izstrādātājiem iespēja palaist jaudīgus modeļus lokāli paver jaunu iespēju pasauli atsaucīgām, privātām un bezsaistes lietojumprogrammām. Ievadiet Nvidia PersonaPlex 7B — vismodernāko modeli, kas paredzēts dabiskai, izteiksmīgai sarunvalodas AI. Ja šis jaudīgais modelis ir savienots pārī ar M sērijas Mac datora neironu dzinēja spējām un pilnveidotu Swift ieviešanu, rezultāts ir izrāviens reāllaika, pilna dupleksa runas-runas mijiedarbībā.

Kas ir pilnas dupleksās runas pārvēršana runā?

Pirms iedziļināties tehniskajā maģijā, ir ļoti svarīgi saprast "pilndupleksa" komponentu. Atšķirībā no vienkāršiem balss palīgiem, kuriem ir jānospiež poga un jāgaida atbilde, pilndupleksā mijiedarbība atdarina dabisku cilvēka sarunu. Tas ļauj vienlaikus runāt un klausīties, nodrošinot pārtraukumus, pauzes un patiesu dialogu turp un atpakaļ. Tas nozīmē, ka mākslīgais intelekts var apstrādāt jūsu sakāmo, kamēr jūs joprojām runājat, un noformulēt atbildi, kas sākas brīdī, kad pabeidzat, vai pat viegli iejaukties, ja pauzējat. To sasniegšana vietējā ierīcē, nenosūtot audio uz attālu serveri, ir svētais grāls, lai radītu netraucētu un intuitīvu lietotāja pieredzi.

Apple Silicon vienotās arhitektūras izmantošana

Atslēga, lai to padarītu iespējamu klēpjdatorā vai galddatorā, ir Apple Silicon unikālā arhitektūra. M sērijas mikroshēmas apvieno centrālo procesoru, GPU un jaudīgu neironu dzinēju (NE) uz viena silīcija gabala. Šī vienotā atmiņas arhitektūra ir ideāli piemērota mašīnmācīšanās darba slodzei. Lielus modeļus, piemēram, PersonaPlex 7B, var tieši ielādēt koplietojamā atmiņā, ļaujot CPU apstrādāt lietojumprogrammu loģiku programmā Swift, GPU paātrināt noteiktus aprēķinus un neironu dzinējam ārkārtīgi efektīvi izjaukt modeļa galvenās tenzora darbības. Šī sinerģija novērš vājās vietas datu pārvietošanā starp atsevišķiem komponentiem, padarot reāllaika secinājumus ne tikai iespējamus, bet arī vienmērīgus un energoefektīvus.

• Konfidencialitāte un ātrums: visa apstrāde notiek lokāli ierīcē. Jūsu sensitīvās sarunas nekad netiek nosūtītas uz mākoni, nodrošinot pilnīgu datu konfidencialitāti, vienlaikus gūstot labumu no gandrīz nulles latentuma.
• Bezsaistes funkcionalitāte: lietojumprogrammas, kas izveidotas ar šo steku, darbojas jebkurā vietā, bez interneta savienojuma, padarot tās neticami uzticamas.
• Vietējā veiktspēja: izmantojot Swift un vietējos ietvarus, piemēram, Core ML, tiek nodrošināta dziļa integrācija ar macOS, tādējādi nodrošinot nevainojami gludu pieredzi, kas ir daļa no pašas operētājsistēmas.

Cauruļvada izveide, izmantojot Swift

Šī pilna dupleksa konveijera izveide programmā Swift ietver vairāku komponentu orķestrēšanu. Pirmkārt, ietvars AVFoundation uztver audio ievadi no mikrofona. Pēc tam šī audio straume tiek pārveidota par tekstu, izmantojot vietējo runas atpazīšanas modeli, piemēram, Apple ierīcē iebūvēto runas sistēmu. Iegūtais teksts tiek ievadīts Nvidia PersonaPlex 7B modelī, kas ir optimizēts darbam, izmantojot Core ML vai citu ar Swift saderīgu secinājumu dzinēju, piemēram, MLX. Modelis ģenerē pārdomātu, kontekstam atbilstošu teksta atbildi. Visbeidzot, šis teksts tiek pārveidots par reālistisku runu, izmantojot vietējo teksta pārvēršanas runā (TTS) dzinēju. Patiesais izaicinājums ir šo komponentu vienlaicīga pārvaldīšana, lai panāktu pilna dupleksa efektu — tas ir uzdevums, kurā Swift modernais vienlaicības modelis ar async/await ir izcils.

"Iespēja lokāli palaist šāda kalibra modeli Apple Silicon, būtiski maina to, kā mēs domājam par AI integrēšanu mūsu ikdienas darbplūsmās. Tā pārceļ AI no savienota pakalpojuma uz vietējo, vienmēr pieejamu rīku." – Mewayz

vecākais izstrādātājs

Ietekme uz tādām platformām kā Mewayz

Modulārai biznesa operētājsistēmai, piemēram, Mewayz, šis tehnoloģiskais lēciens ir pārveidojošs. Iedomājieties viedos balss aģentus savā biznesa programmatūrā, kas var palīdzēt jums izveidot e-pasta ziņojumu uzmetumus, pārvaldīt sarežģītus projektu grafikus vai analizēt datus — tas viss notiek dabiskās sarunās, nekad neapdraudot sensitīvus uzņēmuma datus. Mewayz modulis, ko darbina vietējais PersonaPlex 7B, varētu piedāvāt:

Bezprecedenta konfidencialitāte, apstrādājot konfidenciālu biznesa informāciju, reāllaika sadarbības palīglīdzekļi, kas rada sajūtu, ka telpā ir eksperts kolēģis, un ļoti atsaucīgi klientu atbalsta roboti, kas ir integrēti tieši uzņēmuma Mewayz darbvietā. Šī tehnoloģija ļauj Mewayz paplašināt biznesa operētājsistēmas iespējas, pārejot ne tikai uz vienkāršām, uz komandu balstītām saskarnēm, bet arī uz patiesi sarunvalodas un inteliģentām sistēmām, kas droši un efektīvi paplašina cilvēka spējas.

Nvidia PersonaPlex 7B, Apple Silicon neapstrādātā jaudas un Swift elegances kombinācija ir kas vairāk nekā tikai tehniska demonstrācija; tas ir cilvēka un datora mijiedarbības nākotnes plāns. Tas sola pasauli, kurā mūsu ierīces mūs saprot nevis kā komandierus, kas dod pavēles, bet gan kā sarunu partnerus.

Bieži uzdotie jautājumi

Iepazīstinām ar jauno balss AI robežu

Mākslīgā intelekta ainava pāriet no mākoņa uz malu, un Apple Silicon ir vadošā loma. Izstrādātājiem iespēja palaist jaudīgus modeļus lokāli paver jaunu iespēju pasauli atsaucīgām, privātām un bezsaistes lietojumprogrammām. Ievadiet Nvidia PersonaPlex 7B — vismodernāko modeli, kas paredzēts dabiskai, izteiksmīgai sarunvalodas AI. Ja šis jaudīgais modelis ir savienots pārī ar M sērijas Mac datora neironu dzinēja spējām un pilnveidotu Swift ieviešanu, rezultāts ir izrāviens reāllaika, pilna dupleksa runas-runas mijiedarbībā.

Kas ir pilnas dupleksās runas pārvēršana runā?

Pirms iedziļināties tehniskajā maģijā, ir ļoti svarīgi saprast "pilndupleksa" komponentu. Atšķirībā no vienkāršiem balss palīgiem, kuriem ir jānospiež poga un jāgaida atbilde, pilndupleksā mijiedarbība atdarina dabisku cilvēka sarunu. Tas ļauj vienlaikus runāt un klausīties, nodrošinot pārtraukumus, pauzes un patiesu dialogu turp un atpakaļ. Tas nozīmē, ka mākslīgais intelekts var apstrādāt jūsu sakāmo, kamēr jūs joprojām runājat, un noformulēt atbildi, kas sākas brīdī, kad pabeidzat, vai pat viegli iejaukties, ja pauzējat. To sasniegšana vietējā ierīcē, nenosūtot audio uz attālu serveri, ir svētais grāls, lai radītu netraucētu un intuitīvu lietotāja pieredzi.

Apple Silicon vienotās arhitektūras izmantošana

Atslēga, lai to padarītu iespējamu klēpjdatorā vai galddatorā, ir Apple Silicon unikālā arhitektūra. M sērijas mikroshēmas apvieno centrālo procesoru, GPU un jaudīgu neironu dzinēju (NE) uz viena silīcija gabala. Šī vienotā atmiņas arhitektūra ir ideāli piemērota mašīnmācīšanās darba slodzei. Lielus modeļus, piemēram, PersonaPlex 7B, var tieši ielādēt koplietojamā atmiņā, ļaujot CPU apstrādāt lietojumprogrammu loģiku programmā Swift, GPU paātrināt noteiktus aprēķinus un neironu dzinējam ārkārtīgi efektīvi izjaukt modeļa galvenās tenzora darbības. Šī sinerģija novērš vājās vietas datu pārvietošanā starp atsevišķiem komponentiem, padarot reāllaika secinājumus ne tikai iespējamus, bet arī vienmērīgus un energoefektīvus.

Cauruļvada izveide, izmantojot Swift

Šī pilna dupleksa konveijera izveide programmā Swift ietver vairāku komponentu orķestrēšanu. Pirmkārt, AVFoundation sistēma uztver audio ievadi no mikrofona. Pēc tam šī audio straume tiek pārveidota par tekstu, izmantojot vietējo runas atpazīšanas modeli, piemēram, Apple ierīcē iebūvēto runas sistēmu. Iegūtais teksts tiek ievadīts Nvidia PersonaPlex 7B modelī, kas ir optimizēts darbam, izmantojot Core ML vai citu ar Swift saderīgu secinājumu dzinēju, piemēram, MLX. Modelis ģenerē pārdomātu, kontekstam atbilstošu teksta atbildi. Visbeidzot, šis teksts tiek pārveidots par reālistisku runu, izmantojot vietējo teksta pārvēršanas runā (TTS) dzinēju. Patiesais izaicinājums ir šo komponentu vienlaicīga pārvaldība, lai sasniegtu pilndupleksa efektu — tas ir uzdevums, kurā Swift modernais vienlaicības modelis ar async/await ir izcils.

Ietekme uz tādām platformām kā Mewayz

Modulārai biznesa operētājsistēmai, piemēram, Mewayz, šis tehnoloģiskais lēciens ir pārveidojošs. Iedomājieties viedos balss aģentus savā biznesa programmatūrā, kas var palīdzēt jums izveidot e-pasta ziņojumu uzmetumus, pārvaldīt sarežģītus projektu grafikus vai analizēt datus — tas viss notiek dabiskās sarunās, nekad neapdraudot sensitīvus uzņēmuma datus. Mewayz modulis, ko darbina vietējais PersonaPlex 7B, varētu piedāvāt: