Nvidia PersonaPlex 7B ma Apple Silicon: Full-Duplex Speech-to-Speech ma Swift

Hoʻolauna i ka Frontier Hou o Voice AI

Ke neʻe nei ka ʻāina o ka naʻauao hana mai ke ao a hiki i ka lihi, a ke alakaʻi nei ʻo Apple Silicon i ka hana. No nā mea hoʻomohala, hiki i ka hiki ke holo i nā hiʻohiʻona ikaika ma ka ʻāina e wehe i kahi honua hou o nā hiki no nā noi pane, pilikino, a me waho. E hoʻokomo iā Nvidia's PersonaPlex 7B, kahi hiʻohiʻona hou i hoʻolālā ʻia no ke kamaʻilio kamaʻilio kūlohelohe AI. Ke hoʻohui ʻia kēia ʻano hoʻohālike ikaika me ke akamai ʻenekini neural o ka M-series Mac a me ka hoʻokō ʻana i ka Swift, ʻo ia ka hopena i kahi holomua i ka manawa maoli, piha-duplex haʻi-i-ʻōlelo.

He aha ka Full-Duplex Speech-to-Speech?

Ma mua o ka luʻu ʻana i ka hana kilokilo, he mea koʻikoʻi e hoʻomaopopo i ka ʻāpana "full-duplex". ʻAʻole like me nā mea kōkua leo maʻalahi e koi iā ʻoe e kaomi i kahi pihi a kali i kahi pane, hoʻohālikelike ka pilina piha-duplex i kahi kamaʻilio kanaka maoli. Hiki iā ia ke kamaʻilio a me ka hoʻolohe ʻana i ka manawa like, hiki ke hoʻopau ʻia, hoʻomaha, a me ke kamaʻilio ʻana i hope a i mua. ʻO ia ke ʻano hiki i ka AI ke hoʻoponopono i kāu mea e ʻōlelo nei i kāu ʻōlelo ʻana a hoʻokumu i kahi pane e hoʻomaka ai i ka manawa āu e hoʻopau ai - a i ʻole e hoʻopili mālie inā hoʻomaha ʻoe. ʻO ka hoʻokō ʻana i kēia ma kahi hāmeʻa kūloko, me ka hoʻouna ʻole ʻana i ka leo i kahi kikowaena mamao, ʻo ia ka grail hemolele no ka hana ʻana i nā ʻike mea hoʻohana maʻalahi a intuitive.

Ke hoʻohana nei i kā Apple Silicon's Unified Architecture

ʻO ke kī e hiki ai i kēia ma ka pona a i ʻole ka pākaukau ʻo ia ka hoʻolālā kū hoʻokahi o Apple Silicon. Hoʻohui ka M-series chips i ka CPU, GPU, a me kahi Neural Engine (NE) ikaika ma kahi ʻāpana silika. He kūpono kēia ʻano hoʻomanaʻo hoʻomanaʻo hoʻohui no nā haʻawina aʻo mīkini. Hiki ke hoʻouka pololei ʻia nā hiʻohiʻona nui e like me PersonaPlex 7B i ka hoʻomanaʻo like ʻana, e ʻae ana i ka CPU e mālama i ka loiloi noi ma Swift, ka GPU e hoʻolalelale i kekahi mau helu helu, a me ka Neural Engine e haehae i nā hana tensor kumu o ke kumu hoʻohālike me ka maikaʻi loa. Hoʻopau kēia synergy i nā bottlenecks o ka neʻe ʻana i ka ʻikepili ma waena o nā ʻāpana ʻokoʻa, e hana ana i ka manaʻo manawa maoli ʻaʻole hiki wale ke hiki, akā maʻalahi a me ka ikaika.

• Pūnaewele a me ka wikiwiki: Hana ʻia nā hana āpau ma ka ʻaoʻao ma ka hāmeʻa. ʻAʻole hoʻouna ʻia kāu mau kamaʻilio koʻikoʻi i ke ao, e hōʻoia ana i ka pilikino ʻikepili piha ʻoiai e pōmaikaʻi ana mai ka latency kokoke-zero.
• Hana Pahemo: Ke hana nei nā polokalamu me kēia pūʻulu ma nā wahi ʻē aʻe, me ka ʻole o kahi pilina pūnaewele, e hilinaʻi nui ʻia lākou.
• Native Performance: ʻO ka hoʻohana ʻana i ka Swift a me nā ʻōhua maoli e like me Core ML e hiki ai ke hoʻohui hohonu me ka macOS, e loaʻa ai kahi ʻike maʻemaʻe pata i manaʻo ʻia he ʻāpana o ka ʻōnaehana hana ponoʻī.

Ke kūkulu ʻana i ka Pipeline me Swift

Ke hana ʻana i kēia paipu piha-duplex ma Swift e pili ana i ka hoʻonohonoho ʻana i kekahi mau ʻāpana. ʻO ka mua, ʻo ka AVFoundation framework e hopu i ka hoʻokomo leo mai ka microphone. A laila, hoʻololi ʻia kēia kahawai leo i kikokikona me ka hoʻohana ʻana i kahi kumu hoʻohālike e ʻike ai i ka ʻōlelo kūloko, e like me ka ʻōnaehana Speech ma ka polokalamu Apple. Hāʻawi ʻia ka huaʻōlelo i loko o ke ʻano Nvidia PersonaPlex 7B, i hoʻopaʻa ʻia e holo ma o Core ML a i ʻole kekahi ʻenekini hoʻohālikelike Swift-compatible e like me MLX. Hoʻopuka ke kumu hoʻohālike i ka pane kikokikona noʻonoʻo. ʻO ka hope, ua hoʻololi hou ʻia kēia kikokikona i ʻōlelo like me ke ola me ka hoʻohana ʻana i ka mīkini kikokiko-i-speech (TTS) kūloko. Aia ka paʻakikī maoli i ka mālama ʻana i kēia mau ʻāpana i ka manawa like no ka hoʻokō ʻana i ka hopena full-duplex—he hana kahi i ʻoi aku ai ka ʻano hoʻohālike concurrency hou o Swift me async/await.

"ʻO ka hiki ke holo i kahi hoʻohālike o kēia caliber kūloko ma Apple Silicon e hoʻololi maoli i ke ʻano o ko mākou manaʻo e pili ana i ka hoʻohui ʻana iā AI i loko o kā mākou papa hana i kēlā me kēia lā. Hoʻoneʻe ia iā AI mai kahi lawelawe pili i kahi mea hana maoli, loaʻa mau. " – Mea hoʻomohala kiʻekiʻe ma Mewayz

Ka hopena no nā papahana e like me Mewayz

No ka ʻōnaehana hana ʻoihana modular e like me Mewayz, ua loli kēia lele ʻenehana. E noʻonoʻo i nā ʻelele leo akamai i loko o kāu polokalamu ʻoihana e hiki ke kōkua iā ʻoe e kākau i nā leka uila, e hoʻokele i nā manawa hana paʻakikī, a i ʻole ka nānā ʻana i ka ʻikepili—ma o ke kamaʻilio kūlohelohe ʻana, me ka ʻole o ka hoʻololi ʻana i ka ʻikepili koʻikoʻi o ka hui. Hiki i kahi module Mewayz i hoʻohana ʻia e PersonaPlex 7B kūloko ke hāʻawi:

Ka pilikino i ʻike ʻole ʻia no ka lawelawe ʻana i ka ʻike huna ʻoihana, nā mea kōkua hui manawa maoli e like me ka loaʻa ʻana o kahi hoa hana akamai i loko o ka lumi, a me nā bots kākoʻo mea kūʻai aku i hoʻopili pololei ʻia i loko o kahi wahi hana Mewayz o kahi hui. Hiki i kēia ʻenehana iā Mewayz ke hoʻoikaika i nā palena o ka mea hiki i ka OS ʻoihana ke hana, me ka neʻe ʻana ma waho aʻe o nā pilina maʻalahi ma ke kauoha i nā ʻōnaehana kamaʻilio maoli a me ka naʻauao e hoʻonui ai i ka hiki o ke kanaka me ka palekana a me ka maikaʻi.

ʻO ka hui pū ʻana o Nvidia's PersonaPlex 7B, ka mana maka o Apple Silicon, a me ka nani o Swift ʻoi aku ia ma mua o kahi demo ʻenehana; he hoʻolālā no ka wā e hiki mai ana o ka pilina kanaka me ka lolouila. Hoʻohiki ia i kahi honua kahi e hoʻomaopopo ai kā mākou mau polokalamu iā mākou ʻaʻole ma ke ʻano he luna kauoha, akā ma ke ʻano he mau hoa kamaʻilio.

Nīnau pinepine

Hoʻolauna i ka Frontier Hou o Voice AI

Ke neʻe nei ka ʻāina o ka naʻauao hana mai ke ao a hiki i ka lihi, a ke alakaʻi nei ʻo Apple Silicon i ka hana. No nā mea hoʻomohala, hiki i ka hiki ke holo i nā hiʻohiʻona ikaika ma ka ʻāina e wehe i kahi honua hou o nā hiki no nā noi pane, pilikino, a me waho. E hoʻokomo iā Nvidia's PersonaPlex 7B, kahi hiʻohiʻona hou i hoʻolālā ʻia no ke kamaʻilio kamaʻilio kūlohelohe AI. Ke hoʻohui ʻia kēia ʻano hoʻohālike ikaika me ke akamai ʻenekini neural o ka M-series Mac a me ka hoʻokō ʻana i ka Swift, ʻo ia ka hopena i kahi holomua i ka manawa maoli, piha-duplex haʻi-i-ʻōlelo.

He aha ka Full-Duplex Speech-to-Speech?

Ma mua o ka luʻu ʻana i ka hana kilokilo, he mea koʻikoʻi e hoʻomaopopo i ka ʻāpana "full-duplex". ʻAʻole like me nā mea kōkua leo maʻalahi e koi iā ʻoe e kaomi i kahi pihi a kali i kahi pane, hoʻohālikelike ka pilina piha-duplex i kahi kamaʻilio kanaka maoli. Hiki iā ia ke kamaʻilio a me ka hoʻolohe ʻana i ka manawa like, hiki ke hoʻopau ʻia, hoʻomaha, a me ke kamaʻilio ʻana i hope a i mua. ʻO ia ke ʻano hiki i ka AI ke hoʻoponopono i kāu mea e ʻōlelo nei i kāu ʻōlelo ʻana a hoʻokumu i kahi pane e hoʻomaka ai i ka manawa āu e hoʻopau ai - a i ʻole e hoʻopili mālie inā hoʻomaha ʻoe. ʻO ka hoʻokō ʻana i kēia ma kahi hāmeʻa kūloko, me ka hoʻouna ʻole ʻana i ka leo i kahi kikowaena mamao, ʻo ia ka grail hemolele no ka hana ʻana i nā ʻike mea hoʻohana maʻalahi a intuitive.

Ke hoʻohana nei i kā Apple Silicon's Unified Architecture

ʻO ke kī e hiki ai i kēia ma ka pona a i ʻole ka pākaukau ʻo ia ka hoʻolālā kū hoʻokahi o Apple Silicon. Hoʻohui ka M-series chips i ka CPU, GPU, a me kahi Neural Engine (NE) ikaika ma kahi ʻāpana silika. He kūpono kēia ʻano hoʻomanaʻo hoʻomanaʻo hoʻohui no nā haʻawina aʻo mīkini. Hiki ke hoʻouka pololei ʻia nā hiʻohiʻona nui e like me PersonaPlex 7B i ka hoʻomanaʻo like ʻana, e ʻae ana i ka CPU e mālama i ka loiloi noi ma Swift, ka GPU e hoʻolalelale i kekahi mau helu helu, a me ka Neural Engine e haehae i nā hana tensor kumu o ke kumu hoʻohālike me ka maikaʻi loa. Hoʻopau kēia synergy i nā bottlenecks o ka neʻe ʻana i ka ʻikepili ma waena o nā ʻāpana ʻokoʻa, e hana ana i ka manaʻo manawa maoli ʻaʻole hiki wale ke hiki, akā maʻalahi a me ka ikaika.

Ke kūkulu ʻana i ka Pipeline me Swift

Ke hana ʻana i kēia paipu piha-duplex ma Swift e pili ana i ka hoʻonohonoho ʻana i kekahi mau ʻāpana. ʻO ka mea mua, hopu ka AVFoundation framework i ka hoʻokomo leo mai ka microphone. A laila, hoʻololi ʻia kēia kahawai leo i kikokikona me ka hoʻohana ʻana i kahi kumu hoʻohālike e ʻike ai i ka ʻōlelo kūloko, e like me ka ʻōnaehana Speech ma ka polokalamu Apple. Hāʻawi ʻia ka huaʻōlelo i loko o ke ʻano Nvidia PersonaPlex 7B, i hoʻopaʻa ʻia e holo ma o Core ML a i ʻole kekahi ʻenekini hoʻohālikelike Swift-compatible e like me MLX. Hoʻopuka ke kumu hoʻohālike i ka pane kikokikona noʻonoʻo. ʻO ka hope, ua hoʻololi hou ʻia kēia kikokikona i ʻōlelo like me ke ola me ka hoʻohana ʻana i ka mīkini kikokiko-i-speech (TTS) kūloko. Aia ka paʻakikī maoli i ka mālama ʻana i kēia mau ʻāpana i ka manawa like no ka hoʻokō ʻana i ka hopena piha-duplex—he hana i ʻoi aku ka maikaʻi o ke kumu hoʻohālike hou o Swift me async/kali.

Ka hopena no nā papahana e like me Mewayz

No ka ʻōnaehana hana ʻoihana modular e like me Mewayz, ua loli kēia lele ʻenehana. E noʻonoʻo i nā ʻelele leo akamai i loko o kāu polokalamu ʻoihana e hiki ke kōkua iā ʻoe e kākau i nā leka uila, e hoʻokele i nā manawa hana paʻakikī, a i ʻole ka nānā ʻana i ka ʻikepili—ma o ke kamaʻilio kūlohelohe ʻana, me ka ʻole o ka hoʻololi ʻana i ka ʻikepili koʻikoʻi o ka hui. Hiki i kahi module Mewayz i hoʻohana ʻia e PersonaPlex 7B kūloko ke hāʻawi: