Nvidia PersonaPlex 7B នៅលើ Apple Silicon: Full-Duplex Speech-to-Speech in Swift

ការណែនាំអំពី Frontier ថ្មីនៃ Voice AI

ទិដ្ឋភាពនៃបញ្ញាសិប្បនិម្មិតកំពុងផ្លាស់ប្តូរពីពពកទៅគែម ហើយ Apple Silicon កំពុងនាំមុខគេ។ សម្រាប់អ្នកអភិវឌ្ឍន៍ សមត្ថភាពក្នុងការដំណើរការគំរូដ៏មានអានុភាពនៅក្នុងស្រុកបើកនូវពិភពថ្មីនៃលទ្ធភាពសម្រាប់កម្មវិធីដែលមានសមត្ថភាពឆ្លើយតប ឯកជន និងក្រៅបណ្តាញ។ បញ្ចូល PersonaPlex 7B របស់ Nvidia ដែលជាម៉ូដែលទំនើបបំផុតដែលត្រូវបានរចនាឡើងសម្រាប់ AI ការសន្ទនាបែបធម្មជាតិ។ នៅពេលដែលគំរូដ៏មានអានុភាពនេះត្រូវបានផ្គូផ្គងជាមួយនឹងកម្លាំងម៉ាស៊ីនសរសៃប្រសាទនៃ M-series Mac និងការអនុវត្ត Swift ប្រកបដោយប្រសិទ្ធភាព លទ្ធផលគឺការទម្លាយនៃអន្តរកម្មការនិយាយទៅការនិយាយពេញម៉ោងពិតប្រាកដ។

តើ​អ្វី​ទៅ​ជា​ការ​និយាយ​ទៅ​ការ​និយាយ​ពេញ​ពីរ​ជាន់?

មុននឹងចូលទៅក្នុងវេទមន្តបច្ចេកទេស វាជារឿងសំខាន់ក្នុងការយល់ដឹងអំពីសមាសធាតុ "full-duplex" ។ មិនដូចជំនួយការសំឡេងសាមញ្ញដែលតម្រូវឱ្យអ្នកចុចប៊ូតុងមួយហើយរង់ចាំការឆ្លើយតបទេ អន្តរកម្មពេញលេញធ្វើត្រាប់តាមការសន្ទនារបស់មនុស្សធម្មជាតិ។ វាអនុញ្ញាតឱ្យមានការនិយាយ និងស្តាប់ក្នុងពេលដំណាលគ្នា ធ្វើឱ្យមានការរំខាន ការផ្អាក និងការសន្ទនាទៅវិញទៅមកពិតប្រាកដ។ នេះមានន័យថា AI អាចដំណើរការអ្វីដែលអ្នកកំពុងនិយាយ ខណៈពេលដែលអ្នកកំពុងនិយាយ ហើយបង្កើតការឆ្លើយតបដែលចាប់ផ្តើមនៅពេលអ្នកបញ្ចប់ ឬសូម្បីតែធ្វើការស្ទាបអង្អែលដោយថ្នមៗ ប្រសិនបើអ្នកផ្អាក។ ការសម្រេចបាននូវចំណុចនេះនៅលើឧបករណ៍ក្នុងតំបន់ ដោយមិនចាំបាច់ផ្ញើសំឡេងទៅកាន់ម៉ាស៊ីនមេពីចម្ងាយ គឺជាផ្ទាំងថ្មដ៏បរិសុទ្ធសម្រាប់បង្កើតបទពិសោធន៍អ្នកប្រើប្រាស់ប្រកបដោយភាពរលូន និងវិចារណញាណ។

ការប្រើប្រាស់ស្ថាបត្យកម្មបង្រួបបង្រួមរបស់ Apple Silicon

គន្លឹះក្នុងការធ្វើឱ្យវាអាចទៅរួចនៅលើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រលើតុ គឺជាស្ថាបត្យកម្មតែមួយគត់របស់ Apple Silicon ។ បន្ទះសៀគ្វី M-series រួមបញ្ចូលគ្នានូវ CPU, GPU, និង Neural Engine (NE) ដែលមានអនុភាពនៅលើស៊ីលីកុនតែមួយ។ ស្ថាបត្យកម្មអង្គចងចាំបង្រួបបង្រួមនេះគឺល្អសម្រាប់បន្ទុកការងាររបស់ម៉ាស៊ីន។ ម៉ូដែលធំៗដូចជា PersonaPlex 7B អាចត្រូវបានផ្ទុកដោយផ្ទាល់ទៅក្នុងអង្គចងចាំដែលបានចែករំលែក ដែលអនុញ្ញាតឱ្យស៊ីភីយូគ្រប់គ្រងតក្កវិជ្ជាកម្មវិធីនៅក្នុង Swift, GPU ដើម្បីបង្កើនល្បឿននៃការគណនាជាក់លាក់ និងម៉ាស៊ីន Neural ដើម្បីហែកតាមរយៈប្រតិបត្តិការស្នូលនៃម៉ូដែលជាមួយនឹងប្រសិទ្ធភាពបំផុត។ ភាពស៊ីសង្វាក់គ្នានេះលុបបំបាត់ការជាប់គាំងនៃការផ្លាស់ប្តូរទិន្នន័យរវាងសមាសធាតុដាច់ដោយឡែក ធ្វើឱ្យការសន្និដ្ឋានតាមពេលវេលាជាក់ស្តែងមិនត្រឹមតែអាចធ្វើទៅបានប៉ុណ្ណោះទេ ប៉ុន្តែរលូន និងសន្សំសំចៃថាមពល។

• ឯកជនភាព និងល្បឿន៖ ដំណើរការទាំងអស់កើតឡើងក្នុងមូលដ្ឋាននៅលើឧបករណ៍។ ការសន្ទនាដ៏រសើបរបស់អ្នកមិនត្រូវបានផ្ញើទៅកាន់ពពកទេ ដោយធានានូវភាពឯកជននៃទិន្នន័យពេញលេញ ខណៈពេលដែលទទួលបានអត្ថប្រយោជន៍ពីភាពយឺតយ៉ាវជិតសូន្យ។
• មុខងារក្រៅបណ្តាញ៖ កម្មវិធីដែលបង្កើតឡើងជាមួយនឹងជង់នេះដំណើរការបានគ្រប់ទីកន្លែង ដោយគ្មានការតភ្ជាប់អ៊ីធឺណិត ដែលធ្វើឱ្យពួកវាមានភាពជឿជាក់មិនគួរឱ្យជឿ។
• ដំណើរការដើម៖ ការប្រើប្រាស់ Swift និងក្របខ័ណ្ឌដើមដូចជា Core ML អនុញ្ញាតឱ្យមានការរួមបញ្ចូលយ៉ាងស៊ីជម្រៅជាមួយ macOS ដែលបណ្តាលឱ្យមានបទពិសោធន៍ដ៏រលូនដែលមានអារម្មណ៍ថាជាផ្នែកមួយនៃប្រព័ន្ធប្រតិបត្តិការខ្លួនឯង។

សាងសង់បំពង់បង្ហូរប្រេងជាមួយ Swift

ការ​បង្កើត​បំពង់​បង្ហូរ​ពីរ​ជាន់​ពេញ​នេះ​ក្នុង Swift ជាប់​ពាក់ព័ន្ធ​នឹង​ការ​រៀបចំ​ផ្នែក​មួយ​ចំនួន។ ដំបូង ក្របខ័ណ្ឌ AVFoundation ចាប់យកការបញ្ចូលសំឡេងពីមីក្រូហ្វូន។ បន្ទាប់មកស្ទ្រីមអូឌីយ៉ូនេះត្រូវបានបំប្លែងទៅជាអត្ថបទដោយប្រើគំរូការទទួលស្គាល់ការនិយាយក្នុងតំបន់ ដូចជាក្របខ័ណ្ឌការនិយាយនៅលើឧបករណ៍របស់ Apple ជាដើម។ អត្ថបទលទ្ធផលត្រូវបានបញ្ចូលទៅក្នុងគំរូ Nvidia PersonaPlex 7B ដែលត្រូវបានធ្វើឱ្យប្រសើរឡើងដើម្បីដំណើរការតាមរយៈ Core ML ឬម៉ាស៊ីនសនិទានដែលឆបគ្នាជាមួយ Swift ដូចជា MLX ។ គំរូបង្កើតការឆ្លើយតបជាអត្ថបទដែលយល់ដឹងអំពីបរិបទ។ ជាចុងក្រោយ អត្ថបទនេះត្រូវបានបំប្លែងទៅជាការនិយាយដ៏រស់រវើកដោយប្រើម៉ាស៊ីនអត្ថបទទៅការនិយាយ (TTS) ក្នុងតំបន់។ បញ្ហាប្រឈមពិតប្រាកដគឺនៅក្នុងការគ្រប់គ្រងសមាសធាតុទាំងនេះក្នុងពេលដំណាលគ្នាដើម្បីសម្រេចបាននូវប្រសិទ្ធិភាពពេញលេញ - ជាកិច្ចការដែលគំរូស្របគ្នាទំនើបរបស់ Swift ជាមួយ async/await excels។

"សមត្ថភាពក្នុងការដំណើរការគំរូនៃសមត្ថភាពនេះនៅក្នុងមូលដ្ឋាននៅលើ Apple Silicon ជាមូលដ្ឋានផ្លាស់ប្តូររបៀបដែលយើងគិតអំពីការរួមបញ្ចូល AI ទៅក្នុងលំហូរការងារប្រចាំថ្ងៃរបស់យើង។ វាផ្លាស់ទី AI ពីសេវាកម្មដែលបានភ្ជាប់ទៅឧបករណ៍ដើមដែលមានជានិច្ច។" - អ្នកអភិវឌ្ឍន៍ជាន់ខ្ពស់នៅ Mewayz

ផលប៉ះពាល់សម្រាប់វេទិកាដូចជា Mewayz

សម្រាប់ប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មបែបម៉ូឌុលដូចជា Mewayz ការលោតផ្លោះបច្ចេកវិទ្យានេះគឺមានការផ្លាស់ប្តូរ។ ស្រមៃមើលភ្នាក់ងារសំឡេងឆ្លាតវៃនៅក្នុងកម្មវិធីអាជីវកម្មរបស់អ្នក ដែលអាចជួយអ្នកពង្រាងអ៊ីមែល គ្រប់គ្រងការកំណត់ពេលវេលាគម្រោងដ៏ស្មុគស្មាញ ឬវិភាគទិន្នន័យ តាមរយៈការសន្ទនាធម្មជាតិ ដោយមិនប៉ះពាល់ដល់ទិន្នន័យសាជីវកម្មដ៏រសើបឡើយ។ ម៉ូឌុល Mewayz ដំណើរការដោយ PersonaPlex 7B ក្នុងស្រុកអាចផ្តល់ជូន៖

ភាពឯកជនដែលមិនធ្លាប់មានពីមុនមកសម្រាប់ការគ្រប់គ្រងព័ត៌មានអាជីវកម្មសម្ងាត់ ជំនួយការសហការក្នុងពេលជាក់ស្តែងដែលមានអារម្មណ៍ថាដូចជាមានមិត្តរួមការងារជំនាញនៅក្នុងបន្ទប់ និងរូបយន្តជំនួយអតិថិជនដែលមានការឆ្លើយតបខ្ពស់ដែលរួមបញ្ចូលដោយផ្ទាល់ទៅក្នុងកន្លែងធ្វើការ Mewayz របស់ក្រុមហ៊ុន។ បច្ចេកវិទ្យានេះអនុញ្ញាតឱ្យ Mewayz ជំរុញព្រំដែននៃអ្វីដែលប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មអាចធ្វើបាន ដោយផ្លាស់ប្តូរលើសពីចំណុចប្រទាក់ដែលមានមូលដ្ឋានលើពាក្យបញ្ជាសាមញ្ញទៅកាន់ប្រព័ន្ធសន្ទនា និងឆ្លាតវៃពិតប្រាកដ ដែលបង្កើនសមត្ថភាពរបស់មនុស្សប្រកបដោយសុវត្ថិភាព និងប្រសិទ្ធភាព។

ការរួមបញ្ចូលគ្នានៃ PersonaPlex 7B របស់ Nvidia ថាមពលឆៅរបស់ Apple Silicon និងភាពឆើតឆាយរបស់ Swift គឺច្រើនជាងគ្រាន់តែជាការបង្ហាញបច្ចេកទេសប៉ុណ្ណោះ។ វាជាប្លង់មេសម្រាប់អនាគតនៃអន្តរកម្មរវាងមនុស្ស និងកុំព្យូទ័រ។ វាសន្យាពិភពលោកមួយដែលឧបករណ៍របស់យើងយល់ពីយើងមិនមែនជាមេបញ្ជាការដែលផ្តល់ការបញ្ជានោះទេ ប៉ុន្តែជាដៃគូក្នុងការសន្ទនា។

សំណួរដែលគេសួរញឹកញាប់

ការណែនាំអំពី Frontier ថ្មីនៃ Voice AI

ទិដ្ឋភាពនៃបញ្ញាសិប្បនិម្មិតកំពុងផ្លាស់ប្តូរពីពពកទៅគែម ហើយ Apple Silicon កំពុងនាំមុខគេ។ សម្រាប់អ្នកអភិវឌ្ឍន៍ សមត្ថភាពក្នុងការដំណើរការគំរូដ៏មានអានុភាពនៅក្នុងស្រុកបើកនូវពិភពថ្មីនៃលទ្ធភាពសម្រាប់កម្មវិធីដែលមានសមត្ថភាពឆ្លើយតប ឯកជន និងក្រៅបណ្តាញ។ បញ្ចូល PersonaPlex 7B របស់ Nvidia ដែលជាម៉ូដែលទំនើបបំផុតដែលត្រូវបានរចនាឡើងសម្រាប់ AI ការសន្ទនាបែបធម្មជាតិ។ នៅពេលដែលគំរូដ៏មានអានុភាពនេះត្រូវបានផ្គូផ្គងជាមួយនឹងកម្លាំងម៉ាស៊ីនសរសៃប្រសាទនៃ M-series Mac និងការអនុវត្ត Swift ប្រកបដោយប្រសិទ្ធភាព លទ្ធផលគឺការទម្លាយនៃអន្តរកម្មការនិយាយទៅការនិយាយពេញម៉ោងពិតប្រាកដ។

តើ​អ្វី​ទៅ​ជា​ពាក្យ​ពេញ​ពីរ​ជាន់​ពី​ការ​និយាយ​ទៅ​ការ​និយាយ?

មុននឹងចូលទៅក្នុងវេទមន្តបច្ចេកទេស វាជារឿងសំខាន់ក្នុងការយល់ដឹងអំពីសមាសធាតុ "full-duplex" ។ មិនដូចជំនួយការសំឡេងសាមញ្ញដែលតម្រូវឱ្យអ្នកចុចប៊ូតុងមួយហើយរង់ចាំការឆ្លើយតបទេ អន្តរកម្មពេញលេញធ្វើត្រាប់តាមការសន្ទនារបស់មនុស្សធម្មជាតិ។ វាអនុញ្ញាតឱ្យមានការនិយាយ និងស្តាប់ក្នុងពេលដំណាលគ្នា ធ្វើឱ្យមានការរំខាន ការផ្អាក និងការសន្ទនាទៅវិញទៅមកពិតប្រាកដ។ នេះមានន័យថា AI អាចដំណើរការអ្វីដែលអ្នកកំពុងនិយាយ ខណៈពេលដែលអ្នកកំពុងនិយាយ ហើយបង្កើតការឆ្លើយតបដែលចាប់ផ្តើមនៅពេលអ្នកបញ្ចប់ ឬសូម្បីតែធ្វើការស្ទាបអង្អែលដោយថ្នមៗ ប្រសិនបើអ្នកផ្អាក។ ការសម្រេចបាននូវចំណុចនេះនៅលើឧបករណ៍ក្នុងតំបន់ ដោយមិនចាំបាច់ផ្ញើសំឡេងទៅកាន់ម៉ាស៊ីនមេពីចម្ងាយ គឺជាផ្ទាំងថ្មដ៏បរិសុទ្ធសម្រាប់បង្កើតបទពិសោធន៍អ្នកប្រើប្រាស់ប្រកបដោយភាពរលូន និងវិចារណញាណ។

ការប្រើប្រាស់ស្ថាបត្យកម្មបង្រួបបង្រួមរបស់ Apple Silicon

គន្លឹះក្នុងការធ្វើឱ្យវាអាចទៅរួចនៅលើកុំព្យូទ័រយួរដៃ ឬកុំព្យូទ័រលើតុ គឺជាស្ថាបត្យកម្មតែមួយគត់របស់ Apple Silicon ។ បន្ទះសៀគ្វី M-series រួមបញ្ចូលគ្នានូវ CPU, GPU, និង Neural Engine (NE) ដែលមានអនុភាពនៅលើស៊ីលីកុនតែមួយ។ ស្ថាបត្យកម្មអង្គចងចាំបង្រួបបង្រួមនេះគឺល្អសម្រាប់បន្ទុកការងាររបស់ម៉ាស៊ីន។ ម៉ូដែលធំៗដូចជា PersonaPlex 7B អាចត្រូវបានផ្ទុកដោយផ្ទាល់ទៅក្នុងអង្គចងចាំដែលបានចែករំលែក ដែលអនុញ្ញាតឱ្យស៊ីភីយូគ្រប់គ្រងតក្កវិជ្ជាកម្មវិធីនៅក្នុង Swift, GPU ដើម្បីបង្កើនល្បឿននៃការគណនាជាក់លាក់ និងម៉ាស៊ីន Neural ដើម្បីហែកតាមរយៈប្រតិបត្តិការស្នូលនៃម៉ូដែលជាមួយនឹងប្រសិទ្ធភាពបំផុត។ ភាពស៊ីសង្វាក់គ្នានេះលុបបំបាត់ការជាប់គាំងនៃការផ្លាស់ប្តូរទិន្នន័យរវាងសមាសធាតុដាច់ដោយឡែក ធ្វើឱ្យការសន្និដ្ឋានតាមពេលវេលាជាក់ស្តែងមិនត្រឹមតែអាចធ្វើទៅបានប៉ុណ្ណោះទេ ប៉ុន្តែរលូន និងសន្សំសំចៃថាមពល។

សាងសង់បំពង់បង្ហូរប្រេងជាមួយ Swift

ការ​បង្កើត​បំពង់​បង្ហូរ​ពីរ​ជាន់​ពេញ​នេះ​ក្នុង Swift ជាប់​ពាក់ព័ន្ធ​នឹង​ការ​រៀបចំ​ផ្នែក​មួយ​ចំនួន។ ដំបូង AVFoundation framework ចាប់យកការបញ្ចូលសំឡេងពីមីក្រូហ្វូន។ បន្ទាប់មកស្ទ្រីមអូឌីយ៉ូនេះត្រូវបានបំប្លែងទៅជាអត្ថបទដោយប្រើគំរូការទទួលស្គាល់ការនិយាយក្នុងតំបន់ ដូចជាក្របខ័ណ្ឌការនិយាយនៅលើឧបករណ៍របស់ Apple ជាដើម។ អត្ថបទលទ្ធផលត្រូវបានបញ្ចូលទៅក្នុងគំរូ Nvidia PersonaPlex 7B ដែលត្រូវបានធ្វើឱ្យប្រសើរឡើងដើម្បីដំណើរការតាមរយៈ Core ML ឬម៉ាស៊ីនសនិទានដែលឆបគ្នាជាមួយ Swift ដូចជា MLX ។ គំរូបង្កើតការឆ្លើយតបជាអត្ថបទដែលយល់ដឹងអំពីបរិបទ។ ជាចុងក្រោយ អត្ថបទនេះត្រូវបានបំប្លែងទៅជាការនិយាយដ៏រស់រវើកដោយប្រើម៉ាស៊ីនអត្ថបទទៅការនិយាយ (TTS) ក្នុងតំបន់។ បញ្ហាប្រឈមពិតប្រាកដគឺនៅក្នុងការគ្រប់គ្រងសមាសធាតុទាំងនេះក្នុងពេលដំណាលគ្នាដើម្បីសម្រេចបាននូវប្រសិទ្ធិភាពពេញលេញ - ជាកិច្ចការដែលគំរូស្របគ្នាទំនើបរបស់ Swift ជាមួយ async/await excels។

ផលប៉ះពាល់សម្រាប់វេទិកាដូចជា Mewayz

សម្រាប់ប្រព័ន្ធប្រតិបត្តិការអាជីវកម្មបែបម៉ូឌុលដូចជា Mewayz ការលោតផ្លោះបច្ចេកវិទ្យានេះគឺមានការផ្លាស់ប្តូរ។ ស្រមៃមើលភ្នាក់ងារសំឡេងឆ្លាតវៃនៅក្នុងកម្មវិធីអាជីវកម្មរបស់អ្នក ដែលអាចជួយអ្នកពង្រាងអ៊ីមែល គ្រប់គ្រងការកំណត់ពេលវេលាគម្រោងដ៏ស្មុគស្មាញ ឬវិភាគទិន្នន័យ តាមរយៈការសន្ទនាធម្មជាតិ ដោយមិនប៉ះពាល់ដល់ទិន្នន័យសាជីវកម្មដ៏រសើបឡើយ។ ម៉ូឌុល Mewayz ដំណើរការដោយ PersonaPlex 7B ក្នុងស្រុកអាចផ្តល់ជូន៖