ቀጻሊ ምድብ ካብ ቀዳሞት መትከላት (2025)

ቀጻሊ ምድብ ምድብ (continuous batching) ዳይናሚክ ኢንፈርንስ ስኬዱሊንግ ሜላ ኮይኑ፡ ሓደ ስሎት ሓራ ኣብ ዝወጸሉ ህሞት ሓደስቲ ሕቶታት ኣብ ንጡፍ መስርሕ ዕስለ ብምእታው፡ ኣብ መንጎ ስራሓት ስራሕ ኣልቦ ዑደታት ምሕሳብ የወግድ፡ ንውጽኢት ሃርድዌር ናብ ዝለዓለ ደረጃ ዘብጽሕ። ካብ ቀዳሞት መትከላት ምርዳእ፡ ስለምንታይ ኣብ 2025 ብዓቐን ዝተዘርግሐ ነፍሲ ወከፍ ልዑል ብቕዓት ዘለዎ AI ኣገልግሎት ዝህብ ስርዓት መሰረታዊ ስነ ህንጻ ኮይኑ ከምዘሎ ይገልጽ።

ቀጻሊ ምድብ ምድብ ብልክዕ እንታይ እዩ ስለምንታይን ስታትቲክ ምድብ ምድብ ፈሺሉ?

ቀጻሊ ምድብ ምድብ ንምድናቕ መጀመርታ እንታይ ከም ዝተክኦ ክትግንዘብ ኣለካ። ባህላዊ ስታትቲክ ምድብ ንውሱን ቁጽሪ ሕቶታት ብሓባር ይጥርንፎ፣ ከም ሓደ ኣሃዱ የሰላስሎ፣ ሓደስቲ ሕቶታት ድማ ምሉእ ዕስለ ምስተወድአ ጥራይ እዩ ዝቕበል። እቲ ወሳኒ ጉድለት ዓበይቲ ሞዴላት ቋንቋ ተለዋዋጢ ንውሓት ዘለዎም ቶከናት ምፍራይ እዩ — ሓደ ሕቶ ድሕሪ 20 ቶከናት ክቋረጽ ይኽእል እዩ ካልእ ኣብ ተመሳሳሊ ዕስለ ዘሎ ድማ ን2,000 ክጎዪ ይኽእል። ኣብቲ ክላስተር ዘሎ ኩሉ GPU ቅድሚ ዝኾነ ሓድሽ ስራሕ ምጅማሩ እቲ ዝነውሐ መስርዕ ክሳብ ዝውዳእ ስራሕ ኣልቦ ኮፍ ይብል።

| ኣብ ክንዲ ብደረጃ ሕቶ ኣብ ደረጃ ምድግጋም እዩ ዝሰርሕ። ድሕሪ ነፍሲ ወከፍ ንጽል ንቕድሚት ብሞዴል ምሕላፍ፡ እቲ መደብ ዝሰርሕ ዝኾነ መስርዕ ኣብቲ ናይ መወዳእታ መስርዕ ቶከኑ በጺሑ ድዩ ኣይበጽሐን ይምርምር። እንተሃልይዎ፡ እቲ ስሎት ብኡንብኡ ተመሊሱ ናብ ሪጋ ዝኣተወ ሕቶ ይምደብ — ምጽባይ የለን፡ ብኽነት የለን። እቲ ናይ ዕስለ ውህደት ምስ ነፍሲ ወከፍ ናይ ዲኮድ ስጉምቲ ብፈሳሲ ይቕየር፣ ኣጠቓቕማ ሃርድዌር ኣብ ኩሉ ግዜ ናብ ክልሰ-ሓሳባዊ ዝለዓለ ደረጃ ይቐርብ።

እቲ KV Cache ምስ ቀጻሊ Batching ብደረጃ ስርዓት ብኸመይ ይራኸብ?

እቲ ቁልፊ-ዋጋ መኽዘን ንመደምደምታ ትራንስፎርመር ትራክተብል ዝገብሮ ናይ መዘክር ኣቃውማ እዩ። ንነፍሲ ወከፍ ዝስራሕ ቶከን፡ እቲ ሞዴል ስዒቦም ዝመጹ ቶከናት ተደራራቢ ስሌት ከይደግሙ፡ ናይ ኣቓልቦ መፍትሕታትን ክዕቀቡ ዘለዎም ክብርታትን ይሕስብ። ኣብ ስታትቲክ ስርዓት ምድብ ምድብ፡ ምምቕራሕ መኽዘን KV ቀጥታዊ እዩ፡ ንነፍሲ ወከፍ ኣብቲ ዕስለ ዘሎ ሕቶ ምስቲ ዝለዓለ ንውሓት መስርዕ ተመጣጣኒ ዝኾነ መዘክር ምዕቃብ።

ቀጻሊ ምድብ ምድብ ነዚ ብውቁብ መንገዲ የተሓላለኾ። ሕቶታት ካብቲ ዕስለ ኣብ ዘይተገመተ ግዜ ስለዝኣትዉን ስለዝወጹን፡ እቲ ስርዓት ቅድሚ ሕጂ ጽኑዓት ተኸታተልቲ መዘክር ብሎክታት ክምድብ ኣይክእልን። ልክዕ ነዚ እዩ ድማ vLLM’s PagedAttention — ኣብ 2023 ዝተኣታተወ — ካብ ቀጻሊ ምድብ ምድብ ኣብ ምዝርጋሕ ምፍራይ ዘይፍለ ኮይኑ። PagedAttention ነቲ ቨርቹዋል ሜሞሪ ፔጂንግ ሞዴል ካብ ኦፐሬቲንግ ሲስተም ይልቃሕ፣ ንKV cache ኣብ ዘይተቐራረቡ ብሎክታት ማዕረ ስፍሓት ይኸፍሎ። ናይ ሓደ መስርዕ መኽዘን ገጻት ልክዕ ከምቲ ናይ ቨርቹዋል መዘክር ገጻት ኣብ ፊዚካዊ ራም ፋሕ ዝበሉ ኣብ ጂፒዩ መዘክር ክበታተኑ ይኽእሉ። ውጽኢቱ ድማ ካብ ምብትታን ዝመጽእ ዳርጋ ዜሮ ዝኾነ ናይ መዘክር ብኽነት ኮይኑ፡ እዚ ድማ ብቐጥታ ናብ ዝለዓለ መጠን ዕስለታትን ዝለዓለ ውጽኢትን ብዘይ ተወሳኺ ወፍሪ ሃርድዌር ይትርጎም።

ቀጻሊ ምድብ ምድብ ስራሕ ዝገብሩ ቀንዲ ኣገባባት መደብ ምውጻእ እንታይ እዮም?

ሰለስተ ኣብ ነንሕድሕዶም ዝምርኮሱ ናይ መደብ ውሳኔታት ንነፍሲ ወከፍ ቀጻሊ ስርዓት ምድብ ምድብ ይገዝኡ:

ዝብል ጽሑፍ ኣሎ።
• ፖሊሲ ቅድመ-ምምጻእ: ጸቕጢ መዘክር ልዑል ምስ ዝኸውንን ሓድሽ ልዑል ቀዳምነት ዘለዎ ሕቶ ምስ ዝመጽእን፡ እቲ መደብ ዝሰርሕ ሰብ ንዝጎዪ ትሑት ቀዳምነት ዘለዎ መስርዕ ቅድሚ ምቕባል፡ ናይ KV ካሸኡ ናብ CPU RAM ክቕይሮ ድዩ፡ ወይስ ድሒሩ ካብ ባዶ ዳግማይ ክሕስቦ ክውስን ኣለዎ። ኣብ ስዋፕ ዝተመርኮሰ ቅድመ-ምግዛእ ስሌት ይዕቅብ ግን PCIe ባንድዊድ ይውድእ፤ ዳግመ-ስሌት ንዑደታት GPU የባኽን ግን ከኣ ጽሩይ መዘክር ይሕሉ።
• ምቁጽጻር ምቕባል: እቲ መደብ ዝሰርሕ ሰብ ናይ ሓደ ሓድሽ ሕቶ KV cache ኣብ ምሉእ ናይ ወለዶ ዕድሚኡ ኣብቲ ዝርከብ መዘክር ክሰማማዕ ድዩ ኣይሰማማዕን ክግምት ኣለዎ። ምጉዳል ጠንቂ ካብ ዝኽሪ ወጻኢ ዝፍጠር ምብልሻው ኣብ መፋርቕ መስርዕ፤ ልዕሊ ዓቐን ምግማት ነቲ ሪጋ ብዘይ ኣድላይነት የጥምኦ። ዘመናዊ ስርዓታት ነዞም ሓደጋታት ንምምዛን ፕሮፋይል ዘለዎ ምክፍፋል ንውሓትን ዕቑባ መዕቆሪታትን ይጥቀሙ።
• Chunked prefill: እቲ ቅድመ-ምምላእ ምዕራፍ — ናይ ተጠቃሚ ምእታው ምልክት ምምስራሕ — ብስሌት ዝተኣሳሰረ ኮይኑ ነቲ GPU ሞኖፖሊ ክገብሮ ይኽእል እዩ፣ እዚ ድማ ነቶም ድሮ ዝሰርሑ መስርዕ ናይ ምፍታሕ ስጉምትታት የደናጉዮ። ቻንክድ ቅድመ-ምምላእ ንነዊሕ ምልክታት ናብ ጽኑዕ-ዓቐን ቁንጣሮ ምስ ዲኮድ ምድግጋም ዝተሓዋወሰ ይመቕሎ፣ ንተመሳሳሊ ተጠቀምቲ ብዋጋ ብመጠኑ ዝተሓተ ጥረ ቅድመ-ምምላእ ውፅኢት ካብ ግዜ ናብ ቀዳማይ ቶከን ምድንጓይ ይንክዮ።
• ቀዳምነት ሪጋ ምሓዝ: ናይ ትካላት ምዝርጋሕ ክፍሊ ሕቶታት ብSLA ደረጃ። ላቴንሲ-ተሃዋሲ ኤፒኣይ ጻውዒታት ንዝበለጸ ጻዕሪ ዕስለ ስራሓት ይቕድሙ። ብዘይ እዚ ንጣብ እዚ፡ ሓደ ነዊሕ ናይ ሰነድ ምድማር ዕማም ንኣማኢት ተደጋጋሚ ክፍለ-ግዜታት ነቲ መስተጋብራዊ ተመክሮ ተጠቃሚ ከጉድሎ ይኽእል።

ዝብል ጽሑፍ ኣሎ። <ብሎክኮት> ዝብል ጽሑፍ ኣሎ።

"ቀጻሊ ምትእኽኻብ ንውጽኢት ጥራይ ኣይኮነን ዘመሓይሽ — ንቁጠባዊ ሞዴል ናይ AI መደምደምታ ዳግማይ ይውደቦ። GPUs ኣብ ክንዲ ምሕታት ግራኑላሪቲ ኣብ ምድግጋም ግራኑላሪቲ ተታሒዞም ብምሓዝ፡ ኦፕሬተራት ካብ ተመሳሳሊ ሃርድዌር 5–10× ዝለዓለ ውጽኢታዊ ኣጠቓቕማ ይረኽቡ፡ እዚ ድማ ኣብ 2025 ንነፍሲ ወከፍ ቶከን ኣገልግሎት ወጻኢታት ንምንካይ ዝርከብ እንኮ ዝዓበየ ሌቨር እዩ።"

ዝብል ጽሑፍ ኣሎ።

ኣብ ሓቀኛ ዓለም ዝግበር ምዝርጋሕ ንመኽሰብ ኣፈጻጽማ ብኸመይ ይዕቅኖ?

ውጽኢት መዐቀኒ ካብ Anyscale፡ ምስ ነጻ ምብዛሕ ኣብ ልዕሊ ብዙሓት ሞዴል ስድራቤታት ኣብ 2024፡ ብቐጻሊ ቀጻሊ ምድብዳብ ኣብ መንጎ 23×ን 36×ን ዝለዓለ ውጽኢት ዘቕርብ ምስ naïve static batching ኣብ ትሕቲ ክውንነታዊ ቅዲ ትራፊክ ክነጻጸር ከሎ ዘርኢ እዩ። እቲ መኽሰብ ዝያዳ ዝግለጽ ናይ ሕቶ ንውሓት ፍልልይ ልዑል ምስ ዝኸውን እዩ — ልክዕ እቶም ንናይ ምፍራይ ዕላል AI ጽዕነት ስራሕ ዝገልጹ ኩነታት ዝኾኑ ሕቶታት ተጠቃሚ ካብ ሰለስተ ቃላት ዝሕብር ክሳብ ብዙሕ ገጻት ዘለዎ ሰነድ ምቕራብ ዝበጽሕ እዩ።

Latency ዝያዳ ንኡስ ዛንታ እዩ ዝነግር። እቲ ስርዓት ቅድሚ ቅድመ-ምምላእ ምጅማሩ ምሉእ ስታትቲክ ዕስለ ክእከብ ስለዘይጽበ፡ ካብ ግዜ ናብ ቀዳማይ ቶከን ኣዝዩ ይመሓየሽ። ኢንተር-ቶከን ላቴንሲ ኣብ ትሕቲ ማእከላይ ጽዕነት ርጉእ ኮይኑ ይቕጽል ግን ኣብ ክንዲ ምፍራስ ኣብ ትሕቲ ምጽጋብ ብጸጋ ይንኪ፣ ምኽንያቱ እቲ መደብ ዝሰርሕ ዋላ እቲ ሪጋ ዓሚቝ ምስ ዝኸውን ኣብ ኩሎም ንጡፋት መስርዕ ንቕድሚት ዝኸይድ ምዕባለታት ይቕጽል። ኣብ ሓቀኛ ግዜ AI ባህርያት ንዝሃንጹ ትካላት ንግዲ፡ እዚ ጸጋ ዝመልኦ ናይ ምብስባስ መስመር መብዛሕትኡ ግዜ ካብ ጫፍ ቁጽሪ ውጽኢት ንላዕሊ ንግዳዊ ኣገዳሲ እዩ።

ንግዲ ትካላት ኪኖ AI Inference ቀጻሊ መትከላት ምትእኽኻብ ብኸመይ ክውዕላ ይኽእላ?

| ንግዳዊ ስርዓተ-ምሕደራ ተመሳሳሊ ብድሆ የጋጥሞም: ዕማማት ኣዝዩ ዝተፈላለየ ንውሓት ግዜ ኣብ መላእ ዋሕዚ ስራሕ CRM ንሓባራዊ ናይ መስርሕ ዓቕሚ ዝወዳደሩ: ዕዳጋ ኣውቶማቲክ: ሻምብቆታት ትንታነ: ከምኡውን ስርሓት ኢ-ንግዲ።

መዋይዝ ነዚ ፍልስፍና ኣብ መላእ 207-ሞዱል ቢዝነስ ኦኤስ ይትግብሮ፣ ንስራሕ ጽዕነት ስራሕ ኣብ መላእ ዓለም ብ138,000 ቢዝነስ ዝጥቀሙሉ ዝተዋሃሃደ መድረኽ ብዳይናሚክ መንገዲ ይመርሖ። ጋንታታት ንዑደታት ጸብጻብ ዕስለ፡ ተኸታታሊ ሪጋታት ምጽዳቕ፡ ወይ ምትሕልላፍ መሳርሒ ሳይልድ ክጽበያ ኣብ ክንዲ ዘገድድ፡ መዋይዝ ንንግዳዊ ፍጻመታት ብቐጻሊ የሰላስሎ - ብዝተዛዘሙ ውጽኢታት ብቕጽበት ናብ ታሕተዎት ሞዱላት ይምግቦም፡ በቲ ቀጻሊ ዕስለ መደብ ዝገብር መደብ ዝሰርሕ፡ ነቶም ነጻ ዝኾኑ ናይ GPU ቦታታት ናብቲ ናይ ሕቶ ሪጋ ተመሊሱ ዝምገብ። ውጽኢቱ ድማ ኣብ መዐቀኒታት ጥራይ ዘይኮነስ ኣብ ጭቡጥ ንግዳዊ ስርሓት ዝዕቀን ምምሕያሽ ውጽኢት እዩ።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ቀጻሊ ምድብ ምድብ ምስ ዳይናሚክ ምድብ ኣብ TensorFlow Serving ሓደ ድዩ?

ቁ. TensorFlow Serving’s dynamic batching ንሕቶታት ኣብ ናይ ግዜ መስኮትን ዕምቆት ሪጋን መሰረት ብምግባር ናብ ተለዋዋጢ ዓቐን ዘለዎም ዕስለታት ይእክቦም፣ እንተኾነ ግን ሕጂ’ውን ንነፍሲ ​​ወከፍ ዕስለ ካብ መጀመርታ ክሳብ መወዳእታ ብኣቶሚካዊ ኣገባብ የሰላስሎ። ቀጻሊ ምድብዳብ ኣብቲ ውልቃዊ ቶከን ምፍጣር ስጉምቲ ይሰርሕ፣ እዚ ድማ ውህደት ዕስለ ነፍሲ ወከፍ ንቕድሚት ምሕላፍ ክቕይር የኽእል። እቲ ናይ ግራኑላሪቲ ፍልልይ ስለምንታይ ቀጻሊ ምድስካል ንኣውቶሪግረሲቭ ወለዶ ስራሕ ጽዕነት ብፍላይ ብዓቢኡ ዝለዓለ ውጽኢት ዝረክብ እዩ።

ቀጻሊ ምድብ ምግባር ሞዴል ስነ ህንጻ ለውጢ የድልዮ ድዩ?

መደበኛ ትራንስፎርመር ስነ ህንጻታት ዝኾነ ምምሕያሽ ኣየድልዮምን እዩ። ቀጻሊ ምድብ ምድብ ምሉእ ብምሉእ ኣብቲ ዘገልግል ንጣብ ብለውጢ ኣብ መደምደምታ መደብ ምውጻእ፣ ኣመሓዳሪ መዘክርን ኣቓልቦ ከርነልን ይትግበር። ይኹን እምበር፡ ገለ ምምሕያሻት — ብፍላይ PagedAttention — ንመደበኛ ኣተገባብራታት ኣቓልቦ ዝትክኡ ብሕታዊ CUDA ከርነላት የድልዮም፣ በዚ ምኽንያት ድማ እዩ ከም vLLMን TensorRT-LLMን ዝኣመሰሉ ናይ ምፍራይ ደረጃ ቀጻሊ ምድብ ማዕቀፋት ንሓፈሻዊ ዕላማ ዘለዎም ናይ ምድምዳም ኣገልገልቲ ድሮፕ-ኢን መተካእታታት ዘይኮኑ።

እንታይ ዓይነት ናይ ሃርድዌር ደረታት እዮም ንቐጻሊ ውጽኢታዊነት ምድብ ምድብ ዝድርቱ?

GPU HBM bandwidthን total VRAM capacityን ቀንዲ ደረታት እዮም። ዓበይቲ ናይ KV መኽዘናት ዝያዳ መዘክር ይጠልቡ፣ እዚ ድማ ዝለዓለ ምትሕውዋስ ይድርት። ልዑል ባንድዊድ ዘለዎም ምትእስሳራት (NVLink, Infiniband) ንብዙሕ-GPU ምዝርጋሕ ወሳኒ ይኸውን ኣብዚ KV cache ኣብ መላእ መሳርሒታት ክዝርጋሕ ኣለዎ። ኣብ ዝኽሪ ዝተሓጽረ ከባቢታት፡ ኣግራሲቭ ኳንታይዜሽን ናይ KV ካሸ ክብርታት (ካብ FP16 ክሳብ INT8 ወይ INT4) ዓቕሚ ይመልስ ብዋጋ ንእሽቶ ምጉዳል ትኽክለኛነት፡ እዚ ድማ ንመብዛሕትኡ ንግዳዊ መተግበሪታት ቅቡል እዩ።

---

ዝብል ጽሑፍ ኣሎ።

ብAI ዝሰርሕ ባህርያት ትሃንጽ ትኹን ወይ ኣብ መላእ ትካልካ ዝተሓላለኹ ንግዳዊ ስርሓት ትሰርሕ ትኹን፡ እቲ መሰረታዊ መትከል ተመሳሳሊ እዩ፡ ስራሕ ኣልቦ ግዜ ምውጋድ፡ ዓቕሚ ብቐጻሊ ምምላስ፡ ከምኡ’ውን በቲ ድሮ ዘለካ ጸጋታት ዝያዳ ስራሕ ምምስራሕ። መዋይዝ ነዚ መትከል ኣብ 207 ዝተዋሃሃዱ ሞዱላት ኣብ ግብሪ የውዕሎ - ካብ CRMን ኢ-ኮሜርስን ክሳብ ትንታነታትን ምትሕብባር ጋንታን - ካብ $19 ኣብ ወርሒ ጀሚሩ።

ንግድኻ ብሙሉእ ውጽኢት ንምምራሕ ድሉው ዲኻ? ነጻ ፈተነኻ ኣብ app.mewayz.com ጀምር እሞ 138,000 ንግዳዊ ትካላት ብሜዋይዝ ብኸመይ ብብልሓት ይሰርሑ ከምዘለዉ ርአ።

ይመልስ