Hokohoko atu 'a e Batching mei he 'Uluaki Tefito'i Mo'oni (2025)

Ko e hokohoko atu 'o e batching ko ha founga fakataimi-tepile'i 'o e inference malohi 'oku ne fakalahi 'a e throughput 'o e hardware 'aki hono fakahu 'a e ngaahi kole fo'ou ki ha batch ngaue 'oku ngaue 'i he momeniti 'oku fakatau'ataina'i ai ha slot, 'o faka'auha 'a e ngaahi siakale 'o e compute 'oku 'ikai ke ngaue 'i he vaha'a 'o e ngaahi ngaue. Ko e mahino ki ai mei he ngaahi tefito'i mo'oni 'uluaki 'oku ne fakahaa'i 'a e 'uhinga kuo hoko ai ko e fakava'e 'o e 'atakai ki he sisitemi ngaue ma'olunga kotoa pe 'o e AI 'oku fakahoko 'i he fua 'i he 2025.

Ko e hā tonu ʻa e Hokohoko ʻo e Batching pea ko e hā naʻe ʻikai lava ai ʻa e Batching Static?

Ke fakahounga'i 'a e hokohoko atu 'o e batching, kuo pau ke 'uluaki mahino kiate koe 'a e me'a na'a ne fetongi. 'Oku fakakulupu 'e he batching static tukufakaholo ha fika pau 'o e ngaahi kole fakataha, processes kinautolu ko ha 'iuniti 'e taha, pea 'oku ne tali pe 'a e ngaahi kole fo'ou hili 'a e 'osi 'a e batch kotoa. Ko e hala mahu'inga ko e ngaahi sipinga lea lalahi 'oku ne fakatupu 'a e ngaahi faka'ilonga 'o e loloa kehekehe — 'e lava ke fakangata 'a e kole 'e taha hili 'a e ngaahi faka'ilonga 'e 20 lolotonga ia 'oku lele 'a e taha 'i he kulupu tatau ki he 2,000. Ko e GPU kotoa pe 'i he kulupu 'oku tangutu noa'ia 'o tatali ki he hokohoko loloa taha ke fakakakato kimu'a pea toki lava ke kamata ha ngaue fo'ou.

Hokohoko atu 'a e batching, na'e paionia 'i he pepa faka'ilonga 2022 "Orca: Ko ha sisitemi ngaue tufaki'anga koloa ki he ngaahi sipinga 'o e fakatupu 'oku makatu'unga 'i he Transformer," 'Oku ne maumau'i 'a e fakangatangata ko 'eni 'o faka'aufuli. ʻOku fakalele ia ʻi he tuʻunga ʻo eiteration kae ʻikai ko e tuʻunga ʻo e kole. Hili e paasi ki mu'a takitaha kotoa pe 'i he sipinga, 'oku vakai'i 'e he scheduler pe kuo a'u ha hokohoko ki hono faka'ilonga 'o e ngata'anga-'o e-hokohoko. Kapau kuo ne ma'u, 'Oku vave 'a e reclaimed 'a e slot ko ia pea vahe ki ha kole 'oku laine — 'ikai ha tatali, 'ikai ha maumau. 'Oku hiki 'a e fa'u 'o e kulupu 'i he fluidly mo e sitepu decode kotoa pe, tauhi 'a hono faka'aonga'i 'o e hardware ofi ki he lahi taha fakateolosia 'i he taimi kotoa pe.

'Oku anga fefe 'a e fetu'utaki 'a e KV Cache mo e hokohoko atu 'o e Batching 'i he Levolo 'o e Sisitemi?

Ko e cache 'o e mahu'inga-ki ko e fokotu'utu'u 'o e manatu 'oku ne 'ai ke tractable 'a e inference 'o e transformer. Ki he faka'ilonga kotoa pe 'oku ngaue'aki, 'oku computes 'e he sipinga 'a e ngaahi kī tokanga mo e ngaahi mahu'inga kuo pau ke tauhi koe'uhi ke 'oua na'a toe fai 'e he ngaahi faka'ilonga kimui ange 'a e redundant computation. 'I ha founga batching static, 'Oku hangatonu 'a e vahevahe 'o e KV cache: manatu reserve 'oku fakatatau ki he loloa 'o e hokohoko lahi taha ki he kole kotoa pe 'i he batch.

Ko e hokohoko atu 'o e batching 'oku ne fakafaingata'a'ia'i 'eni 'i he founga faka'ofo'ofa. Koe'uhi 'oku hū mo e mavahe 'a e ngaahi kole mei he kulupu 'i he ngaahi taimi 'oku 'ikai lava ke tomu'a tala, 'e 'ikai lava 'e he sisitemi ke tomu'a vahevahe 'a e ngaahi poloka manatu contiguous tu'u ma'u. Ko e 'uhinga tonu 'eni 'o e vLLM 'a e PagedAttention — fakafe'iloaki 'i he 2023 — na'e hoko ia 'o 'ikai lava ke mavahe mei he hokohoko atu 'o e batching 'i he deployments 'o e ngaohi'anga koloa. 'Oku no 'e he PagedAttention 'a e sipinga 'o e paging 'o e manatu virtual mei he ngaahi sisitemi ngaue, vahevahe 'a e KV cache ki he ngaahi poloka 'ikai fehokotaki 'o e lahi tatau. 'E lava ke movetevete 'a e ngaahi peesi 'o e cache 'o ha hokohoko 'i he manatu 'o e GPU 'o hange pe ko e ngaahi peesi 'o e manatu virtual 'oku movetevete 'i he RAM fakatu'asino. Ko e ola ko e ofi-zero 'a e veve 'o e manatu mei he fragmentation, 'a ia 'oku liliu fakahangatonu ki he ngaahi lahi 'o e batch ma'olunga ange mo e throughput ma'olunga ange 'o 'ikai ha toe 'inivesimeni 'i he hardware.

Ko e hā ʻa e ngaahi founga fakataimi-tepileʻi tefito ʻoku nau ʻai ke ngāue ʻa e hokohoko atu ʻo e Batching?

Ko e ngaahi tu'utu'uni fakataimi-tepile fefakafalala'aki 'e tolu 'oku nau pule'i 'a e sisitemi hokohoko kotoa pe 'o e batching:

• Tu'utu'uni fakamu'omu'a: 'I he taimi 'oku ma'olunga ai 'a e 'omi 'o e manatu pea 'oku a'u mai ha kole fo'ou 'oku fakamu'omu'a ma'olunga, kuo pau ke fakapapau'i 'e he scheduler pe ke tomu'a fakamu'omu'a ha hokohoko 'oku lele 'a e fakamu'omu'a ma'ulalo, fetongi 'ene KV cache ki he CPU RAM, pe recompute ia mei he kamata'anga 'amui ange. 'Oku fakatolonga 'e he preemption makatu'unga 'i he fetongi 'a e fakafuofua ka 'oku ne faka'aonga'i 'a e bandwidth 'o e PCIe; 'oku maumau'i 'e he recomputation 'a e ngaahi siakale 'o e GPU ka 'oku ne tauhi 'a e manatu ke ma'a.
• Pule'i 'o e hū: Kuo pau ke tomu'a tala 'e he tokotaha fakataimi-tepile'i pe 'e fe'unga 'a e KV cache 'o ha kole fo'ou 'i he manatu 'oku ma'u 'i he kotoa 'o 'ene mo'ui 'a e to'utangata kakato. Ko e fakasi'isi'i 'oku ne fakatupu 'a e ngaahi crashes 'i tu'a-mei he manatu 'i he lotolotonga 'o e hokohoko; ko e fu‘u fakafuofua‘í ‘okú ne fakafiekaia‘i ta‘e‘aonga ‘a e lainé. 'Oku ngaue'aki 'e he ngaahi sisitemi fakaonopooni 'a e ngaahi tufaki'anga loloa 'o e profiled mo e ngaahi buffers 'o e reservation ke fakapalanisi 'a e ngaahi fakatu'utamaki ko 'eni.
• Chunked prefill: Ko e konga prefill — ngaue ki he fakahu 'a e tokotaha 'oku ne ngaue'aki — 'oku fakafuofua'i-fakataha'i pea 'e lava ke monopolize 'a e GPU, fakatoloi 'a e ngaahi sitepu decode ki he ngaahi hokohoko 'oku 'osi lele. 'Oku vahevahe 'e he prefill 'o e Chunked 'a e ngaahi faka'ai'ai loloa ki he ngaahi konga 'o e lahi tu'u ma'u 'oku interleaved mo e ngaahi fakafoki 'o e decode, fakasi'isi'i 'a e taimi-ki he-'uluaki-faka'ilonga 'o e latency ki he kau faka'aonga'i 'o e taimi tatau 'i he totongi 'o e throughput 'o e prefill 'o e raw 'oku ma'ulalo ange.
• Ko e laine fakamu'omu'a: Ngaahi kole 'o e konga 'o e ngaahi fakahokohoko 'o e kautaha 'e he SLA tier. Latency-ongo'ingofua API ui preempt lelei taha-feinga 'a e ngaahi ngaue 'o e kulupu. Ka 'ikai ha layer ko 'eni, 'e lava ke fakasi'isi'i 'e ha ngaue fakanounou'i 'o e tohi loloa 'e taha 'a e a'usia 'a e tokotaha faka'aonga'i fetu'utaki ki he ngaahi fakataha 'e laungeau 'oku hoko fakataha.