Apache Arrow ye san 10 sɔrɔ

Apache Arrow, n’o ye kanw ni ɲɔgɔn cɛ yiriwali sira dafalen ye hakilijagabɔ kɔnɔ kunnafonidilanw kama, o bɛ a san 10nan seli kɛ san 2026 — o ye san tan ye min bɛ kɛ sababu ye ka bi jagokɛlaw ka kunnafoniw baaracogo, u tilacogo ani u sɛgɛsɛgɛcogo caman sɛmɛntiya. Ka bɔ a bɔyɔrɔ majiginlen na i n’a fɔ hakilijagabɔ cogoya ɲɛfɔli koloma, Arrow bonyalen don ka kɛ bi kunnafonidilanw jusigilanba dɔ ye, ka baarakɛminɛnw fanga di dususuma na, baarakɛlaw ni sɛgɛsɛgɛlikɛla miliyɔn caman bɛ u jigi da minnu kan don o don.

Apache Arrow ye mun ye tigitigi ani mun na a nafa ka bon kabini tile fɔlɔ ?

Apache Arrow bangera ka bɔ dusukasi nɔgɔman dɔ la nka a jugumanba don : kunnafonidilan bɛɛ tun bɛ kɔnɔnakan wɛrɛ fɔ . Pandas tun bɛ ni a yɛrɛ ka hakilijagabɔcogo ye. Spark tun bɛ ni dɔ wɛrɛ ye. R tun bɛ ni dɔ wɛrɛ ye. Tuma o tuma ni kunnafoniw tun bɛ taa sitɛmuw ni ɲɔgɔn cɛ, u tun ka kan ka kɛ seriyali ye, ka seriyali bɔ, ka fɔcogo kura — o kɛcogo min tun bɛ CPU sɛrɛkiliw jeni, ka hakilijagabɔw dun, ka latɛmɛni fara pibilikiw kan, ekipuw mago tun bɛ minnu na ka teliya.

Arrow ka laɲini tun ye cɛɲi ye : ka hakilijagabɔcogo kelen ɲɛfɔ, min bɛ kɛ ka kɛɲɛ ni sariya ye, kan o kan walima boli waati bɛ se ka min kalan k’a sɔrɔ a ma kopi kɛ walima k’a sɛmɛntiya. Ni Python sɛbɛnnikɛlan dɔ ye kunnafoniw Di Rust gafemarayɔrɔ dɔ ma Arrow fɛ, fɛn caman tigɛli tɛ Kɛ. Bitiki minnu bɛ ɲɛ kan, olu ye kelen ye. O zeru-kopi jɛɲɔgɔnya in kɛra fɛn caman tigɛli ye tiɲɛ na diɲɛ kɔnɔ, kunnafoniko in tun bɛ ka kɛ kan caman fɔli ye ka taa a fɛ.

A san fɔlɔw la, Arrow ye dɛmɛ sama ka bɔ ekipuw la minnu bɛ Pandas, Dremio, Wes McKinney, ani sankaba infɔrɔmasiko ɲɛmɔgɔba dɔw kɔfɛ. K’a sɔrɔ a ye Apache inkubasiyɔn bɔ san 2016 ni izini dɛmɛba in ye, o y’a jira ko kunnafonidilan jɛkulu y’a dɔn ko nin tɛ cogoya wɛrɛ dɔrɔn ye — a kɛra cɛsiri ye ka sigida gɛlɛya dɔ ɲɛnabɔ fɛnsɔrɔsiraw siratigɛ la.

Apache Arrow jiginna cogo di san tan tɛmɛnenw kɔnɔ ?

San tan kɔnɔ , Arrow ka ca ni hakilijagabɔ cogoya ye kosɛbɛ . Porozɛ in bonyalen don ka kɛ ɲɛnamayako nafama ye min kɔnɔ, a ɲɛfɔcogo n’a waleyali bɛ tali kɛ ɲɔgɔn na :

• Arrow Flight : Donanw tacogo ɲumanba min jɔlen bɛ gRPC kan , min b’a to Arrow data bɛ se ka taa baarakɛyɔrɔw ni ɲɔgɔn cɛ ni nɛgɛ teliya ye k’a sɔrɔ seriyali ma kɛ a kan .
• Arrow Flight SQL : Dafalen min b’a to kunnafonidilanw bɛ se ka SQL ɲɔgɔndanw jira ni Arrow Flight ye, ka laadala ɲininkali-jaabi-sɔrɔ-sɛrɛkili bin ka kɛ jikuru kelen ye min bɛ baara kɛ kosɛbɛ.
• Apache Arrow DataFusion : Rust-native ɲininkalikɛlan min bɛ baara kɛ ni Arrow ye i n’a fɔ a yɛrɛ hakilijagabɔcogo , ka jateminɛw kɛ minnu bɛ don a kɔnɔ k’a sɔrɔ kunnafonidilanw taabolo danfaralen tɛ .
• ADBC (Arrow Database Connectivity): Database connectivity API min bɛ misali di ODBC ni JDBC kan nka Arrow-native, o b’a to baarakɛminɛnw bɛ se ka kunnafonidilanw ɲininka ani ka jaabiw sɔrɔ k’a ɲɛsin Arrow cogo ma.
• Arrow IPC cogoya : Dosiyɛri ni sɛrɛkili cogoya min b’a to Arrow kunnafoniw bɛ to senna ani ka ɲɔgɔn falenfalen baarakɛcogo ni masinw cɛ ni zeru-kopi baarakɛcogo kelen ye.

Kanko baarakɛcogo 13 kɔnɔ — i n’a fɔ C++, Java, Go, Rust, Python, JavaScript, C#, ani dɔ wɛrɛw — Arrow ye seko ni dɔnko siratigɛ la taabolo sugu sɔrɔ, dakun dafalen porozɛ fanba bɛ sugo dɔrɔn min na. Gafemarayɔrɔw i n’a fɔ Polars, DuckDB, ani InfluxDB 3.0 y’u ka motɛri bɛɛ jɔ Arrow kulu cogoya lamini na, k’a minɛ i n’a fɔ baarakɛɲɔgɔnya layɛrɛ nka u b’a minɛ i n’a fɔ u ka kunnafonidilan jɔnjɔnw jiracogo.

Arrow ye nɔ jumɛn bila diɲɛ kɔnɔ tiɲɛ na jagokɛlaw la minnu bɛ tali kɛ kunnafonidilanw na ?

ye

"Apache Arrow ma kunnafonidilanw teliya dɔrɔn ka taa teliya la — a ye jagokɛyɔrɔ dɔ ka kunnafonidilanw sigicogo ɲɛfɔ kokura. Ni fɛnsɔrɔsiraw tununna sariyaw kɔnɔ, jɔlikɛlaw bɛ se k’u sinsin nafa kan."

Arrow ka jago nɔ bɛ ye kosɛbɛ yɔrɔ fila la : musaka dɔgɔyali ani iterasiyɔn teliya . Ekipu minnu tun bɛ lɛrɛ caman kɛ pibiliki latɛmɛni na walasa ka kunnafonidilanw lamagacogo kɛ sisan, olu bɛ suman milisekɔndi kɔnɔ. Analitiki minnu tun bɛ kunnafonidilanw kulu kɛrɛnkɛrɛnnenw de wajibiya, olu bɛ se ka baara kɛ sisan ka don baarakɛminɛnw kɔnɔ ni DataFusion walima DuckDB ye. Baara musaka dɔgɔyali bɛ se ka suman — wa jagokɛlaw fɛ minnu bɛ baara kɛ ni sɛgɛsɛgɛli ye, o nafa ka bon kosɛbɛ.

Bi jagokɛlaw ka baarakɛminɛnw na i n’a fɔ Mewayz, minnu bɛ modulu 207 fara ɲɔgɔn kan minnu bɛ CRM, jago, ɛntɛrinɛti jago, waatibolodacogo, ani jateminɛw lajɛ ka kɛ yɔrɔ kelen ye, Arrow ka fɛn dilanni kalanw bɛ tali kɛ ɲɔgɔn na kosɛbɛ. Kɔnɔna kunnafonidilanw jiracogo sariyalen, taamacogo ɲuman baarakɛlaw ni ɲɔgɔn cɛ, ani zeru-kopi tilali moduluw ni ɲɔgɔn cɛ, olu ye ɛntɛrinɛti nafaw ye tigitigi minnu b’a to modulu 207 sigida ka to ɲɔgɔn fɛ ani ka teliya k’a sɔrɔ a ma kɛ ɲɔgɔndan ɲagaminen ye min bɛ kɛ ka kɛɲɛ ni mɔgɔw sago ye.

Arrow ka fɛn dilanni bɛ tali kɛ cogo di ni laadala kunnafonidilanw ye ?

Sanni Arrow ka se, fɛnw falen-falen cogoya fangamaw tun bɛ tali kɛ jirisunw na : CSV, JSON, ani jɛgɛnsira minnu bɛ tali kɛ ɲɔgɔn na. O cogoyaw bɛ se ka kalan ani u bɛ se ka sɛgɛsɛgɛ nka u tɛ baara kɛ kosɛbɛ jateminɛ baarabolodalenw na minnu bɛ kuluw sɛgɛsɛgɛ jirisun miliyɔn caman kɔnɔ. Kolon kelen kalanni ka bɔ CSV kɔnɔ, o kɔrɔ ye ka jirisun kelen-kelen bɛɛ lajɛ. Kolon kalanni ka bɔ Arrow tabali la, o kɔrɔ ye hakilijagabɔ sɛgɛsɛgɛli kelen ye min bɛ tugu ɲɔgɔn na — baara min bɛ CPU ka cakɛda layiniw fa ani ka nafa sɔrɔ SIMD vectorization na.

N'i y'a suma ni Parquet ye, Arrow balimakɛ denkɛ min ka surun, danfara jɔnjɔn ye hakilijagabɔ ye ni disiki kan ɲɛtaa ye. Parquet bɛ degun kosɛbɛ ani a bɛ kɛ ka ɲɛ walasa ka a mara ani ka kalan kɛ ɲɔgɔn kɔ. Arrow is optimized for active computation — o ye cogoya ye i bɛ baara kɛ ni min ye ni kunnafoniw bɛ balo la ani ni u bɛ baara la, a tɛ kɛ ni u bɛ lafiɲɛ disiki kan. Tiɲɛ na, bi kunnafonidilanw bɛ baara kɛ ni o fila bɛɛ ye: Parquet ka kɛ fɛn marali ye, Arrow ka kɛ jatebɔ ye, ni fɛn caman tigɛli ye u ni ɲɔgɔn cɛ.

Kalan min bɛ jago porogaramuw dilannikɛlaw bolo , o ye ko cogoya sugandili tɛ desizɔn ye min tɛ mɔgɔ si ta ye . Row-oriented storage bɛ kɛ sababu ye ka jago sɛbɛnniw teliya. Kolonw jiracogo hakili la, o bɛ kɛ sababu ye ka jateminɛ kalanw teliya. Plateforme kɔgɔlen bɛ o fila bɛɛ ɲɛnabɔ, ka kunnafoniw bila sira jiracogo ɲuman fɛ waati bɛnnen na — tigitigi fɛn yebali sugu min bɛ danfara don plateforme min bɛ sɛgɛsɛgɛli kɛ ani min tɛ sɛgɛsɛgɛli kɛ.

san tan nataw bɛ cogo di Apache Arrow la ?

Arrow ka taamacogo bɛ tali kɛ doncogo jugumanba la ani sariyasunba la . Ni AI ni masin kalanni baarakɛta bɛ kɛ jagokɛyɔrɔw jɔyɔrɔba ye, Arrow ka kulu cogoya bɛ bɛn a yɛrɛ ma ni tensor jiracogo ye minnu bɛ kɛ ML karamɔgɔya la. Porozɛw bɛ ka Arrow sɛgɛsɛgɛ kaban i n’a fɔ dancɛ min bɛ jagokɛlaw ka kunnafonidilanw ni tensor-native ML pipelines cɛ, ka dɔ bɔ fɛn caman tigɛli kun na min bɛ AI feature pipelines sumaya sisan.

ADBC ka baarabolodalen bɛ siniko dɔ jira, min kɔnɔ, baarakɛminɛnw kode bɛ ɲininkali kɛ kunnafonidilan suguya bɛɛ la, ka sɔrɔw sɔrɔ cogo la min bɛ se ka dun diɲɛ bɛɛ kɔnɔ, k’a sɔrɔ bolifɛntigi kɛrɛnkɛrɛnnenw ka fɛnɲɛnɛmaw walima seriyali impositi tɛ. SaaS sigida minnu bɛ kunnafonidilan suguya caman ɲɛnabɔ kiliyan ba caman kɔnɔ, nin sariyasun sugu in bɛ tali kɛ ɲɔgɔn na, o ye jusigilan ye i n’a fɔ HTTP tun bɛ cogo min na ɛntɛrinɛti baarakɛminɛnw na.

Ɲininkali minnu bɛ kɛ tuma caman na

Apache Arrow ye kunnafonidilan ye wa walima filen cogoya dɔ ?

Apache Arrow tɛ kunnafonidilan ye, wa a tɛ dosiye cogoya nɔgɔman ye — a ye kunnafonisɛbɛn jiracogo ye min bɛ hakili kɔnɔ, ka fara a ni ɲɔgɔn cɛ protocoles ni baarakɛminɛnw denbaya dɔ kan. Aw k’a miiri ko kan jɛlen don min kɔnɔ kunnafonidilanw, ɲininkalikɛlanw, ani porogaramukanw danfaralenw bɛɛ bɛ se ka kuma u yɛrɛ la, ka bamanankan baara kuncɛlen bɔ yen, min bɛ kɛ cogoya la ni kunnafonidilanw ye sistɛmu dancɛw tigɛ.

Yala Apache Arrow bɛ Parquet nɔ na wa ?

Ayi — Arrow ni Parquet bɛ gɛlɛya suguya caman ɲɛnabɔ ani ka baara kɛ ɲɔgɔn fɛ ka ɲɛ. Parquet bɛ ɲɛnabɔ ka ɲɛ walasa ka a maracogo ɲuman sɔrɔ disiki kan, wa a ye dosiye kolomacogo fangama ye kunnafonidilanw na. Arrow bɛ ɲɛnabɔ ka ɲɛ walasa ka jatebɔ kɛ hakili kɔnɔ ani kunnafonidilanw tilatilali siratigɛ la k’a sɔrɔ a ma kopi kɛ. Bi kunnafonidilanw bɛ kunnafoniw mara cogoya la i n’a fɔ Parquet ani k’u don Arrow cogo la walasa ka baara kɛ ni wale ye.

Apache Arrow bɛ tali kɛ jago porogaramuw la cogo di ?

Mewayz la , an ye jagokɛminɛn 207 jɔ min bɛ baara kɛ ni jagokɛla 138.000 ni kɔ ye diɲɛ kɔnɔ , ka fɛn bɛɛ fara ɲɔgɔn kan k’a ta CRM ni imɛri feereli la ka se ɛntɛrinɛti jago ni jateminɛ ma , yɔrɔ kelen na min bɛ bɛn ɲɔgɔn ma I n’a fɔ Arrow ka fɛɛrɛ min bɛ kunnafonidilanw na, an dalen b’a la ko jago porogaramubaw ka kan ka kɛ fɛn yebali ye a ka gɛlɛya la, wa a nafa ka kan ka jɛya. Labɛnw bɛ daminɛ $19/kalo dɔrɔn na.

I ka kɔrɔbɔli fu daminɛ app.mewayz.com ani ka jago OS jɛlen tiɲɛnen bɛ cogo min na — a jɔlen bɛ o hakilina kelen kan min ye Apache Arrow kɛ fɛn nafamaba ye : i ka baara gɛlɛn kɛ fɛnsɔrɔko siratigɛ la walasa jɔlikɛlaw ka se k’u sinsin fɛn nafamaw kan.