Apache Arrow on 10 aastat vana

Apache Arrow, avatud lähtekoodiga keeleülene mälusiseste andmete arendusplatvorm, tähistab 2026. aastal oma 10. aastapäeva – see on verstapost, mis tähistab kümne aasta möödumist sellest, kuidas kaasaegsed ettevõtted töötlevad, jagavad ja analüüsivad andmeid ulatuslikult. Alates oma tagasihoidlikust päritolust kui veergude mäluvormingu spetsifikatsioonist on Arrow kasvanud tänapäevase andmevirna üheks põhilisemaks kihiks, mis annab vaikselt toite tööriistadeks, millele miljonid arendajad ja analüütikud iga päev toetuvad.

Mis täpselt on Apache Arrow ja miks see oli oluline alates esimesest päevast?

Apache Arrow sündis lihtsast, kuid sügavast pettumusest: iga andmetööriist rääkis erinevat sisekeelt. Pandadel oli oma mälupaigutus. Sparkil oli teine. R-l oli veel üks. Iga kord, kui andmed süsteemide vahel liikusid, tuli need serialiseerida, deserialiseerida ja ümber vormindada – protsess, mis põletas CPU tsükleid, kulutas mälu ja lisas konveieritele latentsusaega, mida meeskonnad vajavad kiireks.

Arrow ettepanek oli elegantne: määrake üks standardiseeritud veerukujuline mäluvorming, mida iga keel või käituskeskkond saaks lugeda ilma kopeerimise või teisendamiseta. Kui Pythoni skript edastab andmed noole kaudu Rusti teeki, ei toimu transformatsiooni. Leheküljel olevad bitid on samad. See nullkoopiate koostalitlusvõime oli tõeliselt revolutsiooniline maailmas, kus andmetöötlus muutus üha enam polüglotimaks.

Oma esimestel aastatel panustas Arrow Pandase, Dremio, Wes McKinney ja suuremate pilveinfrastruktuuri mängijate meeskonnad. Asjaolu, et see lõpetas Apache inkubatsiooni 2016. aastal nii laialdase tööstuse toetusega, andis märku, et andmekogukond tunnistas, et see pole lihtsalt üks formaat – see oli katse lahendada süsteemne probleem infrastruktuuri tasandil.

Kuidas on Apache Arrow viimase kümnendi jooksul arenenud?

Kümme aastat hiljem on Arrow palju enamat kui mäluvorming. Projekt on laienenud seotud spetsifikatsioonide ja rakenduste rikkalikuks ökosüsteemiks:

• Arrow Flight: suure jõudlusega andmeedastusprotokoll, mis on üles ehitatud gRPC-le, mis võimaldab Arrow andmetel liikuda teenuste vahel juhtmekiirusel ilma serialiseerimiseta.
• Arrow Flight SQL: laiendus, mis võimaldab andmebaasidel paljastada SQL-i liidesed, kasutades Arrow Flighti, koondades traditsioonilise päringu-tulemuse-toomise tsükli üheks tõhusaks vooks.
• Apache Arrow DataFusion: Rust-päringumootor, mis kasutab algmäluvorminguna Arrowt, võimaldades manustatud analüütikat ilma eraldi andmebaasiprotsessita.
• ADBC (Arrow Database Connectivity): andmebaasi ühenduvuse API, mis on modelleeritud ODBC ja JDBC järgi, kuid on noolepõhine, võimaldades rakendustel teha päringuid andmebaasidest ja saada tulemusi otse noolevormingus.
• Arrow IPC-vorming: fail ja voogedastusvorming, mis võimaldab Arrow andmeid säilitada ja vahetada protsesside ja masinate vahel sama koopiavaba efektiivsusega.

13 ametlikus keelerakenduses – sealhulgas C++, Java, Go, Rust, Python, JavaScript, C# ja palju muud – on Arrow saavutanud sellise ökosüsteemideülese kasutuselevõtu, millest enamik avatud lähtekoodiga projekte vaid unistab. Teegid, nagu Polars, DuckDB ja InfluxDB 3.0, on ehitanud kogu oma mootorid Noole veeruvormingu ümber, käsitledes seda mitte koostalitlusvõime kihina, vaid oma põhiandmete esitusena.

Missugust tegelikku mõju on nool andmepõhistele ettevõtetele avaldanud?

"Apache Arrow ei muutnud lihtsalt andmete liikumist kiiremaks – see määratles uuesti, milline võiks äriplatvormi andmekiht välja näha. Kui infrastruktuur kaob standardite alla, saavad ehitajad keskenduda väärtusele."

Arrow mõju äritegevusele on kõige nähtavam kahes valdkonnas: kulude vähendamine ja iteratsioonikiirus. Meeskonnad, kes varem määrasid süsteemiüleseks andmete liikumiseks mitu tundi torujuhtme latentsust, mõõdavad nüüd millisekundites. Analüütikat, mis nõudis spetsiaalseid andmelaoklastreid, saab nüüd töötada DataFusioni või DuckDB-i kasutavate rakendusserveritesse manustatuna. Tegevuskulude vähenemine on mõõdetav – ja mastaapsete ettevõtete jaoks on see märkimisväärne.

Kaasaegsete ärioperatsioonisüsteemide jaoks, nagu Mewayz, mis integreerivad 207 moodulit, mis hõlmavad CRM-i, turundust, e-kaubandust, ajakava ja analüüsi, on Arrow arhitektuuriõpetuse õppetunnid väga olulised. Standardiseeritud siseandmete esitus, tõhus liikumine teenuste vahel ja moodulite vahel ilma koopiateta jagamine on täpselt need tehnilised omadused, mis võimaldavad 207 moodulist koosneval süsteemil püsida sidusa ja kiirena, ilma et see muutuks eritellimusel integreeritud segaseks.

Kuidas on Arrow arhitektuur võrreldes traditsiooniliste andmevahetuse lähenemisviisidega?

Enne Arrowt olid domineerivad vahetusvormingud reapõhised: CSV, JSON ja relatsioonirea salvestamine. Need vormingud on loetavad ja paindlikud, kuid väga ebaefektiivsed analüütiliste töökoormuste jaoks, mis skannivad miljonite ridade veerge. CSV-st ühe veeru lugemine tähendab iga rea ​​sõelumist. Veeru lugemine Arrow tabelist tähendab ühte külgnevat mälu skannimist – toimingut, mis küllastab protsessori vahemälu read ja toob kasu SIMD vektoriseerimisest.

Võrreldes Parquetiga, Arrow lähima nõbuga, on peamine erinevus mälu ja ketta optimeerimine. Parkett on tugevalt kokkusurutud ja optimeeritud ladustamiseks ja järjestikusteks lugemisteks. Nool on optimeeritud aktiivseks arvutamiseks – seda vormingut kasutate siis, kui andmed on elus ja neid töödeldakse, mitte siis, kui need seisavad kettal. Praktikas kasutavad kaasaegsed andmesüsteemid mõlemat: parkett ladustamiseks, nool arvutamiseks ja nendevaheline tõhus teisendamine.

Äritarkvaraarhitektide õppetund on see, et vormingu valik ei ole neutraalne otsus. Reakeskne salvestusruum muudab tehingute kirjutamise kiireks. Veergude kujul mälusisene esitus muudab analüütilise lugemise kiireks. Küps platvorm käsitleb mõlemat, suunates andmed õigel hetkel õige esituse kaudu – täpselt selline nähtamatu infrastruktuur, mis teeb vahet skaleeritaval platvormil ja platvormil, mis mitte.

Milline näeb välja Apache Arrow järgmine kümnend?

Noole trajektoor viitab sügavamale manustamisele ja laiemale standardimisele. Kuna tehisintellekti ja masinõppe töökoormused muutuvad äritegevuses keskseks, joondub Arrow veeruvorming loomulikult ML-raamistikes kasutatavate tensoriesitustega. Projektid juba uurivad Arrowt sillana tabelite äriandmete ja tensor-natiivsete ML-konveierite vahel, vähendades muundamise üldkulusid, mis praegu aeglustab tehisintellekti funktsioonide konveierte.

ADBC algatus soovitab tulevikku, kus rakenduse kood esitab päringuid mis tahes andmebaasidest ja saab tulemusi universaalselt kasutatavas vormingus, ilma draiverispetsiifiliste veidruste või serialiseerimismaksudeta. SaaS-platvormide jaoks, mis haldavad tuhandete klientide erinevaid andmeallikaid, on selline ühenduvuskihi standardimine sama oluline kui HTTP veebiteenuste puhul.

Korduma kippuvad küsimused

Kas Apache Arrow on andmebaas või failivorming?

Apache Arrow ei ole andmebaas ega lihtne failivorming – see on spetsifikatsioon mälus veerukujulise andmeesituse jaoks koos sellega seotud protokollide ja tööriistade perekonnaga. Mõelge sellele kui jagatud keelele, mida erinevad andmebaasid, päringumootorid ja programmeerimiskeeled kõik kõnelevad oma keeles, kõrvaldades tõlkekulud, mis tavaliselt tekivad, kui andmed ületavad süsteemipiire.

Kas Apache Arrow asendab parketi?

Ei – nool ja parkett lahendavad erinevaid probleeme ja töötavad koos kõige paremini. Parkett on optimeeritud tihendatud ja tõhusaks kettale salvestamiseks ning see on andmejärvede jaoks domineeriv veergude failivorming. Arrow on optimeeritud mälusiseseks arvutamiseks ja süsteemiüleseks andmete jagamiseks ilma kopeerimiseta. Kaasaegsed andmesüsteemid salvestavad andmeid tavaliselt Parkettina ja laadivad need aktiivseks töötlemiseks Arrow vormingusse.

Kuidas on Apache Arrow asjakohane äritarkvara platvormide jaoks?

Integreeritud äriplatvormide puhul mõjutavad Arrow arhitektuursed põhimõtted – standardiseeritud siseandmete esitus, komponentidevaheline koopiateta jagamine ja tõhus analüütiline juurdepääs – otseselt seda, kui hästi suudab mitmest moodulist koosnev süsteem skaleerida ilma integratsioonivõlga kogumata. Platvormid, mis kasutavad neid põhimõtteid, võivad lisada funktsionaalsust ilma proportsionaalselt keerukust lisamata.

Oleme Mewayzis loonud 207 moodulist koosneva ettevõtte operatsioonisüsteemi, mida kasutab üle 138 000 ettevõtte üle maailma, integreerides kõik alates CRM-ist ja meiliturundusest kuni e-kaubanduse ja analüütikani ühele ühtsele platvormile. Nagu Arrow lähenemine andmeinfrastruktuurile, usume, et suurepärane äritarkvara peaks olema oma keerukuselt nähtamatu ja oma väärtuselt ilmne. Plaanid algavad kõigest 19 dollarist kuus.

Alustage tasuta prooviperioodi saidil app.mewayz.com ja kogege, mis tunne on tõeliselt integreeritud ettevõtte OS – mis on üles ehitatud samale filosoofiale, mis muutis Apache Arrow asendamatuks: tehke rasket tööd infrastruktuuri tasemel, et ehitajad saaksid keskenduda olulisele.