BuildKit: Dockerov skriveni dragulj koji može izgraditi gotovo sve

BuildKit: Dockerov skriveni dragulj koji može izgraditi gotovo sve

Većina programera poznaje Docker kao okruženje za izvođenje kontejnera koje je promijenilo način na koji se softver isporučuje. Daleko manje zna o motoru koji tiho bruji ispod površine svake moderne Docker build-ove — BuildKit, sljedeća generacija sistema za izgradnju koji se isporučuje s Dockerom od verzije 18.09 i koji je postao zadani backend u Dockeru 23.0. Dok se inženjeri beskrajno raspravljaju o Kubernetes konfiguracijama i obrascima mikroservisa, BuildKit se stalno razvija u jedan od najmoćnijih, fleksibilnijih sistema za izgradnju u DevOps ekosistemu. Ako ste ga tretirali samo kao bržu docker build, ostavljate ogromne mogućnosti na stolu. Kompanije koje pokreću CI/CD cevovode visoke propusnosti skratile su vrijeme izrade za 50–70% jednostavno razumjevši šta BuildKit zapravo nudi — a to je samo početak.

Po čemu se BuildKit suštinski razlikuje od klasičnog Buildera

Originalni Docker build engine je izvršavao Dockerfile instrukcije uzastopno, jedan po jedan sloj, bez svijesti o tome koji rad se može sigurno odvijati paralelno. BuildKit zamjenjuje taj linearni model izvršavanja usmjerenim acikličnim grafom (DAG) — grafom zavisnosti koji razumije koji se koraci izgradnje oslanjaju jedan na drugi, a koji ne. Nezavisne faze se izvršavaju istovremeno, neiskorištene faze se u potpunosti preskaču, a cijela konstrukcija postaje deklarativni opis onoga što želite, a ne imperativni niz koraka koje morate recitovati u pravom redoslijedu.

Ova arhitektonska promjena ima praktične posljedice koje nadilaze brzinu. Kada višestepeni Dockerfile kompajlira Go binarnu datoteku u jednoj fazi, preuzima Node.js zavisnosti u drugoj i sastavlja proizvodnu sliku u trećoj, BuildKit može istovremeno pokrenuti prve dvije faze. Gradnja koja je ranije trajala četiri minute na moćnom CI runneru sada se završava za manje od devedeset sekundi. Stripe, Shopify i niz drugih vrhunskih inženjerskih timova dokumentirali su slične dobitke u svojim internim retrospektivama alata. DAG model također znači da BuildKit može generirati vrlo precizne metapodatke izgradnje — temelj za funkcije kao što su potvrde o porijeklu i generiranje softverskog popisa materijala (SBOM) koje su od ogromnog značaja za sigurnost lanca nabavke.

Također postoji konceptualni pomak u tome kako funkcionira poništavanje keša. Klasični graditelj je poništio svaki sloj ispod bilo koje promijenjene instrukcije. BuildKit prati hešove sadržaja na svakom ulazu, tako da promjena komentara u Dockerfile-u ne odbacuje unos keša koji predstavlja trideset minuta kompilacije. Kada je vaša keš memorija za izgradnju razlika između petominutne i četrdesetominutne povratne informacije za vaš inženjerski tim, ova preciznost je mnogo važnija nego što se u početku može činiti.

Izrada na više platformi: jedna naredba, svaka arhitektura

BuildKit-ova --platform oznaka i QEMU integracija transformišu ono što je nekada bio bolan problem koordinacije više sistema u jednu komandu. Pokretanje docker buildx build --platform linux/amd64,linux/arm64,linux/arm/v7 . proizvodi tri slike spremne za proizvodnju paralelno iz jednog pozivanja izgradnje. Ova mogućnost je postala kritična kako se industrija pomjera prema ARM-u — AWS Graviton3 instance dosljedno isporučuju 40% bolje cijene i performanse na radnim opterećenjima kao što su web servisiranje i obrada podataka, a Apple Silicon je napravio ARM kao zadanu mašinu za razvoj za milione inženjera.

Pre nego što je BuildKit-ova podrška za više platformi sazrela, održavanje odvojenih cevovoda za izgradnju za različite arhitekture predstavljalo je pravi centar troškova. Timovi su ili održavali više Docker fajlova, pokretali odvojene CI cevovode na različito dizajniranim runerima ili su jednostavno slali x86 slike svuda i plaćali kaznu za performanse na ARM infrastrukturi. Sa BuildKit-om, jednom definišete svoju konstrukciju i pustite sistemu da transparentno upravlja kompilacijom specifične za arhitekturu. Rust projekti koji zahtijevaju unakrsnu kompilaciju, Go projekti sa CGO ovisnostima, Python paketi sa C ekstenzijama — BuildKit rukuje slojem emulacije bez potrebe da razumijete detalje svake ciljne platforme.

Praktična poslovna vrijednost ovdje je mjerljiva. Tim koji pokreće 200 kontejnera na AWS Graviton instancama po cijeni od 0,04 USD po vCPU-sat u odnosu na ekvivalentnu x86 instancu od 0,056 USD po vCPU-satu štedi otprilike 11 520 USD godišnje na 100 vCPU-ova – isključivo odabirom prave arhitekture. Učiniti taj izbor dostupnim bez napora reinženjeringa upravo je vrsta optimizacije infrastrukture koja se odmah isplati.

Tajno upravljanje bez curenja u slojeve slike

Jedna od najpotcjenjenijih karakteristika BuildKit-a je njegov tajni API. Klasični Docker builder nije imao čist način da prenese vjerodajnice u gradnju bez da ti vjerodajnici potencijalno završe u sloju slike. Programeri su radili oko ovoga sa višestepenim izradama, ARG uputstvima i pažljivim naručivanjem — ali rizik od slučajnog ispećivanja API ključa ili privatnog SSH ključa u isporučenu sliku ostao je neugodno visok. Sigurnosni skeneri rutinski pronalaze tvrdo kodirane akreditive u slikama kontejnera objavljenim u javnim registrima, a mnoga od tih curenja vode direktno do nespretnog rukovanja tajnom tokom izrade.

BuildKit-ova --secret zastavica montira osjetljive podatke u okolinu izgradnje kao privremenu stazu sistema datoteka koja postoji samo za vrijeme trajanja specifične RUN instrukcije kojoj je potrebna i nikada ne dotiče nijedan sloj slike. Instrukcija Dockerfile-a kao što je RUN --mount=type=secret,id=npmrc cat /run/secrets/npmrc > ~/.npmrc && npm install daje procesu gradnje pristup privatnim npm vjerodajnicama bez da se ti akreditivi ikada pojavljuju u konačnoj slici ili bilo kojem međusloju. Isti obrazac radi za PyPI vjerodajnice, Maven postavke, SSH ključeve za privatna Git spremišta i bilo koji drugi osjetljivi materijal koji zahtijeva vaš proces izgradnje.

Za timove koji grade softver koji se dotiče reguliranih industrija — platforme za zdravstvenu zaštitu, fintech proizvodi, softver za ljudske resurse — razlika između "akreditivi mogu biti na slici" i "akreditivi koji dokazivo ne mogu biti na slici" je razlika između prolaska sigurnosne revizije i trošenja tri sedmice na popravljanje nalaza. Platforme kao što je Mewayz, koje pokreću poslovne operacije za više od 138.000 korisnika u različitim industrijama kao što su obračun plaća, ljudski resursi i fakturisanje, zavise upravo od ove vrste dokazane sigurnosne pozicije u svojim cevovodima izgradnje i implementacije kako bi zadržali povjerenje koje ti klijenti pružaju svojim osjetljivim finansijskim i kadrovskim podacima.

Izvoz predmemorije: Stvaranje brzih CI cjevovoda

CI cjevovodi su tamo gdje je performansa izgradnje najvažnija i gdje je zadano iskustvo izgradnje Dockera povijesno bilo najbolnije. Svježi CI pokretači obično počinju s praznim kešovima, što znači da svako pokretanje cjevovoda ponovo kompajlira sve od nule. Za Java servis sa stotinama Maven zavisnosti, Rust projekat ili Python aplikaciju sa teškim izvornim ekstenzijama, to znači vreme izrade koje se meri u desetinama minuta, a ne u sekundama. Poslovni trošak sporog CI-ja je ogroman — smanjena učestalost implementacije, duže petlje povratnih informacija i inženjeri koji ne rade čekajući da se cjevovodi završe prije nego što se spoje i krenu dalje.

BuildKit-ova funkcija izvoza keša rješava ovo s izvoznim manifestima keša. Koristeći --cache-to type=registry,ref=myregistry/myapp:cache i --cache-from type=registry,ref=myregistry/myapp:cache, BuildKit gura detaljni snimak keša u registar nakon svake gradnje i izvlači ga na početku sljedeće. Keš memorija je adresirana na sadržaj, tako da se ponovo preuzimaju samo istinski promijenjeni slojevi. Timovi koji koriste ovaj obrazac u GitHub Actions, GitLab CI i CircleCI rutinski skraćuju vrijeme cevovoda sa petnaest minuta na manje od tri u narednim radnjama. GitHub-ova vlastita dokumentacija o naprednim radnim tokovima izrade Docker-a snažno preporučuje ovaj obrazac upravo iz ovog razloga.

Najbrža izrada je ona koju više nikada ne morate pokretati. Slojeviti sistem keš memorije usmjeren na sadržaj BuildKit-a ne samo da ubrzava gradnje – on čini cijeli koncept "gradnje" pametnijim, pretvarajući ponovljene kompilacije u inkrementalnu razliku onoga što se promijenilo.

Izvoz predmemorije se također jasno integrira s razvojnim tokovima rada zasnovanim na granama. Možete konfigurirati svoj CI cjevovod da se vrati iz keša specifične za granu u keš memoriju glavne grane kada ne postoji predmemorija grane, što znači da nove grane odmah imaju koristi od toplog keša akumuliranog u vašoj glavnoj razvojnoj liniji. Inženjeri dobijaju brze povratne informacije od svog prvog urezivanja na novoj grani umjesto da čekaju kaznu hladnog starta.

BuildKit Frontends: Izgradnja izvan Docker fajlova

Možda je najmanje poznata mogućnost BuildKit-a da su Dockerfiles samo jedan mogući format unosa - ne jedini. BuildKit ima pluggable frontend arhitekturu koja omogućava potpuno prilagođene jezike i formate definicije izgradnje. Frontend je određen # syntax= direktivom na vrhu vaše građevne datoteke, koja govori BuildKitu da izvuče određenu frontend sliku i koristi je za raščlanjivanje i izvršavanje ostatka datoteke.

Ova arhitektura je omogućila nekoliko uvjerljivih projekata. Integracija Buildpacks-a omogućava BuildKit-u da napravi slike kontejnera iz izvornog koda aplikacije bez ikakvog Dockerfile-a — detektuje jezik, bira odgovarajuće osnovne slike i automatski sastavlja kontejner spreman za proizvodnju. HPC i naučne računarske zajednice su koristile prilagođene frontendove da opisuju gradnje na jezicima specifičnim za domen koji se kompajliraju u BuildKit-ovu internu LLB (Low-Level Build) reprezentaciju. docker/dockerfile:labs sintaksa frontend eksperimentiše sa funkcijama kao što je podrška heredoc, --mrežna kontrola po instrukciji i poboljšane nagovještaje keša prije nego što dođu u stabilnu sintaksu Dockerfile.

Mogućnost definiranja vlastitog frontenda također znači da organizacije s neobičnim zahtjevima za izgradnju ne moraju birati između "ubaciti sve u Dockerfile sintaksu" i "u potpunosti napustiti kontejnere". Tim building FPGA firmver, slike ugrađenih sistema ili specijalizirani kontejneri ML modela mogu opisati svoju izgradnju u terminima koji imaju smisla za njihovu domenu, dok i dalje proizvode standardne OCI kompatibilne slike kontejnera koje se postavljaju gdje god kontejneri rade. Ova proširivost je istinska arhitektonska prednost u odnosu na sisteme izgradnje koji svoj ulazni format tretiraju kao fiksni.

Poreklo i SBOM: Izgradnja za svijet nakon solarnih vjetrova

Sigurnost lanca nabave softvera prešla je s teorijske brige na prioritet na nivou odbora nakon proboja SolarWinds-a 2020. i ranjivosti Log4Shell-a 2021. Izvršna naredba vlade SAD-a 14028 o sajber-sigurnosti, izdana u maju 2021., nalaže materijale za savezne ugovore o softveru. BuildKit-ove potvrde o porijeklu i karakteristike generiranja SBOM-a su direktan odgovor na ovo regulatorno i sigurnosno okruženje.

Sa --provenance=true i --sbom=true zastavicama, BuildKit generira kriptografski potpisane potvrde koje opisuju tačno šta je ušlo u sliku kontejnera — koje su osnovne slike korištene, koje su instrukcije Dockerfilea izvršene, koje su izvorne datoteke bile prisutne i koje su vanjske ovisnosti bile dohvaćene. Ove potvrde prate SLSA (Nivoi lanca snabdevanja za softverske artefakte) okvir i in-toto format atestiranja, čineći ih mašinski proverljivim od strane mehanizama politike kao što su Sigstore Cosign i OPA (Open Policy Agent).

Praktični tok rada koji ovo omogućava izgleda ovako:

1. Programer gura kod; CI cjevovod pokreće BuildKit build sa omogućenim poreklom.
2. BuildKit generiše potpisanu SBOM listu svih komponenti i njihovih verzija.
3. SBOM se objavljuje u registru kontejnera zajedno sa manifestom slike.
4. Kontroleri pristupa u Kubernetes klasteru provjeravaju porijeklo prije nego što dozvole implementaciju.
5. Skeneri ranjivosti postavljaju upit SBOM-u kako bi identificirali slike na koje se to odnosi kada se otkriju novi CVE-ovi.

Timovi koji implementiraju ovu potpunu liniju mogu odgovoriti na otkrivanje ranjivosti satima, a ne danima, jer imaju preciznu, mašinski čitljivu mapu svake komponente u svakom pokrenutom kontejneru. Za preduzeća kao što je Mewayz koja se duboko integrišu u operativne tokove rada kupaca – vođenje platnog spiska, upravljanje podacima o voznom parku, obrada faktura – sposobnost da se demonstrira rigorozni lanac snabdevanja koji se može revidirati je sve više preduslov za poslovne razgovore o prodaji, a ne samo lepotu za imati.

Početak: od zadanih build-a do naprednih cjevovoda

BuildKit je već pokrenut u vašem Docker okruženju ako koristite najnoviju verziju — Docker 23.0 i novije omogućite ga prema zadanim postavkama. Prvi praktičan korak za većinu timova je omogućavanje dodatka Docker Buildx, koji izlaže kompletan skup funkcija BuildKit-a putem podnaredbe docker buildx. Pokretanje docker buildx create --use postavlja instancu BuildKit buildera sa više mogućnosti od zadanog drajvera. Odatle, postepeno usvajanje naprednih funkcija ima smisla umjesto pokušaja da se sve usvoji odjednom.

Razumna putanja usvajanja za tim koji trenutno radi osnovne docker build pozivanja izgleda kao prvo dodavanje eksporta keša u CI — ovo donosi trenutna, mjerljiva poboljšanja brzine uz minimalnu promjenu konfiguracije. Izgradnje na više platformi postaju vrijedne kada tim počne ciljati ARM infrastrukturu. Tajno montiranje vrijedi usvojiti svaki put kada se registri privatnih paketa ili SSH ključevi pojave u kontekstu izrade. Potvrde o porijeklu imaju smisla omogućiti kada zahtjevi usklađenosti ili zahtjevi kupaca preduzeća zahtijevaju dokumentaciju lanca snabdijevanja.

Dublja lekcija BuildKit-a je o namjernoj izgradnji. Bilo da isporučujete kontejner za mikroservis, krajnju tačku za zaključivanje strojnog učenja ili složenu platformu poput Mewayzovog paketa od 207 poslovnih modula, proces izgradnje nije formalnost kroz koju žurite na putu do implementacije – to je inženjerski artefakt koji odražava kvalitet, sigurnosni položaj i operativnu zrelost svega što se isporučuje. BuildKit vam daje alate da taj artefakt učinite odličnim. Pitanje je jednostavno hoćete li odvojiti vrijeme da ih iskoristite.

Često postavljana pitanja

Šta je BuildKit i po čemu se razlikuje od klasičnog Docker build sistema?

BuildKit je Dockerov motor sljedeće generacije, predstavljen u Dockeru 18.09 i postavljen kao zadani u Docker 23.0. Za razliku od klasičnog graditelja, BuildKit podržava izvršavanje paralelnog sloja, napredne strategije keširanja, montiranje tajni i međuplatformske gradnje. Proces izgradnje tretira kao usmjereni aciklički graf (DAG), omogućavajući pametnije rješavanje ovisnosti i dramatično brže vrijeme izgradnje za složene, višestepene Dockerfile.

Da li trebam instalirati nešto dodatno da bih počeo koristiti BuildKit sa Dockerom?

Nije potrebna dodatna instalacija ako koristite Docker 23.0 ili noviju verziju — BuildKit je podrazumevano omogućen. Na starijim verzijama, možete ga aktivirati postavljanjem varijable okruženja DOCKER_BUILDKIT=1 prije pokretanja vaših naredbi izgradnje. Za napredne slučajeve upotrebe kao što su predmemorije za udaljenu gradnju ili višeplatformske gradnje, možda ćete htjeti konfigurirati namjensku instancu Buildx buildera koristeći docker buildx create.

Može li se BuildKit koristiti za pravljenje artefakata izvan standardnih slika kontejnera?

Da, i ovo je jedna od najpotcjenjenijih mogućnosti BuildKita. Koristeći prilagođene frontendove i oznaku --output, BuildKit može proizvesti neobrađene binarne datoteke, tarballove, statične web stranice i druge proizvoljne artefakte datoteka — ne samo OCI slike. To ga čini mehanizmom za izradu opće namjene koji se prirodno uklapa u poliglot monorepos i složene CI kanale gdje su različitim timovima potrebni različiti izlazni formati iz ujedinjenog lanca alata.

Kako se BuildKit uklapa u širu DevOps platformu uz alate kao što je Mewayz?

BuildKit upravlja niskim nivoom gradnje, ali moderni razvojni timovi također moraju upravljati poslovnim radnim tokovima, isporukom klijenata i operativnim procesima. Platforme poput Mewayz — poslovnog OS sa 207 modula po cijeni od 19 USD mjesečno — dopunjuju infrastrukturne alate pokrivajući operativnu stranu softverskog poslovanja. Uparivanje efikasnih cevovoda za izgradnju koje pokreće BuildKit sa platformom sve-u-jednom kao što je Mewayz daje timovima kompletan skup od artefakta koda do isporuke kupcu.