Zergatik da lehen C++ (m)esleipena beti 72 KB?

Zure lehen esleipenean ikusten dituzun 72 KB ez dira alferrik galduko memoria; errendimendu-inbertsioa da. Esleitzaileak zure programak laster esleipen gehiago egingo dituela apustu egiten du, eta ia mundu errealeko eszenatoki guztietan, apustu horrek ederki ordaintzen du. Erabiltzen ez den helbide birtualen espazioaren kostua, funtsean, zero da 64 biteko sistema modernoetan.

Memoria birtuala eta memoria fisikoa: zergatik ez du axola

Jokaera hau lehen aldiz aurkitzen duten garatzaileen artean ohiko kezka bat baliabideen xahutzea da. 4 byte bakarrik behar baditut, zergatik kontsumitzen du nire programak 72 KB? Ikuspegi kritikoa da memoria birtuala ez dela memoria fisikoa. Glibc-ek programaren etenaldia 72 KB luzatzen duenean, nukleoak prozesuaren memoria birtualaren mapak eguneratzen ditu, baina ez ditu berehala atzera egiten orrialde horiek RAM fisikoarekin. Benetako orrialde fisikoak eskaeraren arabera esleitzen dira orrien akatsen bidez — zure programak helbide zehatz batean idazten duenean soilik esleitzen dio nukleoak memoria orri erreal bat.

Horrek esan nahi du zure prozesuaren tamaina birtuala 72 KB handitzen den arren, bere egoiliarren multzoaren tamaina (RSS) — benetan kontsumitzen den RAM fisikoaren kopurua — benetan ukitzen dituzun orrialdeetan soilik handitzen dela. New int bakarrerako, normalean 4 KB-ko orri bat da, gehi arena metadatuak hartzen dituen orrialdeak. Gainerako espazio birtuala bertan dago, erabiltzeko prest, helbide-espazioa baino ez du balio; horietatik 128 TB dituzu 64 biteko Linux sistema batean.

Bereizkuntza hau funtsezkoa da produkzio-aplikazioak profilak egitean eta monitorizatzean. Baliabideen kontsumo errealaren jarraipena egin behar duen softwarea eraikitzen ari bazara - SaaS backend bat, mikrozerbitzu bat edo negozio-eragiketetarako Mewayz bezalako plataformetan exekutatzen diren bezalako analitika kanala izan - beti kontrolatu beharko zenuke RSS tamaina birtuala baino. /proc/[pid]/smaps, valgrind --tool=massif eta pmap bezalako tresnek memoria fisikoaren aztarna zehatzak eman diezazukete, memoria birtualeko zifrak engainatu beharrean.

Esleitzaile ezberdinek nola kudeatzen duten lehen esleipena

72 KB-ko zifra glibc-en ptmalloc2-ren espezifikoa da. Beste esleitzaile batzuek truke desberdinak egiten dituzte, eta hasierako esleipen-gastuak horren arabera aldatzen dira. Desberdintasun hauek ulertzea baliotsua da errendimenduarekiko sentikorrak diren aplikazioetarako esleitzaile bat aukeratzerakoan.

• jemalloc (Facebook-ek, FreeBSD-ek erabilia) — Egitura zehatzagoa erabiltzen du hari lokaleko cacheekin. Hasierako gainkostua handiagoa izan ohi da (askotan 200 KB-tik gorakoa), baina hari anitzeko errendimendu hobea eskaintzen du blokeoen gatazka murrizteagatik.
• tcmalloc (Google-ren Thread-Caching Malloc) — 2 MB inguruko hari bakoitzeko cache bat esleitzen du lehenespenez, aurre-esleipen oldarkorrarekin. Hasierako gastuak handiagoak dira, baina ondorengo esleipen txikiak oso azkarrak dira.
• musl libc-en malloc — mmapen oinarritutako diseinu askoz errazagoa erabiltzen du esleipen guztietarako. Hasierako kostua gutxienekoa da (askotan 4 KB esleipen bakoitzeko), baina esleipen bakoitzeko kostua handiagoa da sistema-deiak maizago direlako.
• mimalloc (Microsoft) — Segmentuetan oinarritutako esleipena erabiltzen du 64 MBko segmentuekin. Lehenengo esleipenak 64 MB-ko erreserba birtuala abiarazten du (konpromiso fisiko minimoarekin), helbide-espazioa salbuespeneko tokiko eta abiadurarekin saltzeko.

Esleitzaile hauen arteko aukera zure lan-kargaren araberakoa da erabat. Iraupen luzeko hari anitzeko esleipen handia duten zerbitzari-aplikazioetarako, jemalloc edo tcmalloc normalean glibc-en lehenetsia gainditzen dute. Memoriak mugatutako sistema txertatuetarako, musl-en hurbilketa sinpleagoa hobe daiteke errendimendu txikiagoa izan arren. Erabilera orokorreko mahaigaineko eta zerbitzariko aplikazio gehienetarako, ptmalloc2-ren 72 KB-ren hasierako gain-gainak arrazoizko lehenetsia adierazten du, sintonizatu gabe ondo funtzionatzen duena.

Hasierako esleipenaren portaera doitzea

Hasierako 72 KB lehenetsitako gainkostua zure erabilera kasurako benetan arazotsua bada — agian iraupen laburreko milaka prozesu sortzen ari zara, bakoitzak esleipen gutxi batzuk besterik ez ditu egiten — glibc-k hainbat doigarri eskaintzen ditu mallopt() eta MALLOC_ ingurune-aldagaien familia

M_TOP_PAD parametroak esleitzaileak berehala behar denaz gain zenbat memoria gehigarri eskatzen duen kontrolatzen du. mallopt(M_TOP_PAD, 0)-rekin 0 ezarriz gero, esleitzaileari behar dena soilik eskatzeko esaten dio, hasierako gainkostua nabarmen murriztuz. M_MMAP_THRESHOLD parametroak esleipenek arena izan beharrean mmap erabiltzen duten tamaina kontrolatzen du. M_TRIM_THRESHOLD kontrolatzen du noiz itzultzen den askatutako memoria OSra. Eta glibc 2.26tik aurrera, glibc.malloc.tcache_count eta glibc.malloc.tcache_max doigarriek hari-cachearen portaera kontrolatzeko aukera ematen dizute.

Hala ere, kontu handi bat: parametro hauek sintonizatzeak benchmarking kontu handirik gabe ia beti okerrera egiten du. Lehenetsiak mundu errealeko profil zabalean oinarrituta aukeratu ziren, eta lan-karga gehienentzako leku gozoa adierazten dute. Malloc overhead botila-lepoa dela dioen ekoizpen-profiletik froga sendorik ez baduzu, eta zure aldaketen eragina neurtu baduzu, utzi lehenetsiak bakarrik. Esleitzailearen optimizazioa goiztiarra da yak bizarra egiteko forma bereziki maltzurra, eta ingeniaritza ordu ugari kontsumitu ditu onura hutsaletarako.

Honek zer irakasten digu Sistemen programazioari buruz

72 KB-ko lehen esleipenaren misterioa abstrakzio-geruzeiri buruzko ikasgaia da bere oinarrian. C++-k new int 4 byte esleitzen dituelako ilusioa ematen dizu. Hizkuntza estandarrak hala dio. Zure eredu mentalak hala dio. Baina zure kodearen eta hardwarearen artean sistema sofistikatuen pila bat dago: C++ exekuzioa, C liburutegien esleitzailea, nukleoaren memoria birtualaren azpisistema eta hardwarearen MMU eta TLB, bakoitzak bere jokabideak, optimizazioak eta gainkostuak gehituz.

Hau ez da akats bat. Sistemaren softwarearen puntu osoa da. Geruza bakoitza benetako arazo bat konpontzeko existitzen da: esleitzailea existitzen da, beraz, ez duzu sistema deirik egin behar esleipen bakoitzeko. Memoria birtualaren sistema existitzen da, beraz, ez duzu memoria fisikoa zuzenean kudeatu beharrik. Orriaren akatsen kudeatzailea existitzen da, beraz, memoria alfer eta eraginkortasunez konprometitzen da. Geruza bakoitzak gardentasun kopuru txiki bat trukatzen du errendimendu eta erosotasun kopuru handiarekin.

Sistema fidagarrienak eta errendimendu handienak eraikitzen dituzten garatzaileak geruza hauek ulertzen dituztenak dira, ez etengabe haietan pentsatu behar dutelako, baizik eta ustekabeko zerbait gertatzen denean (72 KB-ko esleipen misteriotsu bat adibidez), zergatik ulertzeko eredu mentala dutelako. Denbora errealeko merkataritza-sistema bat, joko-motor bat edo milaka erabiltzaileri zerbitzatzeko negozio-plataforma bat eraikitzen ari zaren ala ez, zure kodeak sistema mailan benetan zer egiten duen arrazoitzeko gaitasuna da garatzaile eskudunak apartekoetatik bereizten dituena. 72 KB ez da akats bat. Zure esleitzailea da bere lana bikain egiten ari dena.