ʻO ke kumukūʻai maoli o ka I/O random

Ua ʻoi aku ka lohi o kāu polokalamu pāʻoihana ma mua o ka mea e pono ai — A ʻo I/O Random ka mea ʻike ʻole ʻia

I kēlā me kēia manawa e hoʻopiʻi ai ka mea kūʻai aku no ka papa kuhikuhi lohi, i kēlā me kēia manawa e kali kāu hui i ʻekolu kekona keu no ka hoʻouka ʻana i kahi hōʻike, a i kēlā me kēia manawa e nalowale ka mea kūʻai aku i kāu ʻaoʻao no ka hoʻomanawanui ʻole - aia ka manawa kūpono e hoʻopau mālie ai ka random I/O i kāu loaʻa kālā. ʻAʻole ia he buzzword i mālama ʻia no nā ʻenekini waihona. He bottleneck hiki ke ana a nui ke kumu kūʻai e hūnā ana i loko o nā noi ʻoihana āpau, mai ka huli ʻana i ka CRM a hiki i ka hoʻokumu kālā. ʻO ka hoʻomaopopo ʻana i kāna kumukūʻai maoli ʻaʻole ia he hana ʻenehana - he kālā. ʻO nā hui i mālama ʻole iā ia ke uku nei i ke kumukūʻai ma nā pila kapuaʻi, nā mea kūʻai nalowale, a me nā hui e kali ana ma nā pale e hoʻouka koke ʻia.

He aha ke ʻano o ka I/O Random (a no ke aha ke kumu kūʻai nui)

Ma kāna kumu, ʻo I/O — hoʻokomo/puka — ʻo ia ke kaʻina o ka heluhelu ʻana a me ke kākau ʻana i ka ʻikepili i ka waiho ʻana. Ke kiʻi kāu noi i nā moʻolelo mai kahi waihona, hoʻouka i nā faila mai ka disk, a i ʻole ke kākau ʻana i nā moʻolelo kālepa, hana ia i nā hana I/O. Hele mai kēia mau hana ma nā ʻano ʻelua: sequentiala me random. Heluhelu a kākau paha ʻo Sequential I/O i nā ʻikepili ma nā poloka pili, e like me ka heluhelu puke mai ka hoʻomaka a i ka pau ʻana. Lele ʻole ʻo I/O me ka ʻike ʻole ʻia, e like me ka huli ʻana i ka ʻaoʻao 47, a laila ʻaoʻao 3, a laila ʻaoʻao 812.

He mea paʻakikī ka ʻokoʻa hana ma waena o kēia mau hiʻohiʻona ʻelua. Ma kahi paʻa paʻa kuʻuna, hiki i ka helu helu helu ke hoʻokō i ka throughput o 150-200 MB/s, ʻoiai e kolo pinepine ana ka heluhelu maʻamau ma 0.5-1.5 MB/s — he ʻokoʻa o 100x a ʻoi aku paha. ʻOiai ma nā SSDs NVMe hou, kahi e hoʻomaikaʻi nui ai i ka hana I/O random, e hoʻomau mau ana ke āpau mai 5x a 20x ma muli o ka hana. Ke hoʻopuka kāu palapala noi pāʻoihana i mau kaukani mau noi heluhelu liʻiliʻi i hoʻopuehu ʻia i kēlā me kēia kekona - ka huki ʻana i ka inoa o ka mea kūʻai aku ma ʻaneʻi, kahi laina helu helu ma laila, kahi ʻae ʻae ma kahi ʻē aʻe - hoʻopuka kēlā me kēia hop i ka latency i ana ʻia i microseconds e hui pū ʻia i kekona o ka manawa kali o ka mea hoʻohana maoli.

ʻAʻole i loli ka physics i nā makahiki he nui: ʻoi aku ka lohi o ka loaʻa ʻana o ka ʻikepili i hoʻopuehu ʻia ma ka waihona. ʻO ka mea i hoʻololi ʻia, ʻo ia ka pālākiō kahi e hoʻopuka ai nā noi hou i ka I/O maʻamau, i hiki ʻole ke nānā ʻole ʻia ke kumukūʻai.

ʻO ka ʻauhau huna ma kēlā me kēia hana ʻoihana

E noʻonoʻo i ka mea e hiki mai ana ke wehe ka mea hoʻohana hoʻokahi i kahi papa kuhikuhi CRM. Nīnau ka palapala noi i ka papaʻaina mea kūʻai, hui pū me ia me nā moʻolelo hana hou, huki i nā waiwai pili pili, nānā i nā ʻae mea hoʻohana, hoʻouka i nā helu hoʻolaha, a kiʻi i nā makemake hōʻike. Hiki i kēlā me kēia nīnau ke hoʻopā i nā papa ʻokoʻa i mālama ʻia ma nā wahi like ʻole ma ka disk. Hiki i kahi dashboard e hōʻike ana i nā moʻolelo mea kūʻai aku he 50 300 a 500 mau hana I/O maʻamauma ​​lalo o ka puʻu. E hoʻonui i kēlā me 200 mau mea hoʻohana like i nā hola ʻoihana kiʻekiʻe, a ke hana nei kāu kikowaena waihona ma luna o 100,000 heluhelu maʻamau i kēlā me kēia kekona.

ʻAʻole kēia he kuhiakau. Ua ʻike ʻia kahi noiʻi 2024 a Percona e hoʻolilo nā haʻawina ʻikepili maikaʻi ʻole a hiki i ka68% o kā lākou manawa hoʻokō holoʻokoʻae kali ana i nā hana I/O, me nā kumu hoʻohālike komo ʻole ka mea hewa mua. No kahi hui SaaS e lawelawe ana i nā kaukani ʻoihana, unuhi pololei kēia i nā kumukūʻai kiʻekiʻe. Hoʻopiʻi nā mea hoʻolako kapua e ka IOPS (nā hana I/O i kēlā me kēia kekona), a hiki i nā haʻahaʻa hana I/O-kaumaha maʻamau ke hoʻokuʻu i nā bila mālama mālama kālā mai nā haneli a i ʻumi kaukani kālā - ʻaʻole no ka nui o ka ʻikepili, akā no nā ʻano komo.

ʻOi aku ke kumukūʻai ma mua o ka ʻoihana. ʻO kēlā me kēia 100 milliseconds o ka manawa hoʻouka ʻaoʻao hou e hōʻemi i nā helu hoʻololi ma kahi o 7%, e like me ka noiʻi mai Akamai. Ke hoʻohui ʻo I/O maʻamau i kekona piha i kāu hoʻopuka helu helu a i ʻole hoʻouka ʻana i ka hōʻike, ʻaʻole ʻoe e puhi wale i ka helu - ke hoʻopau nei ʻoe i ka loaʻa kālā.

Ma hea e hoʻoheheʻe ʻia ai nā noi pāʻoihana

ʻAʻole i hana like nā hiʻohiʻona a pau i ka wā e pili ana i nā hiʻohiʻona I/O. ʻO kekahi o nā hana pāʻoihana maʻamau, ʻo ia nā mea hewa loa no ka loaʻa ʻole ʻana:

• Huli a kānana: ʻO ka nīnau ʻana ma nā kahua he nui (inoa, lā, kūlana, nā hōʻailona) e koi ana i ka ʻikepili e nānā i nā kuhikuhi i hoʻopuehu ʻia ma ka waihona, e hoʻohua ana i nā heluhelu maʻamau
• Nā hōʻuluʻulu ʻaoʻao: ʻO ka hōʻuluʻulu ʻana i ka loaʻa kālā, ka helu ʻana i nā mea hoʻohana ikaika, a i ʻole ka helu ʻana i nā invoice i hala e pono ai ke hoʻopā i nā tausani o nā lālani i hoʻolaha ʻia ma nā ʻaoʻao ʻikepili like ʻole
• Nā ʻae ʻae: ʻO ka hoʻomalu ʻana i ke kuleana ma nā papa hoʻolimalima lehulehu e koi pinepine i nā hulina he nui i kēlā me kēia noi — mea hoʻohana → kuleana → ʻae → kumu waiwai — pā kēlā me kēia papa ʻokoʻa
• Hōʻuluʻulu hōʻike: Nā hōʻike uku uku mahina, hōʻuluʻulu manaʻo o nā moku, a i ʻole ka ʻikepili HR e huki i ka ʻikepili mai nā papa he nui i ka manawa like
• Nā hoʻolaha manawa maoli: ʻO ka nānā ʻana i nā memo hou, nā hana hou, a me nā ʻōnaeho ʻōnaehana ma nā modula e hana i kahi kahawai mau o nā nīnau liʻiliʻi liʻiliʻi

Akaka ke kumu: ʻoi aku ka nui o nā modula a me nā hiʻohiʻona i hāʻawi ʻia e kahi paepae, ʻoi aku ka nui o nā ala I/O. Hiki i kahi mea hana link-in-bio maʻalahi ke hana i nā nīnau he 10 i kēlā me kēia hoʻouka ʻaoʻao. ʻO kahi ʻōnaehana hana ʻoihana piha me CRM, invoicing, HR, uku uku, hoʻopaʻa ʻana, a me nā modula analytics - e like me ka mea a Mewayz e hāʻawi ai ma kāna mau modules 207 - hiki ke hoʻohua i nā haneli. ʻO ka ʻokoʻa ma waena o kahi paepae i manaʻo koke ʻia a me ka mea i manaʻo ʻia e lohi pinepine i ka naʻauao o ka mālama ʻia ʻana o kēlā mau hiʻohiʻona I/O ma hope o nā hiʻohiʻona.

No ke aha e hoolei ai i ka Lako ma ka pilikia

ʻO ka manaʻo i ka wā e lohi ai nā noi e hoʻonui. ʻO nā kikowaena nui, SSD wikiwiki, ʻoi aku ka RAM. A ʻoiai e kōkua ana ka hoʻomaikaʻi ʻana i ka ʻenehana, hahai lākou i kahi pihi o ka emi ʻana o nā hoʻihoʻi e hōʻoluʻolu ʻole ai nā CFO. ʻO ka pāpālua ʻana i ka RAM o kāu kikowaena waihona mai 64GB a i 128GB hiki ke hoʻomaikaʻi i ka helu cache hit mai 92% a i 96% - he waiwai waiwai, akā ʻo ke koena 4% o ka nalo cache e paʻa mau ana i ka waihona me ka random I/O. ʻO ka paʻakolu i kāu hoʻokaʻawale IOPS ma AWS mai 3,000 a i 10,000 koina ma kahi o $450 hou aʻe i kēlā me kēia mahina akā hiki ke hoʻomaikaʻi wale i nā manawa pane p99 e 30%.

ʻO ka pilikia maoli ka hale kūkulu hale. He hōʻailona pinepine ʻo I/O i nā pilikia hohonu: nalo a maikaʻi ʻole ka hoʻolālā ʻana, N+1 nā kumu hulina kahi e hana ai ka palapala noi i hoʻokahi kelepona ʻikepili no kēlā me kēia mea ma mua o ka hoʻopaʻa ʻana, ʻoi aku ka maʻamau o nā papa kuhikuhi e koi ana i ʻelima mau papaʻaina no ka lālani hōʻike hoʻokahi, a me ka nele o nā replicas heluhelu a i ʻole nā ​​papa cache. ʻO ka hoʻomaikaʻi ʻana i nā lako lako e mālama i ka hōʻailona. Hoʻoponopono ka hoʻolālā ʻana i ke kumu.

ʻO ka hana I/O pipiʻi loa, ʻo ia ka mea pono ʻole i ka wā mua. No kēlā me kēia kālā i hoʻohana ʻia no ka mālama ʻana i ka wikiwiki, ʻumi keneta i hoʻolilo ʻia no ka huli ʻana i ka nīnau e hāʻawi i nā hopena maikaʻi aʻe. ʻAʻole ʻoi aku ka nui o nā hui i lanakila ma ka hoʻokō ʻana i kā lākou hoʻokūkū.

Nā hoʻolālā maʻamau e hōʻemi maoli i ka I/O

ʻAʻole pono ka hoʻohaʻahaʻa ʻana i ka I/O i kāu palapala noi. Pono ia i nā hoʻololi i manaʻo ʻia, hiki ke ana i ke ʻano o ka mālama ʻana, ke komo ʻana, a me ka hūnā ʻana i ka ʻikepili. Eia nā hoʻolālā e hāʻawi i ka hopena kiʻekiʻe loa:

1. E hoʻokō i ka hoʻopaʻa ʻana i nā nīnau koʻikoʻi. E hoʻololi i nā kumu hulina N+1 me ka hoʻouka ʻana. Inā hoʻouka kāu dashboard i nā mea kūʻai aku he 50 a me kā lākou hana hou, e kiʻi i nā pūʻulu hana he 50 i hoʻokahi nīnau me ka hoʻohana ʻana WHERE customer_id IN (...) ma mua o 50 mau huli hoʻokahi. Hiki i kēia wale ke ho'ēmi i ka I/O ma kahi o 80% ma ka nānā papa inoa.
2. E hoʻohana i nā papa kuhikuhi hui ma ke ʻano maʻamau. ʻO kahi papa kuhikuhi hui ma (tenant_id, status, created_at) e ʻae i ka waihona e hoʻokō i nā nīnau kānana maʻamau me ka scan index sequential hoʻokahi ma kahi o nā huli ʻokoʻa lehulehu ma nā papa kuhikuhi kaʻawale.
3. Hoʻokomo i kahi papa hoʻokoe ʻana me ka manaʻo ʻole. Loaʻa pinepine ʻia ka ʻikepili akā kakaikahi ka hoʻololi ʻana i ka ʻikepili - nā ʻae hoʻohana, nā hoʻonohonoho hoʻonohonoho, nā hoʻonohonoho module - i ka hoʻomanaʻo. Hiki iā Redis a i ʻole Memcached ke lawelawe i kēia mau mea i loko o nā microseconds, e hoʻopau ana i nā kaukani heluhelu maʻamau i kēlā me kēia minuke.
4. E helu mua i nā hōʻuluʻulu. Ma kahi o ka helu ʻana i ka loaʻa kālā a i ʻole ka helu poʻo ma kēlā me kēia hoʻouka dashboard, e holo i nā hana hōʻuluʻulu ma kahi papa manawa a mālama i nā hopena. Kālepa i kahi helu liʻiliʻi o ka ʻikepili hou no ka hōʻemi nui ʻana i ka I/O i ka manawa maoli.
5. E hoʻokaʻawale i nā papa nui ma ke ʻano hoʻohana. Inā hoʻopā ka 90% o nā nīnau i ka ʻikepili mai nā lā 30 i hala iho nei, e puʻunaue i kāu mau papa ma ka laulā lā i mea e wela ai ka ʻāpana hana i loko o kahi huna huna ʻoiai e noho anuanu ana ka ʻikepili mōʻaukala ma kahi waihona haʻahaʻa.

ʻAʻole kēia mau ʻenehana exotic. ʻO ia nā hiʻohiʻona like e hiki ai i nā paepae e lawelawe ana i nā haneli haneli o nā mea hoʻohana e mālama i nā manawa pane sub-kekona ma waena o nā pilina paʻakikī, multi-module. I ka wā i kūkulu hou ai ʻo Mewayz i kāna hoʻolālā ʻana no V2 — hoʻonui ʻia mai kahi hāmeʻa link-in-bio hoʻokahi i kahi OS pāʻoihana 207-module e lawelawe ana ma luna o 138,000 mea hoʻohana - ʻo ka hoʻomaikaʻi ʻana i nā ʻōnaehana komo I/O he kumu ia e hiki ai ke hoʻonui ʻia me ka hoʻonui ʻole ʻana i nā kumukūʻai ʻoihana.

Ka hopena hoʻohui i ka ʻike a me ka paʻa ʻana o ka mea hoʻohana

ʻAʻole wale ka manaʻo hoʻokō i hope - he hiʻohiʻona huahana ia. Ua hōʻike mau ʻia ka noiʻi a Google e 53% o nā mea hoʻohana kelepona e haʻalele i kahi ʻaoʻao ʻoi aku ka lōʻihi ma mua o 3 kekona e hoʻouka ai No nā noi ʻoihana kahi e launa pū ai nā mea hoʻohana i nā manawa he nui i kēlā me kēia lā, ʻoi aku ka haʻahaʻa o ka hoʻomanawanui. ʻO kahi luna uku uku e holo ana i nā hōʻike i kēlā me kēia pule, kahi alakaʻi HR e loiloi ana i nā mea noi, a i ʻole kahi mea kūʻai aku e nānā ana i ke kūlana pipeline - hoʻomohala kēia mau mea hoʻohana i ka manaʻo intuitive o ka wikiwiki. ʻAʻole paha lākou e haʻi "ʻoi aku ka kiʻekiʻe o ka latency I/O ma ka nīnau hōʻuluʻulu invoice," akā e ʻōlelo lākou "ua lohi kēia polokalamu" a hoʻomaka e loiloi i nā mea ʻē aʻe.

Aia ka hopena hui. ʻO kahi paepae e hoʻouka ana i nā dashboards ma 800ms ma kahi o 2.4 kekona ʻaʻole i manaʻo wale i 3x wikiwiki - hoʻololi ia i ka hana hoʻohana. Nānā pinepine nā mea hoʻohana i ka ʻikepili, e ʻimi i nā modula hou aʻe, a hoʻohui i ka mea hana i loko o kā lākou mau kaʻina hana. ʻO ka hoʻopili kiʻekiʻe e alakaʻi i ka paʻa kiʻekiʻe, kahi e hoʻoikaika ai i ka waiwai o ke ola. Ua kaulana ʻo Slack i ka ʻāpana nui o kona ulu mua ʻana i ka nānā ʻana i ka hana hoʻokō, me ka ʻike ʻana he moat hoʻokūkū ka wikiwiki.

No nā paepae pāʻoihana holoʻokoʻa, hoʻonui kēia hopena i kēlā me kēia module. Inā wikiwiki ka CRM akā lohi ka invoicing, pilikia ka ʻike o ka paepae holoʻokoʻa. ʻO ke kūlike o ka hana ma nā hiʻohiʻona - mai ka hoʻokele puke ʻana a hiki i ka nānā ʻana i nā ʻauwaʻa a hiki i ka analytics - pono i nā kumu I/O i hoʻopaʻa mau ʻia ma nā wahi āpau, ʻaʻole wale i nā modules ʻike ʻia.

Ana ana i ka mea nui: E ʻike ʻia ka I/O maʻamau

ʻAʻole hiki iā ʻoe ke hoʻoponopono i ka mea āu e ʻike ʻole ai. ʻO ka hana mua i ka hoʻoponopono ʻana i nā kumukūʻai I/O i ʻike ʻia e kāu mau ʻenekinia a me nā hui hana. ʻO nā hāmeʻa nānā ʻike hou e like me Datadog, New Relic, a i ʻole nā ​​​​ʻoluʻolu open-source e like me Prometheus me Grafana hiki ke hahai i nā ʻano IOPS, ka hāʻawi ʻana i ka latency huli, a me nā helu pā cache i ka manawa maoli. ʻO nā ana nui ka mea nui:

• P95 a me p99 hulina hulina: Awelika latency hūnā i ka ʻeha. Hōʻike ka 95th a me ka 99th percentile i kāu mea i ʻike maoli ai i kāu mea lohi loa - a me ka hoʻonāukiuki loa - nā mea hoʻohana
• Haʻihaʻi IOPS ma ka heluhelu vs. kākau, sequential vs. random: Hōʻike kēia i ka paʻa ʻana o kāu haʻahaʻa hana i ka I/O a me ke ʻano o ka I/O i lanakila ai
• Lakiō hoʻopaʻa waihona: ʻO ka lākiō ma lalo o 95% ma kahi ʻōnaehana hoʻokani maikaʻi ʻia e hōʻike ana i nā kumu hoʻohana ʻikepili ʻaʻole i lawelawe ʻia mai ka hoʻomanaʻo ʻana
• Helu nīnau no ka hoʻouka ʻana i ka ʻaoʻao: Inā hoʻomaka ka mea hoʻohana hoʻokahi i ʻoi aku ma mua o 20-30 mau nīnau waihona, ʻaneʻane hiki ke hoʻonui ʻia

Me kēia ʻikepili, hiki i nā hui ke hoʻokahua i ka manaʻo o ka hopena kiʻekiʻe loa ma mua o ka koho ʻana. ʻO nā ʻoihana e mālama ana i ka hana I/O ma ke ʻano he metric papa mua - me ka ʻaoʻao o ka uptime, nā helu hewa, a me ka ʻoluʻolu o ka mea hoʻohana - hāʻawi mau i nā huahana wikiwiki ma ke kumu kūʻai haʻahaʻa. Ma kahi mākeke kahi e manaʻo ai nā mea hoʻohana e like me ka pane ʻana i nā mea hana ʻoihana e like me nā polokalamu mea kūʻai aku, ʻaʻole ia he koho. ʻO ia ka ʻokoʻa ma waena o kahi paepae e hoʻonui maikaʻi ana i nā mea hoʻohana 138,000 a me kekahi e paʻa ana ma lalo o kona paʻakikī.

Nīnau pinepine

He aha ka I/O maʻamau, a no ke aha ka lohi?

Hiki ʻia ka I/O i ka wā e heluhelu ai a kākau paha kahi ʻōnaehana i nā ʻāpana liʻiliʻi o ka ʻikepili mai nā wahi like ʻole, ʻaʻole i kaʻina ma kahi pahu mālama. 'A'ole like me ka I/O (heluhelu i ka faila ho'omaka a ho'opau), pono e lele mau ke po'o heluhelu/kākau a puni, e hana ana i nā lohi kino nui. ʻO kēia ke kumu nui e ʻoi aku ka lohi o ka huli ʻikepili e kiʻi ana i nā moʻolelo i hoʻopuehu ʻia ma mua o ke kahe ʻana i kahi faila wikiō nui, ʻoiai inā he liʻiliʻi ka nui o ka ʻikepili.

Pehea ka hopena o ka I/O random i kaʻu hana ʻoihana?

Hoʻopili pololei ia i ka ʻike mea hoʻohana a me ka huahana. ʻO nā pane noi lohi e hoʻonāukiuki i nā mea kūʻai aku, e alakaʻi ana i ka haʻalele kaʻa a kākoʻo i nā tiketi. No nā limahana, hoʻopau nā CRM lohi a me nā mea hana hōʻike i ka manawa waiwai. Hoʻololi kēia mau lohi i nā kumukūʻai maoli: nā kūʻai lilo, hoʻemi ʻia ka hana limahana, a me ka pōʻino i ka inoa o kāu brand no ka pane ʻana. He waiwai kālā ko kēlā me kēia kekona o ka latency.

ʻAʻole anei kēia he pilikia ʻenehana? ʻAʻole hiki iaʻu ke kūʻai aku i nā SSD wikiwiki?

ʻOiai e kōkua ana nā SSD wikiwiki, he kumu kūʻai lākou a pinepine ʻole i ka hopena. ʻO ke kumu kumu ʻo ia ka polokalamu pono ʻole e hoʻokō i nā noi liʻiliʻi liʻiliʻi. ʻOi aku ka maikaʻi o ka hoʻonui ʻana i ka code noi a me nā nīnau waihona e hōʻemi i ka I/O. Hoʻolālā ʻia nā hoʻonā e like me Mewayz, me kāna mau modula 207 i kūkulu mua ʻia e hoʻomaka ana ma $19/mo, e hoʻomāmā pono i nā kumu ʻike ʻike.

He aha ka ʻanuʻu mua e ʻike ai inā ʻo I/O maʻamau kaʻu bottleneck?

E hoʻomaka me nā mea hana nānā hana o kāu polokalamu. E ʻimi i nā anana waihona e hōʻike ana i nā hana heluhelu/kākau kiʻekiʻe i kēlā me kēia kekona (IOPS) i hui pū ʻia me nā manawa nīnau lohi. E hoʻopili i kāu palapala noi e ʻike i nā nīnau liʻiliʻi pinepine. Inā hoʻomaka ka hana hoʻohana hoʻokahi i nā kakini o nā kelepona ʻikepili hoʻokahi ma mua o kekahi mau kelepona maikaʻi, ua loaʻa paha iā ʻoe kahi pilikia I/O maʻamau e pono e hoʻoponopono.