ക്രമരഹിതമായ I/O യുടെ യഥാർത്ഥ വില

നിങ്ങളുടെ ബിസിനസ് സോഫ്‌റ്റ്‌വെയർ അത് വേണ്ടതിലും മന്ദഗതിയിലാണ് — കൂടാതെ ക്രമരഹിതമായ I/O ആണ് അദൃശ്യനായ കുറ്റവാളി

ഓരോ തവണയും ഒരു ഉപഭോക്താവ് വേഗത കുറഞ്ഞ ഡാഷ്‌ബോർഡിനെക്കുറിച്ച് പരാതിപ്പെടുമ്പോഴും, ഓരോ തവണയും നിങ്ങളുടെ ടീം ഒരു റിപ്പോർട്ട് ലോഡുചെയ്യുന്നതിനായി മൂന്ന് സെക്കൻഡ് അധികമായി കാത്തിരിക്കുകയും ഓരോ തവണയും നിങ്ങളുടെ ചെക്ക്ഔട്ട് പേജ് വാങ്ങുന്നയാളെ അക്ഷമയോടെ നഷ്‌ടപ്പെടുത്തുകയും ചെയ്യുന്നു - റാൻഡം I/O നിങ്ങളുടെ വരുമാനം നിശ്ശബ്ദമായി ഇല്ലാതാക്കാനുള്ള ശക്തമായ സാധ്യതയുണ്ട്. ഇത് ഡാറ്റാബേസ് എഞ്ചിനീയർമാർക്കായി നീക്കിവച്ചിരിക്കുന്ന ഒരു വാക്കല്ല. CRM ലുക്കപ്പുകൾ മുതൽ ഇൻവോയ്‌സ് സൃഷ്‌ടിക്കൽ വരെയുള്ള എല്ലാ ബിസിനസ്സ് ആപ്ലിക്കേഷനുകളിലും ഇത് അളക്കാവുന്നതും ചെലവേറിയതുമായ തടസ്സമാണ്. അതിൻ്റെ യഥാർത്ഥ വില മനസ്സിലാക്കുന്നത് ഒരു സാങ്കേതിക വ്യായാമം മാത്രമല്ല - ഇത് ഒരു സാമ്പത്തിക കാര്യമാണ്. ഇത് അവഗണിക്കുന്ന കമ്പനികൾ, ക്ലൗഡ് ബില്ലുകൾ, നഷ്‌ടപ്പെട്ട ഉപഭോക്താക്കൾ, തൽക്ഷണം ലോഡുചെയ്യേണ്ട സ്‌ക്രീനുകളിൽ കാത്തുനിൽക്കുന്ന ടീമുകൾ എന്നിവയിൽ വില നൽകുന്നു.

റാൻഡം I/O യഥാർത്ഥത്തിൽ എന്താണ് അർത്ഥമാക്കുന്നത് (എന്തുകൊണ്ടാണ് ഇത് ചെലവേറിയത്)

അതിൻ്റെ കാതൽ, I/O — ഇൻപുട്ട്/ഔട്ട്‌പുട്ട് — എന്നത് സ്റ്റോറേജിലേക്ക് ഡാറ്റ വായിക്കുകയും എഴുതുകയും ചെയ്യുന്ന പ്രക്രിയയാണ്. നിങ്ങളുടെ ആപ്ലിക്കേഷൻ ഒരു ഡാറ്റാബേസിൽ നിന്ന് റെക്കോർഡുകൾ ലഭ്യമാക്കുകയോ ഡിസ്കിൽ നിന്ന് ഫയലുകൾ ലോഡ് ചെയ്യുകയോ ഇടപാട് ലോഗുകൾ എഴുതുകയോ ചെയ്യുമ്പോൾ, അത് I/O പ്രവർത്തനങ്ങൾ നടത്തുന്നു. ഈ പ്രവർത്തനങ്ങൾ രണ്ട് ഫ്ലേവറുകളിൽ വരുന്നു: അനുക്രമം, റാൻഡം. ഒരു പുസ്‌തകം തുടക്കം മുതൽ അവസാനം വരെ വായിക്കുന്നത് പോലെ, തുടർച്ചയായി വരുന്ന ബ്ലോക്കുകളിൽ I/O ഡാറ്റ വായിക്കുകയോ എഴുതുകയോ ചെയ്യുന്നു. ക്രമരഹിതമായ I/O പ്രവചനാതീതമായി കുതിക്കുന്നു, പേജ് 47, തുടർന്ന് പേജ് 3, തുടർന്ന് പേജ് 812.

ഈ രണ്ട് പാറ്റേണുകൾക്കിടയിലുള്ള പ്രകടന വിടവ് അമ്പരപ്പിക്കുന്നതാണ്. ഒരു പരമ്പരാഗത ഹാർഡ് ഡ്രൈവിൽ, തുടർച്ചയായ വായനകൾക്ക് 150-200 MB/s ത്രൂപുട്ട് നേടാൻ കഴിയും, അതേസമയം ക്രമരഹിതമായ വായനകൾ പലപ്പോഴും 0.5-1.5 MB/s-ൽ ക്രാൾ ചെയ്യുന്നു - 100x അല്ലെങ്കിൽ അതിൽ കൂടുതൽ വ്യത്യാസം. റാൻഡം I/O പ്രകടനം നാടകീയമായി മെച്ചപ്പെടുത്തുന്ന ആധുനിക NVMe SSD-കളിൽ പോലും, ജോലിഭാരത്തെ ആശ്രയിച്ച് വിടവ് ഇപ്പോഴും 5x മുതൽ 20x വരെയാണ്. നിങ്ങളുടെ ബിസിനസ്സ് ആപ്ലിക്കേഷൻ സെക്കൻഡിൽ ആയിരക്കണക്കിന് ചെറുതും ചിതറിക്കിടക്കുന്നതുമായ വായനാ അഭ്യർത്ഥനകൾ പുറപ്പെടുവിക്കുമ്പോൾ - ഒരു ഉപഭോക്തൃ നാമം, അവിടെ ഒരു ഇൻവോയ്സ് ലൈൻ ഇനം, മറ്റെവിടെയെങ്കിലും ഒരു അനുമതി പരിശോധന - ഓരോ ഹോപ്പും മൈക്രോസെക്കൻഡിൽ അളക്കുന്ന ലേറ്റൻസി അവതരിപ്പിക്കുന്നു, അത് യഥാർത്ഥ ഉപയോക്തൃ കാത്തിരിപ്പ് സമയത്തെ സെക്കൻഡിലേക്ക് കൂട്ടിച്ചേർക്കുന്നു.

ദശാബ്ദങ്ങളായി ഭൗതികശാസ്ത്രം മാറിയിട്ടില്ല: സ്റ്റോറേജിൽ ചിതറിക്കിടക്കുന്ന ഡാറ്റ ആക്‌സസ് ചെയ്യുന്നത് ക്രമത്തിൽ സ്ട്രീം ചെയ്യുന്നതിനേക്കാൾ മന്ദഗതിയിലാണ്. ആധുനിക ആപ്ലിക്കേഷനുകൾ ക്രമരഹിതമായ I/O സൃഷ്ടിക്കുന്ന സ്കെയിലിലാണ് മാറിയത്, അതിൻ്റെ വില അവഗണിക്കുന്നത് അസാധ്യമാക്കുന്നു.

എല്ലാ ബിസിനസ് ഓപ്പറേഷനിലും മറഞ്ഞിരിക്കുന്ന നികുതി

ഒരൊറ്റ ഉപയോക്താവ് CRM ഡാഷ്‌ബോർഡ് തുറക്കുമ്പോൾ എന്ത് സംഭവിക്കുമെന്ന് പരിഗണിക്കുക. ആപ്ലിക്കേഷൻ ഒരു ഉപഭോക്തൃ പട്ടിക അന്വേഷിക്കുന്നു, സമീപകാല പ്രവർത്തന ലോഗുകൾക്കൊപ്പം ചേരുന്നു, അനുബന്ധ ഡീൽ മൂല്യങ്ങൾ വലിച്ചിടുന്നു, ഉപയോക്തൃ അനുമതികൾ പരിശോധിക്കുന്നു, അറിയിപ്പുകളുടെ എണ്ണം ലോഡുചെയ്യുന്നു, പ്രദർശന മുൻഗണനകൾ ലഭ്യമാക്കുന്നു. ഈ ചോദ്യങ്ങളിൽ ഓരോന്നും ഡിസ്കിലെ വ്യത്യസ്ത സ്ഥലങ്ങളിൽ സംഭരിച്ചിരിക്കുന്ന വ്യത്യസ്ത പട്ടികകളെ സ്പർശിച്ചേക്കാം. 50 ഉപഭോക്തൃ റെക്കോർഡുകൾ പ്രദർശിപ്പിക്കുന്ന ഒരു ഡാഷ്‌ബോർഡ് ഹുഡിന് കീഴിൽ 300 മുതൽ 500 വരെ ക്രമരഹിതമായ I/O പ്രവർത്തനങ്ങൾ സൃഷ്ടിച്ചേക്കാം. തിരക്കേറിയ പ്രവൃത്തി സമയങ്ങളിൽ ഒരേസമയം 200 ഉപയോക്താക്കളെ കൊണ്ട് ഗുണിക്കുക, നിങ്ങളുടെ ഡാറ്റാബേസ് സെർവർ സെക്കൻഡിൽ 100,000 റാൻഡം റീഡുകൾ പ്രോസസ്സ് ചെയ്യുന്നു.

ഇത് സാങ്കൽപ്പികമല്ല. പെർക്കോണയുടെ 2024-ലെ ഒരു പഠനത്തിൽ, മോശമായി ഒപ്റ്റിമൈസ് ചെയ്ത ഡാറ്റാബേസ് വർക്ക്ലോഡുകൾ I/O ഓപ്പറേഷനുകൾക്കായി 68% വരെ അവരുടെ നിർവ്വഹണ സമയത്തിൻ്റെ കാത്തിരിക്കുന്നു, റാൻഡം ആക്സസ് പാറ്റേണുകളാണ് പ്രാഥമിക കുറ്റവാളി. ആയിരക്കണക്കിന് ബിസിനസുകൾക്ക് സേവനം നൽകുന്ന ഒരു SaaS കമ്പനിക്ക്, ഇത് നേരിട്ട് ഉയർന്ന ഇൻഫ്രാസ്ട്രക്ചർ ചെലവിലേക്ക് വിവർത്തനം ചെയ്യുന്നു. ക്ലൗഡ് ദാതാക്കൾ IOPS ചാർജ്ജ് ചെയ്യുന്നു (സെക്കൻഡിൽ I/O ഓപ്പറേഷനുകൾ), ക്രമരഹിതമായ I/O-ഹെവി വർക്ക്ലോഡുകൾ പ്രതിമാസ സ്റ്റോറേജ് ബില്ലുകൾ നൂറുകണക്കിന് മുതൽ പതിനായിരക്കണക്കിന് ഡോളറിലേക്ക് തള്ളും - ഡാറ്റ വോളിയം കൊണ്ടല്ല, ആക്സസ് പാറ്റേണുകൾ കാരണം.

ചിലവ് അടിസ്ഥാന സൗകര്യങ്ങൾക്കപ്പുറമാണ്. അകാമൈയിൽ നിന്നുള്ള ഗവേഷണമനുസരിച്ച്, ഓരോ 100 മില്ലിസെക്കൻഡ് അധിക പേജ് ലോഡ് സമയവും പരിവർത്തന നിരക്ക് ഏകദേശം 7% കുറയ്ക്കുന്നു. ക്രമരഹിതമായ I/O നിങ്ങളുടെ ഇൻവോയ്‌സ് ജനറേഷനിലേക്കോ റിപ്പോർട്ട് ലോഡിംഗിലേക്കോ ഒരു പൂർണ്ണ സെക്കൻ്റ് ചേർക്കുമ്പോൾ, നിങ്ങൾ വെറും കമ്പ്യൂട്ട് കത്തിക്കുകയല്ല - നിങ്ങൾ വരുമാനം കത്തിക്കുകയാണ്.

ബിസിനസ് ആപ്ലിക്കേഷനുകൾ പെർഫോമൻസ് ബ്ലീഡ് ചെയ്യുന്നിടത്ത്

I/O പാറ്റേണുകളുടെ കാര്യത്തിൽ എല്ലാ സവിശേഷതകളും തുല്യമായി സൃഷ്‌ടിക്കപ്പെട്ടിട്ടില്ല. ക്രമരഹിതമായ ആക്‌സസ്സിനുള്ള ഏറ്റവും മോശം കുറ്റവാളികളാണ് ഏറ്റവും സാധാരണമായ ചില ബിസിനസ് പ്രവർത്തനങ്ങൾ:

• തിരയലും ഫിൽട്ടറിംഗും: ഒന്നിലധികം ഫീൽഡുകളിൽ (പേര്, തീയതി, സ്റ്റാറ്റസ്, ടാഗുകൾ) അന്വേഷിക്കുന്നത്, സംഭരണത്തിലുടനീളം ചിതറിക്കിടക്കുന്ന സൂചികകൾ സ്കാൻ ചെയ്യാൻ ഡാറ്റാബേസിനെ പ്രേരിപ്പിക്കുന്നു, കനത്ത റാൻഡം റീഡുകൾ സൃഷ്ടിക്കുന്നു
• ഡാഷ്‌ബോർഡ് അഗ്രഗേഷനുകൾ: വരുമാനം സംഗ്രഹിക്കുന്നതിനും സജീവ ഉപയോക്താക്കളെ കണക്കാക്കുന്നതിനും അല്ലെങ്കിൽ കാലഹരണപ്പെട്ട ഇൻവോയ്‌സുകൾ കണക്കാക്കുന്നതിനും വ്യത്യസ്‌ത ഡാറ്റ പേജുകളിൽ വ്യാപിച്ചുകിടക്കുന്ന ആയിരക്കണക്കിന് വരികൾ സ്‌പർശിക്കേണ്ടതുണ്ട്
• അനുമതി പരിശോധനകൾ: മൾട്ടി-ടെനൻ്റ് പ്ലാറ്റ്‌ഫോമുകളിലെ റോൾ അധിഷ്‌ഠിത ആക്‌സസ് നിയന്ത്രണത്തിന് പലപ്പോഴും ഓരോ അഭ്യർത്ഥനയ്ക്കും ഒന്നിലധികം ലുക്കപ്പുകൾ ആവശ്യമാണ് — ഉപയോക്തൃ → റോൾ → അനുമതികൾ → റിസോഴ്‌സ് — ഓരോന്നും വ്യത്യസ്‌ത പട്ടികകളിൽ അമർത്തുന്നു
• റിപ്പോർട്ട് ജനറേഷൻ: പ്രതിമാസ ശമ്പള റിപ്പോർട്ടുകൾ, ഫ്ലീറ്റ് മെയിൻ്റനൻസ് സംഗ്രഹങ്ങൾ, അല്ലെങ്കിൽ എച്ച്ആർ അനലിറ്റിക്സ് എന്നിവ ഡസൻ കണക്കിന് പട്ടികകളിൽ നിന്ന് ഒരേസമയം ഡാറ്റ പിൻവലിക്കുന്നു
• തത്സമയ അറിയിപ്പുകൾ: മൊഡ്യൂളുകളിലുടനീളം പുതിയ സന്ദേശങ്ങൾ, ടാസ്‌ക് അപ്‌ഡേറ്റുകൾ, സിസ്റ്റം അലേർട്ടുകൾ എന്നിവ പരിശോധിക്കുന്നത് ചെറുതും ക്രമരഹിതവുമായ അന്വേഷണങ്ങളുടെ നിരന്തരമായ സ്ട്രീം സൃഷ്ടിക്കുന്നു

പാറ്റേൺ വ്യക്തമാണ്: കൂടുതൽ മൊഡ്യൂളുകളും ഫീച്ചറുകളും ഒരു പ്ലാറ്റ്‌ഫോം വാഗ്ദാനം ചെയ്യുന്നു, കൂടുതൽ I/O പാതകൾ വർദ്ധിക്കും. ഒരു ലളിതമായ ലിങ്ക്-ഇൻ-ബയോ ടൂൾ ഓരോ പേജ് ലോഡിനും 10 ചോദ്യങ്ങൾ സൃഷ്ടിച്ചേക്കാം. CRM, ഇൻവോയ്‌സിംഗ്, എച്ച്ആർ, പേറോൾ, ബുക്കിംഗ്, അനലിറ്റിക്‌സ് മൊഡ്യൂളുകളുള്ള ഒരു പൂർണ്ണ ബിസിനസ്സ് ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിന് - Mewayz അതിൻ്റെ 207 മൊഡ്യൂളുകളിലുടനീളം നൽകുന്നത് പോലെ - സൈദ്ധാന്തികമായി നൂറുകണക്കിന് സൃഷ്ടിക്കാൻ കഴിയും. തൽക്ഷണം അനുഭവപ്പെടുന്ന ഒരു പ്ലാറ്റ്‌ഫോമും മന്ദത അനുഭവപ്പെടുന്ന പ്ലാറ്റ്‌ഫോമും തമ്മിലുള്ള വ്യത്യാസം, ആ I/O പാറ്റേണുകൾ തിരശ്ശീലയ്ക്ക് പിന്നിൽ എത്ര ബുദ്ധിപരമായി കൈകാര്യം ചെയ്യുന്നു എന്നതിലേക്കാണ് പലപ്പോഴും വരുന്നത്.

എന്തുകൊണ്ട് ഹാർഡ്‌വെയർ പ്രശ്‌നത്തിലേക്ക് വലിച്ചെറിയുന്നത് പ്രവർത്തിക്കുന്നില്ല

അപ്ലിക്കേഷനുകൾ മന്ദഗതിയിലാകുമ്പോഴുള്ള സഹജാവബോധം നവീകരിക്കുക എന്നതാണ്. വലിയ സെർവറുകൾ, വേഗതയേറിയ എസ്എസ്ഡികൾ, കൂടുതൽ റാം. ഹാർഡ്‌വെയർ മെച്ചപ്പെടുത്തലുകൾ സഹായിക്കുമ്പോൾ, അവർ സിഎഫ്ഒകളെ അസ്വസ്ഥരാക്കുന്ന വരുമാനം കുറയുന്ന ഒരു വക്രം പിന്തുടരുന്നു. നിങ്ങളുടെ ഡാറ്റാബേസ് സെർവറിൻ്റെ റാം 64GB-ൽ നിന്ന് 128GB-ലേക്ക് ഇരട്ടിയാക്കുന്നത് കാഷെ ഹിറ്റ് നിരക്കുകൾ 92%-ൽ നിന്ന് 96%-ലേക്ക് മെച്ചപ്പെടുത്തിയേക്കാം - അർത്ഥവത്തായ നേട്ടം, എന്നാൽ ശേഷിക്കുന്ന 4% കാഷെ മിസ്സുകൾ ഇപ്പോഴും റാൻഡം I/O ഉപയോഗിച്ച് സംഭരണത്തെ ബാധിക്കും. AWS-ൽ നിങ്ങളുടെ IOPS അലോക്കേഷൻ 3,000-ൽ നിന്ന് 10,000 ആയി ഇരട്ടിയാക്കിയാൽ ഏകദേശം $450 പ്രതിമാസം ചിലവാകും, എന്നാൽ p99 പ്രതികരണ സമയം 30% വർദ്ധിപ്പിക്കാം.

വാസ്തുശാസ്ത്രമാണ് യഥാർത്ഥ പ്രശ്നം. ക്രമരഹിതമായ I/O പലപ്പോഴും ആഴത്തിലുള്ള പ്രശ്‌നങ്ങളുടെ ലക്ഷണമാണ്: കാണാതാവുകയോ മോശമായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നതോ ആയ സൂചികകൾ, ബാച്ചിംഗിന് പകരം ഓരോ ഇനത്തിനും ഒരു ഡാറ്റാബേസ് കോൾ ചെയ്യുന്ന N+1 അന്വേഷണ പാറ്റേണുകൾ, ഒരു ഡിസ്‌പ്ലേ വരിയ്‌ക്കായി അഞ്ച് ടേബിൾ ജോയിന് ആവശ്യമായ ഓവർ-നോർമലൈസ്ഡ് സ്‌കീമകൾ, റീഡ് റെപ്ലിക്കുകളുടെയോ കാഷിംഗ് ലെയറുകളുടെയോ അഭാവം. ഹാർഡ്‌വെയർ അപ്‌ഗ്രേഡുകൾ രോഗലക്ഷണത്തെ ചികിത്സിക്കുന്നു. വാസ്തുവിദ്യാ ഒപ്റ്റിമൈസേഷൻ കാരണം കൈകാര്യം ചെയ്യുന്നു.

ഏറ്റവും ചെലവേറിയ I/O ഓപ്പറേഷൻ ആദ്യം നിലനിൽക്കാൻ പാടില്ലാത്ത ഒന്നാണ്. വേഗതയേറിയ സംഭരണത്തിനായി ചെലവഴിക്കുന്ന ഓരോ ഡോളറിനും, അന്വേഷണ ഒപ്റ്റിമൈസേഷനായി ചെലവഴിക്കുന്ന പത്ത് സെൻറ് മികച്ച ഫലങ്ങൾ നൽകുന്നു. പ്രകടനത്തിൽ വിജയിക്കുന്ന കമ്പനികൾ അവരുടെ മത്സരത്തെ മറികടക്കുന്നില്ല - അവർ തങ്ങളുടെ ഡാറ്റ ആക്‌സസ് പാറ്റേണുകളെ കുറിച്ച് ചിന്തിക്കുന്നു.

യഥാർത്ഥത്തിൽ ക്രമരഹിതമായ I/O കുറയ്ക്കുന്ന പ്രായോഗിക തന്ത്രങ്ങൾ

റാൻഡം I/O കുറയ്ക്കുന്നതിന് നിങ്ങളുടെ അപേക്ഷയുടെ പൂർണ്ണമായ റീറൈറ്റ് ആവശ്യമില്ല. ഡാറ്റ എങ്ങനെ സംഭരിക്കുന്നു, ആക്‌സസ് ചെയ്യുന്നു, കാഷെ ചെയ്യുന്നു എന്നതിൽ ടാർഗെറ്റുചെയ്‌തതും അളക്കാവുന്നതുമായ മാറ്റങ്ങൾ ഇതിന് ആവശ്യമാണ്. ഏറ്റവും ഉയർന്ന ആഘാതം നൽകുന്ന തന്ത്രങ്ങൾ ഇതാ:

1. അഗ്രസീവ് ക്വറി ബാച്ചിംഗ് നടപ്പിലാക്കുക. N+1 അന്വേഷണ പാറ്റേണുകൾ തീക്ഷ്ണമായ ലോഡിംഗ് ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കുക. നിങ്ങളുടെ ഡാഷ്‌ബോർഡ് 50 ഉപഭോക്താക്കളെയും അവരുടെ സമീപകാല പ്രവർത്തനങ്ങളെയും ലോഡുചെയ്യുകയാണെങ്കിൽ, 50 വ്യക്തിഗത ലുക്കപ്പുകൾക്കുപകരം WHERE customer_id IN (...) ഉപയോഗിച്ച് ഒരൊറ്റ അന്വേഷണത്തിൽ എല്ലാ 50 പ്രവർത്തന സെറ്റുകളും ലഭ്യമാക്കുക. ഇത് മാത്രം ലിസ്റ്റ് കാഴ്‌ചകളിൽ ക്രമരഹിതമായ I/O 80% കുറയ്ക്കും.
2. സംയോജിത സൂചികകൾ തന്ത്രപരമായി ഉപയോഗിക്കുക. (tenant_id, status, created_at) എന്നതിലെ ഒരു സംയോജിത സൂചിക, വ്യത്യസ്ത സൂചികകളിലുടനീളമുള്ള ഒന്നിലധികം റാൻഡം ലുക്കപ്പുകൾക്ക് പകരം ഒരൊറ്റ സീക്വൻഷ്യൽ ഇൻഡക്സ് സ്കാൻ ഉപയോഗിച്ച് പൊതുവായ ഫിൽട്ടർ ചെയ്ത അന്വേഷണങ്ങളെ തൃപ്തിപ്പെടുത്താൻ ഡാറ്റാബേസിനെ അനുവദിക്കുന്നു.
3. ഇൻ്റലിജൻ്റ് അസാധുവാക്കൽ ഉള്ള ഒരു കാഷിംഗ് ലെയർ അവതരിപ്പിക്കുക. കാഷെ ഇടയ്ക്കിടെ ആക്‌സസ് ചെയ്യുമെങ്കിലും അപൂർവ്വമായി മാറ്റുന്ന ഡാറ്റ - ഉപയോക്തൃ അനുമതികൾ, ഓർഗനൈസേഷൻ ക്രമീകരണങ്ങൾ, മൊഡ്യൂൾ കോൺഫിഗറേഷനുകൾ - മെമ്മറിയിൽ. Redis അല്ലെങ്കിൽ Memcached-ന് ഇവ മൈക്രോസെക്കൻഡിൽ സേവിക്കാൻ കഴിയും, ഇത് മിനിറ്റിൽ ആയിരക്കണക്കിന് റാൻഡം റീഡുകൾ ഇല്ലാതാക്കുന്നു.
4. പ്രീ-കമ്പ്യൂട്ട് അഗ്രഗേഷനുകൾ. ഓരോ ഡാഷ്‌ബോർഡ് ലോഡിലെയും പ്രതിമാസ വരുമാനമോ ആളുകളുടെ എണ്ണമോ കണക്കാക്കുന്നതിന് പകരം, ഒരു ഷെഡ്യൂളിൽ അഗ്രഗേഷൻ ജോലികൾ പ്രവർത്തിപ്പിച്ച് ഫലങ്ങൾ സംഭരിക്കുക. റിയൽ-ടൈം റാൻഡം I/O-യിൽ വൻതോതിലുള്ള കുറവ് വരുത്താൻ ചെറിയ അളവിൽ ഡാറ്റ ഫ്രഷ്‌നെസ് ട്രേഡ് ചെയ്യുക.
5. ആക്‌സസ് പാറ്റേൺ പ്രകാരം വലിയ ടേബിളുകൾ വിഭജിക്കുക. കഴിഞ്ഞ 30 ദിവസങ്ങളിലെ ഡാറ്റയിൽ 90% ചോദ്യങ്ങളും സ്‌പർശിക്കുന്നുവെങ്കിൽ, നിങ്ങളുടെ ടേബിളുകൾ തീയതി ശ്രേണി അനുസരിച്ച് വിഭജിക്കുക, അതുവഴി ചരിത്രപരമായ ഡാറ്റ വിലകുറഞ്ഞ സ്റ്റോറേജിൽ തണുത്തിരിക്കുമ്പോൾ സജീവമായ പാർട്ടീഷൻ കാഷെയിൽ ചൂടായി തുടരും.

ഇവ വിചിത്രമായ സാങ്കേതികതകളല്ല. സങ്കീർണ്ണവും മൾട്ടി-മൊഡ്യൂൾ ഇൻ്റർഫേസുകളിലുടനീളം സബ്-സെക്കൻഡ് പ്രതികരണ സമയം നിലനിർത്താൻ ലക്ഷക്കണക്കിന് ഉപയോക്താക്കൾക്ക് സേവനം നൽകുന്ന പ്ലാറ്റ്‌ഫോമുകളെ അനുവദിക്കുന്ന അതേ പാറ്റേണുകളാണ് അവ. Mewayz അതിൻ്റെ ആർക്കിടെക്ചർ V2-നായി പുനർനിർമ്മിച്ചപ്പോൾ - ഒരൊറ്റ ലിങ്ക്-ഇൻ-ബയോ ടൂളിൽ നിന്ന് 138,000-ലധികം ഉപയോക്താക്കൾക്ക് സേവനം നൽകുന്ന 207-മൊഡ്യൂൾ ബിസിനസ്സ് OS-ലേക്ക് സ്കെയിലിംഗ് - I/O ആക്സസ് പാറ്റേണുകൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നത് അടിസ്ഥാന സൗകര്യങ്ങളുടെ ചെലവുകൾ ആനുപാതികമായി വർദ്ധിപ്പിക്കാതെ ആ വിപുലീകരണം പ്രാവർത്തികമാക്കുന്നതിന് അടിസ്ഥാനമായി.

ഉപയോക്തൃ അനുഭവത്തിലും നിലനിർത്തലിലും കോമ്പൗണ്ടിംഗ് പ്രഭാവം

പ്രകടനം ഒരു ബാക്കെൻഡ് ആശങ്ക മാത്രമല്ല - ഇതൊരു ഉൽപ്പന്ന സവിശേഷതയാണ്. 53% മൊബൈൽ ഉപയോക്താക്കളും ലോഡ് ചെയ്യാൻ 3 സെക്കൻഡിൽ കൂടുതൽ എടുക്കുന്ന പേജ് ഉപേക്ഷിക്കുന്നു എന്ന് Google-ൻ്റെ ഗവേഷണം സ്ഥിരമായി കാണിക്കുന്നു. ഉപയോക്താക്കൾ പ്രതിദിനം ഡസൻ കണക്കിന് തവണ ഇടപഴകുന്ന ബിസിനസ്സ് ആപ്ലിക്കേഷനുകൾക്ക്, സഹിഷ്ണുത ഇതിലും കുറവാണ്. പ്രതിവാര റിപ്പോർട്ടുകൾ നടത്തുന്ന ഒരു പേറോൾ മാനേജർ, അപേക്ഷകരെ അവലോകനം ചെയ്യുന്ന ഒരു എച്ച്ആർ ലീഡ്, അല്ലെങ്കിൽ പൈപ്പ്‌ലൈൻ സ്റ്റാറ്റസ് പരിശോധിക്കുന്ന ഒരു സെയിൽസ് പ്രതിനിധി - ഈ ഉപയോക്താക്കൾ അവബോധജന്യമായ വേഗതാബോധം വികസിപ്പിക്കുന്നു. "ഇൻവോയ്‌സ് അഗ്രഗേഷൻ അന്വേഷണത്തിലെ ക്രമരഹിതമായ I/O ലേറ്റൻസി വളരെ കൂടുതലാണ്" എന്ന് അവർ വ്യക്തമാക്കിയേക്കില്ല, എന്നാൽ "ഈ സോഫ്‌റ്റ്‌വെയർ മന്ദഗതിയിലാണെന്ന്" അവർ പറയുകയും ഇതരമാർഗങ്ങൾ വിലയിരുത്താൻ തുടങ്ങുകയും ചെയ്യും.

കോമ്പൗണ്ടിംഗ് പ്രഭാവം അളക്കാവുന്നതാണ്. 2.4 സെക്കൻഡിനുപകരം 800എംഎസിൽ ഡാഷ്‌ബോർഡുകൾ ലോഡുചെയ്യുന്ന ഒരു പ്ലാറ്റ്‌ഫോം 3 മടങ്ങ് വേഗത്തിൽ അനുഭവപ്പെടുന്നില്ല - ഇത് ഉപയോഗ രീതി മാറ്റുന്നു. ഉപയോക്താക്കൾ കൂടുതൽ ഇടയ്ക്കിടെ ഡാറ്റ പരിശോധിക്കുകയും കൂടുതൽ മൊഡ്യൂളുകൾ പര്യവേക്ഷണം ചെയ്യുകയും ടൂളിനെ അവരുടെ വർക്ക്ഫ്ലോകളിലേക്ക് കൂടുതൽ ആഴത്തിൽ സംയോജിപ്പിക്കുകയും ചെയ്യുന്നു. ഉയർന്ന ഇടപഴകൽ ഉയർന്ന നിലനിർത്തൽ നയിക്കുന്നു, ഇത് ഉയർന്ന ജീവിത മൂല്യത്തെ നയിക്കുന്നു. സ്ലാക്ക് പ്രസിദ്ധമായി അതിൻ്റെ ആദ്യകാല വളർച്ചയുടെ ഒരു പ്രധാന ഭാഗം ഒബ്സസീവ് പെർഫോമൻസ് ഒപ്റ്റിമൈസേഷനായി കണക്കാക്കി, വേഗത തന്നെ ഒരു മത്സര കിടങ്ങാണെന്ന് തിരിച്ചറിഞ്ഞു.

ഓൾ-ഇൻ-വൺ ബിസിനസ് പ്ലാറ്റ്‌ഫോമുകൾക്കായി, ഈ ഇഫക്റ്റ് എല്ലാ മൊഡ്യൂളിലും പെരുകുന്നു. CRM വേഗതയേറിയതാണെങ്കിലും ഇൻവോയ്‌സിംഗ് മന്ദഗതിയിലാണെങ്കിൽ, മുഴുവൻ പ്ലാറ്റ്‌ഫോമിൻ്റെയും ധാരണ ബാധിക്കും. ഫീച്ചറുകളിലുടനീളം പ്രകടനത്തിൻ്റെ സ്ഥിരത - ബുക്കിംഗ് മാനേജ്‌മെൻ്റ് മുതൽ ഫ്ലീറ്റ് ട്രാക്കിംഗ്, അനലിറ്റിക്‌സ് വരെ - ഏറ്റവും ദൃശ്യമായ മൊഡ്യൂളുകളിൽ മാത്രമല്ല, എല്ലായിടത്തും സ്ഥിരമായി ഒപ്റ്റിമൈസ് ചെയ്ത I/O പാറ്റേണുകൾ ആവശ്യമാണ്.

പ്രധാനമായത് അളക്കൽ: ക്രമരഹിതമായ I/O ദൃശ്യമാക്കൽ

നിങ്ങൾക്ക് കാണാൻ കഴിയാത്തത് പരിഹരിക്കാൻ കഴിയില്ല. ക്രമരഹിതമായ I/O ചെലവുകൾ പരിഹരിക്കുന്നതിനുള്ള ആദ്യ പടി നിങ്ങളുടെ എഞ്ചിനീയറിംഗ്, ഓപ്പറേഷൻ ടീമുകൾക്ക് അവ ദൃശ്യമാക്കുക എന്നതാണ്. Datadog, New Relic, അല്ലെങ്കിൽ Grafana ഉള്ള Prometheus പോലുള്ള ഓപ്പൺ സോഴ്‌സ് സൊല്യൂഷനുകൾ പോലെയുള്ള ആധുനിക നിരീക്ഷണ ഉപകരണങ്ങൾക്ക് IOPS പാറ്റേണുകൾ, ലേറ്റൻസി ഡിസ്ട്രിബ്യൂഷനുകൾ, കാഷെ ഹിറ്റ് നിരക്കുകൾ എന്നിവ തത്സമയം ട്രാക്ക് ചെയ്യാൻ കഴിയും. ഏറ്റവും പ്രാധാന്യമുള്ള മെട്രിക്കുകൾ ഇവയാണ്:

• p95, p99 എന്നിവ ലേറ്റൻസി അന്വേഷിക്കുന്നു: ശരാശരി ലേറ്റൻസി വേദനയെ മറയ്ക്കുന്നു. 95-ഉം 99-ഉം പെർസെൻറ്റൈൽ നിങ്ങളുടെ വേഗത കുറഞ്ഞതും നിരാശാജനകവുമായ - ഉപയോക്താക്കൾ യഥാർത്ഥത്തിൽ അനുഭവിക്കുന്നത് എന്താണെന്ന് കാണിക്കുന്നു
• റീഡ് വേഴ്സസ്, സീക്വൻഷ്യൽ വേഴ്സസ് റാൻഡം പ്രകാരമുള്ള IOPS ബ്രേക്ക്ഡൌൺ: ഇത് നിങ്ങളുടെ ജോലിഭാരം I/O-ബൗണ്ട് ആണോ എന്നും ഏത് തരത്തിലുള്ള I/O ആണ് ആധിപത്യം പുലർത്തുന്നത് എന്നും വെളിപ്പെടുത്തുന്നു
• കാഷെ ഹിറ്റ് അനുപാതം: നന്നായി ട്യൂൺ ചെയ്ത സിസ്റ്റത്തിൽ 95%-ൽ താഴെയുള്ള അനുപാതം മെമ്മറിയിൽ നിന്ന് നൽകാത്ത ഡാറ്റ ആക്‌സസ് പാറ്റേണുകൾ നിർദ്ദേശിക്കുന്നു
• ഓരോ പേജ് ലോഡിനും ചോദ്യങ്ങളുടെ എണ്ണം: ഒരു ഉപയോക്തൃ പ്രവർത്തനം 20-30 ഡാറ്റാബേസ് അന്വേഷണങ്ങളിൽ കൂടുതൽ ട്രിഗർ ചെയ്യുകയാണെങ്കിൽ, തീർച്ചയായും ഒരു ഒപ്റ്റിമൈസേഷൻ അവസരമുണ്ട്

ഈ ഡാറ്റ ഉപയോഗിച്ച് സായുധരായ ടീമുകൾക്ക് ഊഹിക്കുന്നതിനുപകരം ഉയർന്ന സ്വാധീനം ചെലുത്തുന്ന ഒപ്റ്റിമൈസേഷനുകൾക്ക് മുൻഗണന നൽകാനാകും. I/O പ്രകടനത്തെ ഒരു ഫസ്റ്റ്-ക്ലാസ് മെട്രിക് ആയി കണക്കാക്കുന്ന ബിസിനസുകൾ - പ്രവർത്തനസമയം, പിശക് നിരക്കുകൾ, ഉപയോക്തൃ സംതൃപ്തി എന്നിവയ്‌ക്കൊപ്പം - കുറഞ്ഞ ചെലവിൽ വേഗത്തിലുള്ള ഉൽപ്പന്നങ്ങൾ സ്ഥിരമായി വിതരണം ചെയ്യുന്നു. ഉപഭോക്തൃ ആപ്ലിക്കേഷനുകൾ പോലെ ബിസിനസ്സ് ടൂളുകൾ പ്രതികരിക്കുമെന്ന് ഉപയോക്താക്കൾ പ്രതീക്ഷിക്കുന്ന ഒരു വിപണിയിൽ, ആ അച്ചടക്കം ഓപ്ഷണൽ അല്ല. 138,000 ഉപയോക്താക്കൾക്ക് ഭംഗിയായി സ്കെയിൽ ചെയ്യുന്ന ഒരു പ്ലാറ്റ്‌ഫോമും അതിൻ്റേതായ സങ്കീർണ്ണതയ്ക്ക് കീഴിൽ ബക്കിൾ ചെയ്യുന്ന പ്ലാറ്റ്‌ഫോമും തമ്മിലുള്ള വ്യത്യാസമാണിത്.