சீரற்ற I/O இன் உண்மையான விலை

உங்கள் வணிக மென்பொருள் இருக்க வேண்டியதை விட மெதுவாக உள்ளது - மேலும் ரேண்டம் I/O என்பது கண்ணுக்கு தெரியாத குற்றவாளி

ஒவ்வொரு முறையும் வாடிக்கையாளர் மெதுவான டாஷ்போர்டைப் பற்றி புகார் செய்யும் போதும், ஒவ்வொரு முறையும் உங்கள் குழு அறிக்கை ஏற்றப்படுவதற்கு மூன்று வினாடிகள் கூடுதல் நேரம் காத்திருக்கும் போதும், ஒவ்வொரு முறையும் உங்கள் செக்அவுட் பக்கம் வாங்குபவரை பொறுமையிழக்கச் செய்யும் - ரேண்டம் I/O உங்கள் வருவாயை அமைதியாகக் குறைக்கும் வாய்ப்பு அதிகம். இது தரவுத்தளப் பொறியாளர்களுக்காக ஒதுக்கப்பட்ட வார்த்தை அல்ல. இது CRM தேடுதல்கள் முதல் விலைப்பட்டியல் உருவாக்கம் வரை கிட்டத்தட்ட ஒவ்வொரு வணிக பயன்பாட்டிலும் மறைந்திருக்கும் அளவிடக்கூடிய, விலையுயர்ந்த இடையூறாகும். அதன் உண்மையான செலவைப் புரிந்துகொள்வது ஒரு தொழில்நுட்ப பயிற்சி மட்டுமல்ல - இது ஒரு நிதி. இதைப் புறக்கணிக்கும் நிறுவனங்கள், ப்ளேட்டட் கிளவுட் பில்களில் விலையைச் செலுத்துகின்றன, இழந்த வாடிக்கையாளர்கள் மற்றும் உடனடியாக ஏற்றப்படும் திரைகளில் காத்திருக்கும் அணிகள்.

ரேண்டம் I/O என்றால் என்ன (மற்றும் அது ஏன் விலை உயர்ந்தது)

அதன் மையத்தில், I/O — input/output — என்பது சேமிப்பகத்திற்கு தரவைப் படித்து எழுதும் செயல்முறையாகும். உங்கள் பயன்பாடு தரவுத்தளத்திலிருந்து பதிவுகளைப் பெறும்போது, ​​வட்டில் இருந்து கோப்புகளை ஏற்றும்போது அல்லது பரிவர்த்தனை பதிவுகளை எழுதும்போது, ​​அது I/O செயல்பாடுகளைச் செய்கிறது. இந்த செயல்பாடுகள் இரண்டு வகைகளில் வருகின்றன: வரிசைமுறை மற்றும் ரேண்டம். தொடர் I/O ஒரு புத்தகத்தை தொடக்கத்திலிருந்து இறுதி வரை படிப்பது போன்ற தொடர்ச்சியான தொகுதிகளில் தரவைப் படிக்கிறது அல்லது எழுதுகிறது. ரேண்டம் I/O பக்கம் 47, பிறகு பக்கம் 3, பிறகு பக்கம் 812 க்கு புரட்டுவது போல, கணிக்க முடியாத வகையில் சுற்றி வருகிறது.

இந்த இரண்டு வடிவங்களுக்கிடையிலான செயல்திறன் இடைவெளி அதிர்ச்சியளிக்கிறது. ஒரு பாரம்பரிய ஹார்ட் டிரைவில், தொடர் வாசிப்புகள் 150-200 MB/s செயல்திறனை அடைய முடியும், அதே சமயம் சீரற்ற வாசிப்புகள் பெரும்பாலும் 0.5-1.5 MB/s இல் வலம் வரும் - 100x அல்லது அதற்கு மேற்பட்ட வித்தியாசம். சீரற்ற I/O செயல்திறனை வியத்தகு முறையில் மேம்படுத்தும் நவீன NVMe SSDகளில் கூட, பணிச்சுமையைப் பொறுத்து இடைவெளி இன்னும் 5x முதல் 20x வரை இருக்கும். உங்கள் வணிகப் பயன்பாடு ஒரு வினாடிக்கு ஆயிரக்கணக்கான சிறிய, சிதறிய வாசிப்புக் கோரிக்கைகளை வெளியிடும் போது - வாடிக்கையாளர் பெயரை இங்கே இழுத்து, ஒரு விலைப்பட்டியல் உருப்படி, வேறு எங்காவது அனுமதிச் சரிபார்ப்பு - ஒவ்வொரு ஹாப்பும் மைக்ரோ விநாடிகளில் அளவிடப்படும் தாமதத்தை அறிமுகப்படுத்துகிறது, இது உண்மையான பயனர் காத்திருப்பு நேரத்தை வினாடிகளாகக் கூட்டும்.

இயற்பியல் பல தசாப்தங்களாக மாறவில்லை: சேமிப்பகத்தில் சிதறிய தரவை அணுகுவது, அதை வரிசையாக ஸ்ட்ரீமிங் செய்வதை விட அடிப்படையில் மெதுவாக உள்ளது. நவீன பயன்பாடுகள் சீரற்ற I/O ஐ உருவாக்கும் அளவு மாறிவிட்டது, அதன் செலவை புறக்கணிக்க இயலாது.

ஒவ்வொரு வணிக நடவடிக்கையிலும் மறைக்கப்பட்ட வரி

ஒரு பயனர் CRM டாஷ்போர்டைத் திறக்கும்போது என்ன நடக்கும் என்பதைக் கவனியுங்கள். பயன்பாடு வாடிக்கையாளர் அட்டவணையை வினவுகிறது, சமீபத்திய செயல்பாட்டுப் பதிவுகளுடன் இணைக்கிறது, தொடர்புடைய ஒப்பந்த மதிப்புகளை இழுக்கிறது, பயனர் அனுமதிகளைச் சரிபார்க்கிறது, அறிவிப்பு எண்ணிக்கையை ஏற்றுகிறது மற்றும் காட்சி விருப்பங்களைப் பெறுகிறது. இந்த வினவல்கள் ஒவ்வொன்றும் வட்டில் வெவ்வேறு இடங்களில் சேமிக்கப்பட்ட வெவ்வேறு அட்டவணைகளைத் தொடலாம். 50 வாடிக்கையாளர் பதிவுகளைக் காண்பிக்கும் டாஷ்போர்டில் 300 முதல் 500 சீரற்ற I/O செயல்பாடுகளை உருவாக்கலாம். உச்ச வணிக நேரங்களில் 200 ஒரே நேரத்தில் உள்ள பயனர்களால் பெருக்கவும், உங்கள் தரவுத்தள சேவையகம் வினாடிக்கு 100,000 சீரற்ற வாசிப்புகளை செயலாக்குகிறது.

இது கற்பனையானது அல்ல. பெர்கோனாவின் 2024 ஆம் ஆண்டு ஆய்வில், மோசமாக மேம்படுத்தப்பட்ட தரவுத்தள பணிச்சுமைகள் I/O செயல்பாடுகளில் 68% வரை காத்திருக்கிறது, சீரற்ற அணுகல் முறைகள் முதன்மைக் குற்றவாளி. ஆயிரக்கணக்கான வணிகங்களுக்குச் சேவை செய்யும் SaaS நிறுவனத்திற்கு, இது நேரடியாக அதிக உள்கட்டமைப்புச் செலவுகளாக மாற்றுகிறது. கிளவுட் வழங்குநர்கள் IOPS (வினாடிக்கு I/O செயல்பாடுகள்) மூலம் கட்டணம் வசூலிக்கிறார்கள், மேலும் சீரற்ற I/O-கடுமையான பணிச்சுமைகள் மாதாந்திர சேமிப்பக பில்களை நூற்றுக்கணக்கில் இருந்து பல்லாயிரக்கணக்கான டாலர்களாக உயர்த்தலாம் - தரவு அளவு காரணமாக அல்ல, ஆனால் அணுகல் முறைகள் காரணமாக.

செலவு உள்கட்டமைப்புக்கு அப்பாற்பட்டது. அகமாயின் ஆராய்ச்சியின்படி, ஒவ்வொரு 100 மில்லி விநாடிகளின் கூடுதல் பக்க ஏற்ற நேரமும் மாற்று விகிதங்களை தோராயமாக 7% குறைக்கிறது. சீரற்ற I/O ஆனது உங்கள் விலைப்பட்டியல் உருவாக்கம் அல்லது அறிக்கை ஏற்றுதல் ஆகியவற்றில் ஒரு முழு வினாடியைச் சேர்க்கும் போது, நீங்கள் கணக்கிடுவதை மட்டும் எரிக்கவில்லை - நீங்கள் வருவாயை எரிக்கிறீர்கள்.

வணிகப் பயன்பாடுகள் செயல்திறனைக் குறைக்கும் இடம்

I/O வடிவங்களுக்கு வரும்போது எல்லா அம்சங்களும் சமமாக உருவாக்கப்படுவதில்லை. மிகவும் பொதுவான வணிகச் செயல்பாடுகளில் சிலவும் சீரற்ற அணுகலுக்கான மோசமான குற்றவாளிகளாகும்:

• தேடல் மற்றும் வடிகட்டுதல்: பல புலங்களில் (பெயர், தேதி, நிலை, குறிச்சொற்கள்) வினவுவது, சேமிப்பகம் முழுவதும் சிதறிய குறியீடுகளை ஸ்கேன் செய்ய தரவுத்தளத்தை கட்டாயப்படுத்துகிறது, அதிக சீரற்ற வாசிப்புகளை உருவாக்குகிறது
• டாஷ்போர்டு திரட்டல்கள்: வருவாயைச் சுருக்கவும், செயலில் உள்ள பயனர்களைக் கணக்கிடவும் அல்லது தாமதமான இன்வாய்ஸ்களைக் கணக்கிடவும் வெவ்வேறு தரவுப் பக்கங்களில் பரவியுள்ள ஆயிரக்கணக்கான வரிசைகளைத் தொட வேண்டும்
• அனுமதி சரிபார்ப்புகள்: பல குத்தகைதாரர் தளங்களில் பங்கு அடிப்படையிலான அணுகல் கட்டுப்பாட்டிற்கு ஒரு கோரிக்கைக்கு பல தேடல்கள் தேவை - பயனர் → பங்கு → அனுமதிகள் → ஆதாரம் - ஒவ்வொன்றும் வெவ்வேறு அட்டவணைகளைத் தாக்கும்
• அறிக்கை உருவாக்கம்: மாதாந்திர ஊதிய அறிக்கைகள், கடற்படை பராமரிப்பு சுருக்கங்கள் அல்லது HR பகுப்பாய்வுகள் ஒரே நேரத்தில் டஜன் கணக்கான அட்டவணைகளிலிருந்து தரவை இழுக்கின்றன
• நிகழ்நேர அறிவிப்புகள்: தொகுதிகள் முழுவதும் புதிய செய்திகள், பணி புதுப்பிப்புகள் மற்றும் கணினி விழிப்பூட்டல்களைச் சரிபார்ப்பது சிறிய, சீரற்ற வினவல்களின் நிலையான ஸ்ட்ரீமை உருவாக்குகிறது

வடிவம் தெளிவாக உள்ளது: ஒரு இயங்குதளம் எவ்வளவு தொகுதிகள் மற்றும் அம்சங்களை வழங்குகிறதோ, அந்த அளவுக்கு I/O பாதைகள் பெருகும். ஒரு எளிய லிங்க்-இன்-பயோ கருவி ஒரு பக்க ஏற்றத்திற்கு 10 வினவல்களை உருவாக்கலாம். CRM, இன்வாய்சிங், HR, ஊதியம், முன்பதிவு மற்றும் பகுப்பாய்வு தொகுதிகள் கொண்ட ஒரு முழு வணிக இயக்க முறைமை - Mewayz அதன் 207 தொகுதிகளில் வழங்குவது போன்றது - கோட்பாட்டளவில் நூற்றுக்கணக்கானவற்றை உருவாக்க முடியும். உடனடியாக உணரும் தளத்திற்கும் மந்தமானதாக உணரும் ஒரு தளத்திற்கும் இடையே உள்ள வித்தியாசம், அந்த I/O வடிவங்கள் திரைக்குப் பின்னால் எவ்வளவு புத்திசாலித்தனமாக நிர்வகிக்கப்படுகின்றன என்பதைப் பொறுத்தது.

ஏன் வன்பொருளை சிக்கலில் வீசுவது வேலை செய்யாது

பயன்பாடுகள் குறையும் போது உள்ளுணர்வு மேம்படுத்துவது. பெரிய சர்வர்கள், வேகமான SSDகள், அதிக ரேம். வன்பொருள் மேம்பாடுகள் உதவும் அதே வேளையில், அவை CFO களை அசௌகரியமாக மாற்றும் வருவாயைக் குறைக்கும் வளைவைப் பின்பற்றுகின்றன. உங்கள் தரவுத்தள சேவையகத்தின் RAM ஐ 64GB இலிருந்து 128GB க்கு இரட்டிப்பாக்குவது கேச் ஹிட் விகிதங்களை 92% இலிருந்து 96% ஆக மேம்படுத்தலாம் - இது ஒரு அர்த்தமுள்ள லாபம், ஆனால் மீதமுள்ள 4% கேச் மிஸ்கள் ரேண்டம் I/O உடன் சேமிப்பகத்தைத் தாக்கும். AWS இல் உங்கள் IOPS ஒதுக்கீட்டை 3,000 முதல் 10,000 வரை மூன்று மடங்காக உயர்த்தினால், மாதத்திற்கு சுமார் $450 செலவாகும், ஆனால் p99 மறுமொழி நேரத்தை 30% மட்டுமே மேம்படுத்தலாம்.

உண்மையான பிரச்சனை கட்டிடக்கலை. ரேண்டம் I/O என்பது ஆழமான சிக்கல்களின் அறிகுறியாகும்: காணாமல் போன அல்லது மோசமாக வடிவமைக்கப்பட்ட குறியீடுகள், N+1 வினவல் முறைகள், இதில் பயன்பாடு ஒரு தரவுத்தள அழைப்பை உருவாக்குவதற்குப் பதிலாக ஒரு உருப்படிக்கு ஒரு தரவுத்தள அழைப்பை உருவாக்குகிறது, ஒரு காட்சி வரிசையில் ஐந்து அட்டவணைகள் இணைக்கப்பட வேண்டிய மிகைப்படுத்தப்பட்ட ஸ்கீமாக்கள், மற்றும் படிக்கப்பட்ட பிரதிகள் அல்லது கேச்சிங் லேயர்களின் பற்றாக்குறை. வன்பொருள் மேம்படுத்தல்கள் அறிகுறி சிகிச்சை. கட்டடக்கலை மேம்படுத்தல் காரணத்தை நடத்துகிறது.

மிக விலையுயர்ந்த I/O செயல்பாடு முதலில் இருக்கக் கூடாது. வேகமான சேமிப்பகத்திற்காக செலவழிக்கப்பட்ட ஒவ்வொரு டாலருக்கும், வினவல் தேர்வுமுறைக்கு செலவிடப்படும் பத்து சென்ட்கள் சிறந்த முடிவுகளை வழங்குகிறது. செயல்திறனில் வெற்றிபெறும் நிறுவனங்கள் தங்கள் போட்டியை மிஞ்சுவதில்லை - அவர்கள் தங்கள் தரவு அணுகல் முறைகளைப் பற்றி சிந்திக்கிறார்கள்.

உண்மையில் சீரற்ற I/O ஐக் குறைக்கும் நடைமுறை உத்திகள்

ரேண்டம் I/O ஐக் குறைப்பதற்கு உங்கள் விண்ணப்பத்தை முழுமையாக மீண்டும் எழுத வேண்டிய அவசியமில்லை. தரவு எவ்வாறு சேமிக்கப்படுகிறது, அணுகப்படுகிறது மற்றும் தற்காலிகமாக சேமிக்கப்படுகிறது என்பதில் இலக்கு, அளவிடக்கூடிய மாற்றங்கள் தேவை. மிக உயர்ந்த தாக்கத்தை வழங்கும் உத்திகள் இதோ:

1. ஆக்கிரமிப்பு வினவல் தொகுப்பைச் செயல்படுத்தவும். ஆர்வமுள்ள ஏற்றுதலுடன் N+1 வினவல் வடிவங்களை மாற்றவும். உங்கள் டாஷ்போர்டு 50 வாடிக்கையாளர்களையும் அவர்களின் சமீபத்திய செயல்பாடுகளையும் ஏற்றினால், 50 தனிப்பட்ட தேடல்களுக்குப் பதிலாக WHERE customer_id IN (...) ஐப் பயன்படுத்தி அனைத்து 50 செயல்பாட்டுத் தொகுப்புகளையும் ஒரே வினவலில் பெறவும். இது மட்டுமே பட்டியல் காட்சிகளில் சீரற்ற I/O ஐ 80% குறைக்கலாம்.
2. கலவை குறியீடுகளை மூலோபாயமாகப் பயன்படுத்தவும். (tenant_id, status, created_at) இல் உள்ள ஒரு கூட்டுக் குறியீடு, தனித்தனி குறியீடுகள் முழுவதும் பல சீரற்ற தேடல்களுக்குப் பதிலாக ஒற்றை வரிசை குறியீட்டு ஸ்கேன் மூலம் பொதுவான வடிகட்டப்பட்ட வினவல்களை திருப்திப்படுத்த தரவுத்தளத்தை அனுமதிக்கிறது.
3. புத்திசாலித்தனமான செல்லாததாக்குதல் கொண்ட கேச்சிங் லேயரை அறிமுகப்படுத்தவும். கேச் அடிக்கடி அணுகப்படும் ஆனால் அரிதாகவே மாற்றப்படும் தரவு — பயனர் அனுமதிகள், நிறுவன அமைப்புகள், தொகுதி உள்ளமைவுகள் — நினைவகத்தில். Redis அல்லது Memcached இவற்றை மைக்ரோ விநாடிகளில் வழங்க முடியும், ஒரு நிமிடத்திற்கு ஆயிரக்கணக்கான சீரற்ற வாசிப்புகளை நீக்குகிறது.
4. முன் கணக்கீடுகள் நிகழ்நேர ரேண்டம் I/O இல் பெரும் குறைப்புக்காக சிறிய அளவிலான தரவு புத்துணர்ச்சியை வர்த்தகம் செய்யவும்.
5. அணுகல் முறையில் பெரிய அட்டவணைகளைப் பிரிக்கவும். 90% வினவல்கள் கடந்த 30 நாட்களின் தரவைத் தொட்டால், உங்கள் அட்டவணைகளை தேதி வரம்பின்படி பிரிக்கவும், எனவே செயலில் உள்ள பகிர்வு தற்காலிக சேமிப்பில் சூடாக இருக்கும், அதே நேரத்தில் மலிவான சேமிப்பகத்தில் குளிர்ச்சியாக இருக்கும்.