Hacker News

Python 3.14 च्या ZSTD मॉड्यूलसह ​​मजकूर वर्गीकरण

Python 3.14 च्या ZSTD मॉड्यूलसह मजकूर वर्गीकरण मजकूराचे हे सर्वसमावेशक विश्लेषण त्याच्या मुख्य घटकांचे तपशीलवार परीक्षण आणि व्यापक परिणाम देते. फोकसची प्रमुख क्षेत्रे चर्चा केंद्रस्थानी आहे: मुख्य यंत्रणा आणि प्रो...

1 min read Via maxhalford.github.io

Mewayz Team

Editorial Team

Hacker News
आता मला आवश्यक असलेले सर्व संदर्भ माझ्याकडे आहेत. मला ब्लॉग पोस्ट लिहू द्या.

पायथन 3.14 च्या ZSTD मॉड्यूलसह मजकूर वर्गीकरण

Python 3.14 मानक लायब्ररीमध्ये compression.zstd मॉड्यूल सादर करते आणि ते मशीन लर्निंग मॉडेलशिवाय मजकूर वर्गीकरणासाठी आश्चर्यकारकपणे शक्तिशाली दृष्टिकोन उघडते. कंप्रेसर दोन मजकूर किती चांगले पिळून काढू शकतो याचे मोजमाप करून, तुम्ही त्यांची समानता निर्धारित करू शकता — नॉर्मलाइज्ड कम्प्रेशन डिस्टन्स (NCD) नावाचे तंत्र — आणि आता Zstandard उत्पादन वर्कलोडसाठी ते पुरेसे जलद करते.

कंप्रेशन-आधारित मजकूर वर्गीकरण प्रत्यक्षात कसे कार्य करते?

संक्षेप-आधारित वर्गीकरणामागील मूळ कल्पना माहितीच्या सिद्धांतामध्ये आहे. जेव्हा Zstandard सारख्या कॉम्प्रेशन अल्गोरिदमला मजकूराचा ब्लॉक येतो, तेव्हा तो पॅटर्नचा अंतर्गत शब्दकोश तयार करतो. दोन मजकूर समान शब्दसंग्रह, वाक्यरचना आणि रचना सामायिक करत असल्यास, त्यांना एकत्र संकुचित केल्याने केवळ मोठा मजकूर संकुचित करण्यापेक्षा थोडा मोठा परिणाम प्राप्त होतो. ते असंबंधित असल्यास, एकत्रित संकुचित आकार दोन्ही वैयक्तिक आकारांच्या बेरजेपर्यंत पोहोचतो.

हे नातेसंबंध सामान्यीकृत कॉम्प्रेशन डिस्टन्स फॉर्म्युलाद्वारे कॅप्चर केले आहे: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), जिथे C(x) हा मजकूर x चा संकुचित आकार आहे आणि C(xy) हा मजकूराचा दोन संकुचित आकार आहे. 0 च्या जवळ असलेले NCD मूल्य म्हणजे मजकूर खूप समान आहेत, तर 1 च्या जवळ असलेले मूल्य म्हणजे ते जवळजवळ कोणतीही माहितीपूर्ण सामग्री सामायिक करत नाहीत.

हे तंत्र काय उल्लेखनीय बनवते ते म्हणजे यासाठी प्रशिक्षण डेटा आवश्यक नाही, टोकनायझेशन नाही, एम्बेडिंग नाही आणि GPU नाही. कंप्रेसर स्वतः मजकूराच्या संरचनेचे शिकलेले मॉडेल म्हणून कार्य करतो. "लो-रिसोर्स टेक्स्ट क्लासिफिकेशन: ए पॅरामीटर-फ्री क्लासिफिकेशन मेथड विथ कॉम्प्रेसर्स" (2023) सारख्या पेपर्समध्ये प्रकाशित झालेल्या संशोधनात असे दिसून आले आहे की gzip-आधारित NCD ने काही बेंचमार्कवर BERT ला टक्कर दिली, ज्यामुळे या दृष्टिकोनात नवीन रूची निर्माण झाली.

Python 3.14 चे Zstandard मॉड्यूल NCD साठी गेम-चेंजर का आहे?

Python 3.14 पूर्वी, Zstandard वापरण्यासाठी तृतीय-पक्ष python-zstandard पॅकेज स्थापित करणे आवश्यक होते. नवीन compression.zstd मॉड्यूल, PEP 784 द्वारे सादर केले गेले आहे, थेट CPython सह पाठवले जाते. याचा अर्थ शून्य अवलंबित्व ओव्हरहेड आणि Meta च्या लढाई-चाचणी libzstd द्वारे समर्थित हमी, स्थिर API. वर्गीकरण कार्यांसाठी विशेषतः, Zstandard gzip किंवा bzip2 वर अनेक फायदे देते:

  • स्पीड: झेडस्टँडर्ड तुलनात्मक गुणोत्तरांमध्ये gzip पेक्षा 3-5x वेगाने संकुचित करते, हजारो दस्तऐवजांवर बॅच वर्गीकरण मिनिटांपेक्षा सेकंदात व्यवहार्य बनवते
  • ट्युनेबल कॉम्प्रेशन लेव्हल्स: लेव्हल 1 ते 22 तुम्हाला रेशोसाठी स्पीड ट्रेड करू देतात, ज्यामुळे तुम्हाला थ्रूपुट आवश्यकतांनुसार NCD अचूकता कॅलिब्रेट करण्याची परवानगी मिळते
  • शब्दकोश समर्थन: पूर्व-प्रशिक्षित Zstandard शब्दकोश लहान मजकूर (4KB पेक्षा कमी) च्या कॉम्प्रेशनमध्ये नाटकीयरित्या सुधारणा करू शकतात, जी अचूकपणे दस्तऐवजाच्या आकाराची श्रेणी आहे जिथे NCD अचूकता सर्वात महत्त्वाची आहे
  • स्ट्रीमिंग API: मॉड्यूल वाढीव कॉम्प्रेशनला समर्थन देते, वर्गीकरण पाइपलाइन सक्षम करते जे संपूर्ण कॉर्पोरा मेमरीमध्ये लोड न करता मजकूरांवर प्रक्रिया करते
  • मानक लायब्ररी स्थिरता: कोणतेही आवृत्ती विरोधाभास नाही, पुरवठा साखळी जोखीम नाही — compression import zstd कडून प्रत्येक Python 3.14+ इंस्टॉलेशनवर कार्य करते

मुख्य अंतर्दृष्टी: जेव्हा तुम्हाला बहुभाषिक मजकूर स्थानिकरित्या हाताळणाऱ्या जलद, अवलंबित्व-मुक्त बेसलाइनची आवश्यकता असते तेव्हा कॉम्प्रेशन-आधारित वर्गीकरण सर्वोत्तम कार्य करते. कंप्रेसर भाषा-विशिष्ट टोकन्सऐवजी रॉ बाइट्सवर कार्य करत असल्यामुळे, ते चीनी, अरबी किंवा मिश्र-भाषेतील दस्तऐवजांचे वर्गीकरण इंग्रजीप्रमाणेच प्रभावीपणे करतात - कोणत्याही भाषा मॉडेलची आवश्यकता नाही.

व्यावहारिक अंमलबजावणी कशी दिसते?

पायथन ३.१४ मध्ये किमान एनसीडी क्लासिफायर ३० ओळींमध्ये बसतो. तुम्ही प्रत्येक संदर्भ मजकूर एन्कोड करा (प्रति श्रेणी एक), नंतर प्रत्येक नवीन दस्तऐवजासाठी, प्रत्येक संदर्भाविरुद्ध NCD ची गणना करा आणि सर्वात कमी अंतर असलेली श्रेणी नियुक्त करा. येथे मुख्य तर्क आहे:

प्रथम, compression import zstd सह मॉड्यूल आयात करा. एक फंक्शन परिभाषित करा जे दोन बाइट स्ट्रिंग्स स्वीकारते, प्रत्येक वैयक्तिकरित्या संकुचित करते, त्यांचे संयोजन संकुचित करते आणि NCD स्कोअर मिळवते. नंतर प्रातिनिधिक नमुना मजकूरासाठी शब्दकोश मॅपिंग श्रेणी लेबल तयार करा. प्रत्येक येणाऱ्या दस्तऐवजासाठी, श्रेण्यांवर पुनरावृत्ती करा, NCD ची गणना करा आणि किमान निवडा.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

AG News डेटासेट (चार-श्रेणी बातम्या वर्गीकरण) च्या विरूद्ध बेंचमार्कमध्ये, कंप्रेशन लेव्हल 3 वर Zstandard वापरून हा दृष्टीकोन अंदाजे 62-65% अचूकता प्राप्त करतो — प्रशिक्षणाची कोणतीही पायरी नाही, मॉडेल डाउनलोड नाही आणि एका CPU कोरवर प्रति सेकंद अंदाजे 8,000 दस्तऐवजांच्या वर्गीकरणाची गती. कॉम्प्रेशन लेव्हल 10 पर्यंत वाढवल्याने थ्रूपुट प्रति सेकंद सुमारे 2,500 दस्तऐवज कमी करण्याच्या किंमतीवर अचूकता सुमारे 68% वर ढकलली जाते. हे आकडे फाइन-ट्यून केलेल्या ट्रान्सफॉर्मरशी जुळत नाहीत, परंतु ते प्रोटोटाइपिंग, डेटा लेबलिंग ट्रायज किंवा एमएल अवलंबित्व स्थापित करणे अव्यवहार्य असलेल्या वातावरणासाठी मजबूत आधाररेखा प्रदान करतात.

पारंपारिक एमएल वर्गीकरणाशी एनसीडीची तुलना कशी होते?

प्रामाणिक उत्तर हे आहे की एनसीडी हे उच्च-स्टेक उत्पादन प्रणालींमध्ये ट्रान्सफॉर्मर-आधारित वर्गीकरणासाठी बदलणारे नाही. BERT किंवा GPT-आधारित वर्गीकरण सारखे मॉडेल मानक बेंचमार्कवर 94%+ अचूकता प्राप्त करतात. तथापि, Zstandard सह NCD एक अद्वितीय स्थान व्यापते. हे कोल्ड-स्टार्ट परिस्थितींमध्ये उत्कृष्ट आहे जिथे आपल्याकडे प्रति वर्ग 50 पेक्षा कमी लेबल केलेली उदाहरणे आहेत - अशी परिस्थिती जिथे अगदी उत्कृष्ट मॉडेल देखील संघर्ष करतात. यासाठी शून्य प्रशिक्षण वेळ आवश्यक आहे, कोणतीही भाषा किंवा एन्कोडिंग बदलाशिवाय हाताळते आणि संपूर्णपणे सतत मेमरीसह CPU वर चालते.

मोठ्या प्रमाणात येणाऱ्या सामग्रीचे व्यवस्थापन करणाऱ्या व्यवसायांसाठी — समर्थन तिकिटे, सोशल मीडिया उल्लेख, उत्पादन पुनरावलोकने — एक Zstandard NCD क्लासिफायर फर्स्ट-पास राउटर म्हणून काम करू शकतो जो अधिक महाग मॉडेल्स परिणाम परिष्कृत करण्यापूर्वी रिअल टाइममध्ये दस्तऐवजांचे वर्गीकरण करतो. ही दोन-टप्पी पाइपलाइन एकूण अचूकता राखून अनुमान खर्च लक्षणीयरीत्या कमी करते. प्लॅटफॉर्म वापरकर्त्याने व्युत्पन्न केलेल्या सामग्रीवर मोठ्या प्रमाणावर प्रक्रिया करतात, जसे की 138,000 हून अधिक उद्योजकांनी वापरलेले मेवेझचे 207-मॉड्यूल व्यवसाय ओएस, मार्ग संदेश, सामग्री टॅग करण्यासाठी हलके वर्गीकरणाचा लाभ आणि जड पायाभूत सुविधांशिवाय वापरकर्ता अनुभव वैयक्तिकृत करतात.

मर्यादा आणि सर्वोत्तम पद्धती काय आहेत?

कंप्रेशन-आधारित वर्गीकरणामध्ये तुम्हाला ओळखल्या जाणाऱ्या मर्यादा आहेत. लहान मजकूर (100 बाइट्सच्या खाली) अविश्वसनीय NCD स्कोअर तयार करतात कारण कंप्रेसरकडे अर्थपूर्ण पॅटर्न तयार करण्यासाठी पुरेसा डेटा नाही. तंत्र संदर्भ ग्रंथांच्या निवडीसाठी देखील संवेदनशील आहे — खराब निवडलेले प्रतिनिधी अचूकतेला झपाट्याने कमी करतात. आणि NCD हे संभाव्य मॉडेल ऐवजी अंतर मेट्रिक असल्यामुळे, ते नैसर्गिकरित्या आत्मविश्वास स्कोअर तयार करत नाही.

या दृष्टिकोनातून जास्तीत जास्त मिळवण्यासाठी: प्रति श्रेणी किमान 500 बाइट्सचे संदर्भ मजकूर वापरा, प्रति वर्ग अनेक उदाहरणे एकत्र करून प्रयोग करा (2-3 प्रतिनिधी दस्तऐवज एकत्र जोडलेले चांगले कॉम्प्रेशन शब्दकोश देतात), कॉम्प्रेशनपूर्वी मजकूर केसिंग आणि व्हाईटस्पेस सामान्य करा आणि Zstandard कॉम्प्रेशन स्तर 3, 6, आणि 10-क्युरॅक स्पीड शोधा. लहान-मजकूर वर्गीकरणासाठी, तुमच्या डोमेन कॉर्पसवर Zstandard शब्दकोशाला पूर्व-प्रशिक्षित करा — ही एकल पायरी लहान दस्तऐवजांवर 8-12 टक्के गुणांनी अचूकता सुधारू शकते.

वारंवार विचारले जाणारे प्रश्न

भावना विश्लेषणासाठी कॉम्प्रेशन-आधारित वर्गीकरण कार्य करते का?

हे शक्य आहे, परंतु सावधगिरीने. भावना विश्लेषणासाठी संरचनात्मकदृष्ट्या समान मजकुरात सूक्ष्म स्वरातील फरक शोधणे आवश्यक आहे. NCD विषय वर्गीकरणासाठी अधिक चांगले कार्य करते जेथे विविध श्रेणींमधील दस्तऐवज भिन्न शब्दसंग्रह वापरतात. भावनेसाठी, अचूकता साधारणपणे ५५-६०% च्या आसपास असते — यादृच्छिक पेक्षा चांगली, परंतु स्वतः उत्पादनासाठी तयार नाही. लाइटवेट लॉजिस्टिक रीग्रेशन मॉडेलसह NCD वैशिष्ट्ये एकत्रित केल्याने परिणामांमध्ये लक्षणीय सुधारणा होते.

मी 3.14 पूर्वी Python आवृत्त्यांमध्ये compression.zstd मॉड्यूल वापरू शकतो का?

नाही. Python 3.14 मध्ये compression.zstd मॉड्यूल नवीन आहे. पूर्वीच्या आवृत्त्यांसाठी, PyPI वरून python-zstandard पॅकेज स्थापित करा, जे समतुल्य compress() आणि decompress() फंक्शन प्रदान करते. NCD लॉजिक सारखेच राहते - फक्त आयात विधान बदलते. एकदा तुम्ही 3.14 वर अपग्रेड केल्यानंतर, तुम्ही तृतीय पक्ष अवलंबित्व पूर्णपणे सोडू शकता.

कोसाइन समानतेसह TF-IDF च्या तुलनेत Zstandard NCD कसे कार्य करते?

संतुलित डेटासेटसह बहु-श्रेणी विषय वर्गीकरणावर, TF-IDF अधिक कोसाइन समानता विशेषत: Zstandard NCD च्या 62-68% च्या तुलनेत 75-82% अचूकता प्राप्त करते. तथापि, TF-IDF ला फिट वेक्टरायझर, परिभाषित शब्दसंग्रह आणि भाषा-विशिष्ट स्टॉपवर्ड सूची आवश्यक आहे. Zstandard NCD ला यापैकी कशाचीही प्रीप्रोसेसिंगची आवश्यकता नाही, ती संपूर्ण भाषांमध्ये कार्य करते आणि शब्दसंग्रहाच्या आकाराची पर्वा न करता सतत नवीन दस्तऐवजांचे वर्गीकरण करते. जलद प्रोटोटाइपिंग किंवा बहुभाषिक वातावरणासाठी, एनसीडी बहुतेक वेळा कार्यरत प्रणालीचा वेगवान मार्ग असतो.

तुम्ही स्वयंचलित सामग्री पाइपलाइन तयार करत असाल, ग्राहक संदेश राउटिंग करत असाल किंवा तुमच्या डिजिटल व्यवसायासाठी प्रोटोटाइपिंग वर्गीकरण तर्क, Python 3.14 चे अंगभूत Zstandard समर्थन कंप्रेशन-आधारित NCD ला नेहमीपेक्षा अधिक प्रवेशयोग्य बनवते. तुम्ही तुमच्या व्यवसाय सामग्री, उत्पादने, अभ्यासक्रम आणि ग्राहक संवाद व्यवस्थापित करण्यासाठी सर्व-इन-वन प्लॅटफॉर्म शोधत असल्यास, आजच Mewayz सह बिल्डिंग सुरू करा आणि ही तंत्रे तुमच्या संपूर्ण ऑपरेशनमध्ये काम करण्यासाठी ठेवा.