ሃሚንግ ዲስታንስ ንሃይብሪድ ሰርች ኣብ SQLite

ርሕቀት ሃሚንግ ኣብ መንጎ ክልተ ክልተኣዊ ሕብረ-ቁጽሪ ዝተፈላለዩ ቢት ዝቖጽር መሰረታዊ ተመሳሳልነት ሜትሪክ ኮይኑ፡ ኣብ ዳታቤዛት ንዝግበር ግምታዊ ናይ ቀረባ ጎረቤት ምድላይ ሓደ ካብቶም ዝቐልጠፉን ውጽኢታውያንን ሜላታት ይገብሮ። ብሃይብሪድ ፍተሻ ኣርኪቴክቸራት ኣብ SQLite ክውዕል ከሎ፡ ሃሚንግ ዲስታንስ ብዘይ ልዕሊ ዋጋ ውፉያት ቬክተር ዳታቤዛት ንናይ ትካል ደረጃ ትርጉማዊ ናይ ምድላይ ዓቕሚ ይኸፍት።

ርሕቀት ሃሚንግ እንታይ እዩ ንምንታይ እዩ ንናይ ዳታቤዝ ምድላይ ኣገዳሲ?

ርሕቀት ሃሚንግ ክልተ ማዕረ ንውሓት ዘለዎም ክልተኣዊ ሕብረ-ቁጽሪ ዝፈላለዩሉ ብዝሒ ቦታታት ይዕቅን። ንኣብነት፡ እቶም ክልተኣዊ ሕብረ-ቁጽሪ 10101100ን 10001101ን ናይ ሃሚንግ ርሕቀት 2 ኣለዎም፡ ምኽንያቱ ብልክዕ ኣብ ክልተ ቢት ቦታ ይፈላለዩ። ኣብ ናይ ዳታቤዝ ምድላይ ጽሑፋት፡ እዚ ቀሊል ዝመስል ስሌት ብዘይተለምደ ሓይሊ ይኸውን።

ባህላዊ ምድላይ ኤስኪዩኤል ኣብ ልክዕ ምትእስሳር ወይ ምሉእ ጽሑፍ ኢንዴክስ ይምርኮስ፣ እዚ ድማ ምስ ትርጉማዊ ተመሳሳልነት ይቃለስ — ተመሳሳሊ ቁልፊ ቃላት ኣብ ክንዲ ምክፋል ትርጉሙ ሓደ ዓይነት ነገር ዘለዎም ውጽኢታት ምርካብ። ርሕቀት ሃሚንግ ነዚ ክፍተት ካብ ትሕዝቶ ምትእትታው ብዝተረኽበ ክልተኣዊ ሃሽ ኮድ ብምስራሕ ይድልድሎ፣ ከም SQLite ዝኣመሰሉ ዳታቤዛት ቢትዋይዝ XOR ስርሓት ብምጥቃም ሚልዮናት መዛግብቲ ብሚሊሰከንድ ከነጻጽሩ የኽእሎም።

እቲ ሜትሪክ ብሪቻርድ ሃሚንግ ኣብ 1950 ኣብ ትሕዝቶ ናይ ጌጋ ምእራም ኮዳት እዩ ተኣታትዩ። ድሕሪ ዓሰርተታት ዓመታት፡ ብፍላይ ኣብቲ ፍጥነት ካብ ፍጹም ትኽክለኛነት ንላዕሊ ኣገዳሲ ኣብ ዝኾነሉ ስርዓታት፡ ኣብ ምእካብ ሓበሬታ ማእከላይ ኰነ። ኣብ ነፍሲ ወከፍ ንጽጽር ዘለዎ O(1) ስሌቱ (መምርሒታት ፖፕካውንት ሲፒዩ ብምጥቃም) ንዝተሰረቱን ቀለልትን ሞተር ዳታቤዝ ብፍሉይ ዝምችእ ይገብሮ።

ሃይብሪድ ሰርች ከመይ ጌሩ ሃሚንግ ርሕቀት ምስ ባህላዊ SQLite ሕቶታት የወሃህዶ?

ኣብ SQLite ምትሕውዋስ ምድላይ ክልተ ተመላላእቲ ናይ ምውሳድ ስትራተጂታት የወሃህድ፡ ስፍሕ ዝበለ ቁልፊ ቃላት ምድላይ (ኣብ ውሽጢ SQLite ዝተሃንጸ FTS5 ምሉእ ጽሑፍ ምድላይ መቐጸልታ ብምጥቃም) ከምኡ’ውን ጽዑቕ ተመሳሳልነት ምድላይ (ኣብ ክልተኣዊ ቁጽሪ ዘለዎ ምትእትታው Hamming distance ብምጥቃም)። ክልቲኡ ኣገባባት ጥራይ ንዘመናዊ ናይ ምድላይ ጠለባት እኹል ኣይኮነን።

ልሙድ ድቀ-ባህርያዊ ሻምብቆ ምድላይ ከምዚ ዝስዕብ ይሰርሕ፡

ዝብል ጽሑፍ ኣሎ።
1. ምትእትታው ወለዶ፦ ነፍሲ ወከፍ ሰነድ ወይ መዝገብ ብናይ ቋንቋ ሞዴል ወይ ናይ ኢንኮዲንግ ፋንክሽን ተጠቒምካ ናብ ልዑል-መኣዝናዊ ተንሳፋፊ ነጥቢ ቬክተር ይቕየር።
2. ባይነሪ ኳንታይዜሽን: እቲ ፍሎት ቬክተር ከም ሲምሃሽ ወይ ራንደም ፕሮጀክት ዝኣመሰሉ ሜላታት ተጠቒምካ ናብ ውሱን ክልተኣዊ ሃሽ (ንኣብነት 64 ወይ 128 ቢት) ይጽቀጥ፣ እዚ ድማ ንመኽዘን ዘድልዮ ኣዝዩ ይንኪ።
3. መኽዘን ኢንዴክስ ሃሚንግ፦ እቲ ክልተኣዊ ሃሽ ኣብ SQLite ከም INTEGER ወይ BLOB ዓምዲ ይኽዘን፣ ኣብ ግዜ ሕቶ ቅልጡፍ ቢትዋይዝ ስርሓት የኽእል።
4. ናይ ሕቶ-ግዜ ነጥቢ ምሃብ፡ ሓደ ተጠቃሚ ሕቶ ከቕርብ ከሎ፡ SQLite ብመንገዲ ብሕታዊ ስካላር ፋንክሽን ኣቢሉ XORን popcountን ብምጥቃም ርሕቀት ሃሚንግ ይሕስብ፡ ብቢት ተመሳሳልነት ዝተሰርዑ ሕጹያት ይመልስ።
5. ምትሕውዋስ ነጥቢ፡ ውጽኢት ካብ ሃሚንግ ዝተመርኮሰ ትርጉማዊ ምድላይን FTS5 ቁልፊ ቃላት ምድላይን Reciprocal Rank Fusion (RRF) ወይ ሚዛናዊ ነጥቢ ብምጥቃም ተዋሃሂዱ ናይ መወዳእታ ደረጃ ዝሓዘ ዝርዝር ይፍጠር።

ዝብል ጽሑፍ ኣሎ። | ውጽኢቱ ድማ SQLite ኣብ ዝሰርሓሉ ቦታ ዝሰርሕ ርእሱ ዝኸኣለ ሞተር ምድላይ እዩ — ንኣብነት ዝተሰረቱ መሳርሒታት፣ ሞባይል ኣፕታትን ወሰን ምዝርጋሕን ሓዊሱ።

<ብሎክኮት> ዝብል ጽሑፍ ኣሎ።

ቁልፊ ርድኢት: ክልተኣዊ ሃሚንግ ምድላይ ኣብ 64-ቢት ሃሽ ብግምት ካብ ኮሳይን ተመሳሳልነት ኣብ ምሉእ float32 ቬክተራት ተመጣጣኒ ዳይመንሽናሊቲ ብግምት ብ30–50x ዝቐልጠፈ እዩ። ንናይ ትሕቲ 10ms ናይ ምድላይ ምድንጓይ ኣብ ልዕሊ ሚልዮናት መዛግብቲ ብዘይ ፍሉይ ሃርድዌር ንዘድልዮም ኣፕሊኬሽናት፡ ኣብ SQLite ርሕቀት ሃሚንግ መብዛሕትኡ ግዜ ኣብ መንጎ ትኽክለኛነትን ኣፈጻጽማን ዝበለጸ ናይ ምህንድስና ምትሕውዋስ እዩ።

ዝብል ጽሑፍ ኣሎ።

ኣብ SQLite ናይ ሃሚንግ ሰርች ናይ ኣፈጻጽማ ባህርያት እንታይ እዮም?

SQLite ሓደ ፋይል ዘለዎ፣ ሰርቨር ዘይብሉ ዳታቤዝ ኮይኑ፡ ንሃሚንግ ርሕቀት ምድላይ ንምትግባር ፍሉይ ደረታትን ዕድላትን ይፈጥር። ብዘይ ከም HNSW ወይ IVF ዝኣመሰሉ ተወለድቲ ቬክተር ኢንዴክስ ቅርጽታት (ኣብ ውፉያት ቬክተር ድኳናት ዝርከብ)፡ SQLite ንሃሚንግ ምድላይ ኣብ መስመራዊ ስካን ይምርኮስ — እዚ ግን ካብቲ ዝድመጽ ንላዕሊ ደረት የብሉን።

64-ቢት ሃሚንግ ርሕቀት ስሌት XOR ጥራይ እዩ ዝሓትት ድሕሪኡ ድማ ፖፕካውንት (ብዝሒ ህዝቢ፣ ምቑጻር ዝተቐመጡ ቢት) ይስዕብ። ዘመናውያን ሲፒዩታት ነዚ ብሓደ መምርሒ ይፍጽምዎ። ምሉእ መስመራዊ ስካን ናይ 1 ሚልዮን 64-ቢት ሃሽ ኣብ ኣስታት 5–20 ሚሊሰከንድ ኣብ ሸቐጥ ሃርድዌር ይዛዘም፣ እዚ ድማ SQLite ን ዳታሴት ክሳብ ሓያሎ ሚልዮን መዛግብቲ ብዘይ ተወሳኺ ናይ ኢንዴክስ ብልሓት ግብራዊ ይገብሮ።

ንዓበይቲ ዳታሴታት፡ ምምሕያሻት ኣፈጻጽማ ካብ ሕጹይ ቅድመ-ምፍታሕ ዝመጽእ እዩ፡ ቅድሚ ምትግባርካ ርሕቀት ሃሚንግ፡ መስመራት ብሜታዳታ (ደረጃታት ዕለታት፡ ምድባት፡ ክፍልታት ተጠቃሚ) ንምውጋድ፡ ናይ SQLite WHERE ዓንቀጻት ብምጥቃም፡ ነቲ ውጽኢታዊ ዓቐን ስካን ብትእዛዛት ዕቤት ምጉዳል። ኣብዚ እዩ ድቀ-ባህርያት ምድላይ ብሓቂ ዝደምቕሉ — እቲ ስሕት ዝበለ ቁልፊ ቃላት መጽረዪ ከም ቅልጡፍ ቅድመ-መጽረዪ ኮይኑ ይሰርሕ፣ ርሕቀት ሃሚንግ ድማ ነቶም ብህይወት ዝተረፉ ሕጹያት ዳግማይ ይሰርዖም።

ኣብ SQLite ናይ ሃሚንግ ርሕቀት ፋንክሽን ብኸመይ ትተግብር?

SQLite ተወላዲ ሃሚንግ ርሕቀት ፋንክሽን ኣየጠቓልልን፣ እንተኾነ ግን C ኤክስቴንሽን ኤፒኣይኡ ንብሕታዊ ስካላር ፋንክሽን ንምምዝጋብ ቀጥታዊ ይገብሮም። ኣብ ፓይቶን sqlite3 ሞዱል ብምጥቃም፡ ኣብ መንጎ ክልተ ምሉእ ቁጽርታት ርሕቀት ሃሚንግ ዝሕሰብ ፋንክሽን ክትምዝግብ ትኽእል ኢኻ፡

| ምስ ተመዝገበ፡ እዚ ፋንክሽን ኣብ ሕቶታት ኤስኪዩኤል ልክዕ ከም ዝኾነ ኣብ ውሽጡ ዝተሃንጸ ፋንክሽን ይርከብ፡ ከም ምምራጽ መስመራት ዝኣመሰሉ ሕቶታት የኽእል፡ እዚ ድማ ርሕቀት ሃሚንግ ናብ ሓደ ሕቶ ሃሽ ትሕቲ ደረት ዝወድቐሉ፡ ብመጀመርታ ዝቐረቡ ምትእስሳራት ንምምላስ ብዝዓረገ ርሕቀት ተሰሪዑ።

|

ንግዲ ትካላት መዓስ ካብ ውፉያት ቬክተር ዳታቤዛት SQLite Hamming Search ክመርጹ ኣለዎም?

ኣብ መንጎ SQLite-based Hamming searchን ውፉያት ቬክተር ዳታቤዛት ከም Pinecone, Weaviate, ወይ pgvectorን ዝግበር ምርጫ ኣብ ስኬል፣ ስርሒታዊ ውስብስብነትን ናይ ምዝርጋሕ ደረታትን ይምርኮስ። SQLite Hamming search ቅልልነት፣ ተንቀሳቓሲነትን ዋጋን ዝያዳ ኣገዳሲ ኣብ ዝኾነሉ እዋን ቅኑዕ ምርጫ እዩ — እዚ ድማ ንመብዛሕትኦም ንግዳዊ መተግበሪታት እዩ።

ውፉያት ቬክተር ዳታቤዛት ርኡይ ናይ ስርሒት ልዕለ-ዋጋ የተኣታቱ: ዝተፈላለየ ትሕተ-ቅርጺ: መርበብ ምድንጓይ: ናይ ምትእስሳር ውስብስብነት: ከምኡውን ርኡይ ወጻኢታት ኣብ ደረጃ። ካብ ዓሰርተታት ኣሽሓት ክሳብ ትሑት ሚልዮናት መዛግብቲ ዘገልግሉ ኣፕሊኬሽናት፡ SQLite Hamming search ምስ ዜሮ ተወሳኺ ትሕተ ቅርጺ ዝመጣጠን ንተጠቃሚ ዝገጥም ተዛማድነት የቕርብ። ንናይ ምድላይ መዐቀኒኻ ምስ ናይ መተግበሪ ዳታኻ ብሓባር የቐምጦ፣ ምሉእ ምድብ ናይ ዝተዘርግሑ ስርዓታት ውድቀት ሞድታት የወግድ።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ናይ ሃሚንግ ርሕቀት ምድላይ ንኣፕሊኬሽናት ምድላይ ምፍራይ እኹል ቅኑዕ ድዩ?

ሃሚንግ ርሕቀት ኣብ ክልተኣዊ-quantized embeddings ንእሽቶ መጠን ናይ ምዝካር ትኽክለኛነት ንሰፊሕ ፍጥነት መኽሰብ ይነግድ። ብተግባር፡ ክልተኣዊ ቁጽሪ ምግባር ብተለምዶ 90–95% ናይ ምዝካር ጽሬት ናይ ምሉእ float32 ኮሳይን ተመሳሳልነት ምድላይ ይዕቅብ። ንመብዛሕትኦም ናይ ንግዲ ምድላይ መተግበሪታት — ምርካብ ፍርያት፣ ምውሳድ ሰነድ፣ መሰረታት ፍልጠት ደገፍ ዓማዊል — እዚ ምትሕውዋስ ምሉእ ብምሉእ ቅቡል እዩ፣ ተጠቀምቲ ድማ ኣብ ጽሬት ውጽኢት ዘሎ ፍልልይ ክርድእዎ ኣይክእሉን እዮም።

ኤስኪዩላይት ኣብ እዋን ሕቶታት ምድላይ ሃሚንግ ተደጋጋሚ ንባባትን ምጽሓፍን ክሕዝ ይኽእል ድዩ?

SQLite ብመንገዲ WAL (Write-Ahead Logging) ሞዱ ተደጋጋሚ ንባባት ይድግፍ፣ ብዙሓት ኣንበብቲ ብዘይ ምዕጋት ብሓንሳብ ክሓቱ የኽእሎም። ናይ ምጽሓፍ ተደጋጋሚ ድሩት እዩ — SQLite ንጽሑፋት ተኸታታሊ ይገብሮ — እዚ ግን ሳሕቲ እዩ ንናይ ምድላይ-ከቢድ ጽዕነት ስራሕ ምጽሓፍ ብተዛማዲ ምስ ንባባት ሳሕቲ ኣብ ዝኾነሉ ዕንቅፋት እዩ። ንባብ-ብዙሕ ድቀ-መተግበሪታት ድቀ-መተግበሪታት፡ ናይ SQLite WAL ሞድ ምሉእ ብምሉእ እኹል እዩ።

ባይነሪ ኳንታይዜሽን ምስ ፍሎት ቬክተራት ክነጻጸር እንከሎ ንናይ መኽዘን ጠለባት ብኸመይ ይጸልዎ?

እቲ ናይ መኽዘን ዕቋር ድራማዊ እዩ። ንቡር 768-ዳይመንሽናል float32 ምትእትታው ንሓደ መዝገብ 3,072 ባይት (3 ኪ.ባ.) የድልዮ። 128-ቢት ክልተኣዊ ሃሽ ናይ ተመሳሳሊ ምትእትታው 16 ባይት ጥራይ እዩ ዝሓትት - 192x ምንካይ። ን1 ሚልዮን መዛግብቲ ዘለዎ ዳታሴት፡ እዚ ማለት ኣብ መንጎ 3 ጊባን 16 ሜባን ናይ ምትእትታው መኽዘን ዘሎ ፍልልይ ማለት እዩ፡ እዚ ድማ ኣብ ሃሚንግ ዝተመርኮሰ ምድላይ ኣብ ምሉእ ፍሎት መኽዘን ዘይተግባራዊ ኣብ ዝኾነሉ መዘክር ዝተሓጽረ ከባቢታት ተግባራዊ ይገብሮ።

---

ዝብል ጽሑፍ ኣሎ።

በሊሕን ክድለ ዝኽእልን ፍርያት ምህናጽ ልክዕ ከምቲ ዝዓብዩ ንግዳዊ ትካላት ካብቶም ደው ዝበሉ ትካላት ዝፈልዮም ዓይነት ዓቕሚ እዩ። Mewayz ብልዕሊ 138,000 ተጠቀምቲ ዝእመን ኩሉ ኣብ ሓደ ዝኾነ ንግዳዊ OS ኮይኑ፡ 207 ዝተዋሃሃደ ሞዱላት — ካብ CRMን ትንታነን ክሳብ ምሕደራ ትሕዝቶን ኪኖኡን — ካብ $19/ወርሒ ጥራይ ዝጅምር እዩ። ዝተቛረጹ መሳርሒታት ምትእስሳር ኣቋሪጽካ ንመዐቀኒ ኣብ ዝተዳለወ መድረኽ ምህናጽ ጀምር።

ጉዕዞ መዋይዝካ ሎሚ ኣብ app.mewayz.com ጀምር እሞ ናይ ብሓቂ ውሁድ ንግዳዊ ስርዓተ ምምሕዳር ንጋንታኻ እንታይ ክገብረላ ከም ዝኽእል ተመክሮ።

ኣብ ዝኽሪ ዝተሓጽረ ከባቢታት ሃሚንግ ዝተመርኮሰ ምድላይ ተግባራዊ ይገብሮ