Hamming Distance for Hybrid Search na SQLite

Hamming distance bụ metric myirịta ntọala nke na-agụta ibe dị iche iche n'etiti eriri ọnụọgụ abụọ, na-eme ka ọ bụrụ otu n'ime ụzọ kachasị ọsọ na kacha arụ ọrụ maka ịchọ onye agbata obi kacha nso na ọdụ data. Mgbe etinyere ya na SQLite site na ụlọ nchọta ngwakọ, Hamming anya na-emepe ike nyocha semantic ọkwa ụlọ ọrụ na-enweghị isi nke ọdụ data vector raara onwe ya nye.

Gịnị bụ Hamming Distance na Gịnị mere o ji dị mkpa maka database search?

Ogologo hamm na-atụ ọnụọgụ ọnọdụ ebe eriri ọnụọgụ abụọ nke ogologo ha nhata dị iche. Dịka ọmụmaatụ, eriri ọnụọgụ abụọ 10101100 na 10001101 nwere ogologo Hamming nke 2, n'ihi na ha dị iche na ọnọdụ abụọ n'ụzọ ziri ezi. N'ebe a na-achọ nchekwa data, ngụkọ a dị ka ọ dị mfe na-adị ike nke ukwuu.

Ọchịchọ SQL ọdịnala na-adabere n'ụzọ ziri ezi ma ọ bụ ndenye ederede zuru oke, nke na-agbasi mbọ ike na myirịta semantic - ịchọta nsonaazụ nke pụtara otu ihe kama ịkekọrịta mkpụrụokwu ndị yiri ya. Haming distance na-ejikọta oghere a site n'ịrụ ọrụ na koodu hash ọnụọgụ abụọ sitere na ntinye ọdịnaya, na-ekwe ka ọdụ data dị ka SQLite tụnyere nde ndekọ na milliseconds site na iji ọrụ XOR bitwise.

Richard Hamming webatara metrik ahụ na 1950 n'ihe gbasara koodu na-emezi mperi. Afọ iri ka nke ahụ gasịrị, ọ ghọrọ isi na iweghachite ozi, ọkachasị na sistemụ ebe ọsọ dị mkpa karịa nkenke zuru oke. Ngụkọta O(1) ya kwa ntụnyere (iji ntuziaka popcount CPU) na-eme ka ọ dabara nke ọma maka igwe nchekwa data agbakwunyere na nke dị fechaa.

Kedụ ka ọchụchọ ngwakọ si ejikọta anya hamming na ajụjụ SQLite ọdịnala?

Nchọ ngwakọ na SQLite na-ejikọta atụmatụ nnabata abụọ na-akwadoro: ọchụchọ okwu pere mpe (iji SQLite arụnyere n'ime FTS5 ederede ederede zuru oke) yana nchọ myirịta dị ukwuu (iji Hamming anya na ntinye ọnụọgụ ọnụọgụ abụọ). Ọbụghị naanị ụzọ ọ bụla zuru oke maka ihe nchọ ọgbara ọhụrụ a chọrọ.

Pipeline ngwakọ na-ahụkarị na-arụ ọrụ dị ka ndị a:

1. Ọgbọ na-etinye: A na-atụgharị akwụkwọ ma ọ bụ ndekọ ọ bụla ka ọ bụrụ vector dị elu na-ese n'elu mmiri site na iji ụdị asụsụ ma ọ bụ ọrụ ntinye.
2. ọnụọgụ ọnụọgụ abụọ: A na-ejikọta vector na-ese n'elu mmiri n'ime hash ọnụọgụ abụọ kọmpat (dịka, 64 ma ọ bụ 128 bits) na-eji usoro dị ka SimHash ma ọ bụ amụma enweghị usoro, na-ebelata nke ukwuu ihe nchekwa chọrọ.
3. Nchekwa index Haming: A na-echekwa hash ọnụọgụ abụọ dị ka kọlụm INTEGER ma ọ bụ BLOB na SQLite, na-eme ka ọ rụọ ọrụ ngwa ngwa bitwise n'oge ajụjụ.
4. Akara akara oge ajụjụ: Mgbe onye ọrụ nyefere ajụjụ, SQLite na-agbakọ anya Hamming site na ọrụ scalar omenala site na iji XOR na popcount, ndị na-azọ ntuli aka na-ahazi site na obere myirịta.
5. Score fusion: A na-ejikọta nsonaazụ sitere na nyocha semantic dabere na Hamming na ọchụchọ isiokwu FTS5 site na iji Reciprocal Rank Fusion (RRF) ma ọ bụ akara dị arọ iji wepụta ndepụta ọkwa ikpeazụ.

SQLite's extensibility site na ndọtị nwere ike ibu ibu ma ọ bụ ọrụ achịkọtara na-eme ka ihe owuwu a nwee ike nweta ya na-enweghị ịkwaga na sistemụ nchekwa data dị arọ. Nsonaazụ bụ igwe nchọta nwere onwe nke na-aga ebe ọ bụla SQLite na-agba - gụnyere ngwaọrụ agbakwunyere, ngwa mkpanaaka, na mbugharị ihu.

Key Nghọta: Nchọ ọnụọgụ abụọ na hashes 64-bit dị 30–50x ọsọ ọsọ karịa myirịta cosine na vector float32 zuru oke nke nha nha. Maka ngwa chọrọ latency sub-10ms n'ofe nde ndekọ na-enweghị ngwaike pụrụ iche, ebe dị anya na SQLite na-abụkarị azụmaahịa kacha mma injinia n'etiti nkenke na arụmọrụ.

Gịnị bụ njirimara arụmọrụ nke ịchọ Hamming na SQLite?

SQLite bụ otu faịlụ, nchekwa data enweghị nkesa, nke na-emepụta mmachi na ohere pụrụ iche maka imejuputa nchọta anya Hamming. Na-enweghị usoro nrịbama vector dị ka HNSW ma ọ bụ IVF (nke dị na ụlọ ahịa vector raara onwe ya nye), SQLite dabere na nyocha linear maka ọchụchọ Hamming - mana nke a pere mpe karịa ka ọ na-ada.

Mgbakọ anya Hamming 64-bit chọrọ naanị XOR na-esochi ya (ọnụọgụ ọnụ ọgụgụ ndị mmadụ, agụta ibe n'ibe). Ndị CPU ọgbara ọhụrụ na-eme nke a n'otu ntụziaka. Nyocha linear zuru ezu nke 1 nde 64-bit hashes na-agwụcha na ihe dịka 5-20 milliseconds na ngwa ngwa ngwa ahịa, na-eme ka SQLite dị irè maka nchịkọta dataset ruo ọtụtụ nde ndekọ na-enweghị aghụghọ indexing ọzọ.

N'ihi na nnukwu datasets, arụmọrụ mmezi na-abịa site onye ndoro-ndoro tupu nzacha: iji SQLite's WHERE nkebiokwu iji kpochapụ ahịrị site metadata (usoro ụbọchị, edemede, ngalaba onye ọrụ) tupu itinye anya Hamming, na-ebelata ogo nyocha dị irè site n'iwu nke ịdị ukwuu. Nke a bụ ebe ụlọ ọrụ nchọta ngwakọ na-enwu n'ezie - nzacha okwu okwu sparse na-arụ ọrụ dị ka ihe nzacha ngwa ngwa, na Hamming anya na-edokwa ndị ga-adị ndụ.

Olee otu ị ga-esi mejuputa ọrụ dị anya na SQLite?

SQLite anaghị agụnye ọrụ dị anya Hamming, mana API ndọtị ya na-eme ka ọrụ scalar omenala kwụ ọtọ ịdebanye aha. Na Python na-eji modul sqlite3, ị nwere ike ịdebanye aha ọrụ na-agbakọ anya Hamming n'etiti ọnụọgụ abụọ:

Ọrụ ahụ na-anabata arụmụka integer abụọ na-anọchi anya ọnụọgụ ọnụọgụ abụọ, na-agbakọ XOR ha, wee gụkọta bits setịpụrụ site na iji Python's bin() .count('1') ma ọ bụ usoro aghụghọ ngwa ngwa. Ozugbo edebanyere aha, ọrụ a ga-adị na ajụjụ SQL dị ka ọrụ ọ bụla arụnyere n'ime ya, na-eme ka ajụjụ dị ka ịhọrọ ahịrị ebe ebe anya Hamming na hash ajụjụ dara n'okpuru ọnụ ụzọ, nyere iwu site n'ebe dị anya na-arịgo ka iweghachite egwuregwu kacha nso.

Maka nrụpụta mmepụta, na-achịkọta echiche popcount dị ka ndọtị C site na iji SQLite's sqlite3_create_function API na-ewepụta 10–100x arụmọrụ ka mma karịa Python tụgharịrị, na-eweta ọchụchọ SQLite's Hamming na-erute ọdụ data vector pụrụ iche maka ọtụtụ ọrụ bara uru.

Olee mgbe azụmahịa kwesịrị ịhọrọ SQLite Hamming Search n'elu ọdụ data Vector raara onwe ya nye?

Nhọrọ n'etiti nchọta Hamming dabere na SQLite yana ọdụ data vector raara onwe ya nye dị ka Pinecone, Weaviate, ma ọ bụ pgvector dabere n'ọ̀tụ̀tụ̀, mgbagwoju anya arụ ọrụ, na mmachi mbugharị. Nchọ SQLite Hamming bụ nhọrọ ziri ezi mgbe ịdị mfe, mbugharị, na ihe dị ọnụ ahịa kacha - nke bụ ikpe maka ọtụtụ ngwa azụmahịa.

Ebe nchekwa data vector raara onwe ya nye na-ewebata nnukwu ọrụ ọrụ: akụrụngwa dị iche iche, nkwụsị netwọkụ, mgbagwoju anya mmekọrịta, yana ọnụ ahịa dị ukwuu n'ọkwa. Maka ngwa ndị na-eje ozi iri puku kwuru iri puku ruo nde ndekọ dị ala, nchọ SQLite Hamming na-ebuga mkpa ndị ọrụ chere ihu na akụrụngwa mgbakwunye efu. Ọ na-eji data ngwa gị na-ahụ maka nchọta ọchụchọ gị, na-ewepụ ụdị ụdị ọdịda sistemụ kesara dum.

Ajụjụ a na-ajụkarị

Ọchịchọ hamming ọ̀ ziri ezi maka ngwa nchọta mmepụta?

Mfe anya na ntinye ọnụọgụ ọnụọgụ abụọ na-azụta ntakịrị ihe ncheta maka oke ọsọ ọsọ. Na omume, ọnụọgụ ọnụọgụ abụọ na-ejigide 90-95% nke njirimara ncheta nke nchọ myirịta float32 zuru oke. Maka ọtụtụ ngwa ọchụchọ azụmahịa - nchọpụta ngwaahịa, iweghachi akwụkwọ, ntọala ihe ọmụma nkwado ndị ahịa - a na-anabata azụmaahịa a kpamkpam, ndị ọrụ enweghị ike ịghọta ọdịiche dị na ogo nsonaazụ.

SQLite nwere ike ijikwa agụ ma na-ede n'otu oge n'oge ajụjụ ọchụchọ Hamming?

SQLite na-akwado agụ otu oge site na ọnọdụ WAL ya (Write-Ahead Logging), na-enye ohere ka ọtụtụ ndị na-agụ akwụkwọ jụọ ajụjụ n'otu oge na-enweghị igbochi. Dee concurrency nwere oke - SQLite serializes na-ede - mana nke a adịkarịghị mkpọmkpọ maka ọrụ ọchụchọ-dị arọ ebe ederede na-adịkarịghị agụ. Maka ngwa nchọ ngwakọ nwere ọgụgụ isi, ụdị WAL SQLite zuru oke.

Kedụ ka ọnụọgụ ọnụọgụ abụọ si emetụta ihe nchekwa chọrọ ma e jiri ya tụnyere vectors sere n'elu?

Nchekwa nchekwa ahụ dị egwu. Ihe mgbakwunye 768-dimensional float32 chọrọ 3,072 bytes (3 KB) kwa ndekọ. Hash ọnụọgụ abụọ nke 128-bit nke otu ntinye chọrọ naanị 16 bytes - mbelata 192x. Maka ihe ndekọ data nke nde 1, nke a pụtara ọdịiche dị n'etiti 3 GB na 16 MB nke nchekwa agbakwunyere, na-eme ka ọchụchọ dabere na Hamming nwere ike ime na gburugburu ebe nchekwa ebe nchekwa ebe nchekwa zuru oke agaghị adị irè.

---

Ịmepụta ngwaahịa ndị nwere ọgụgụ isi, ndị a na-achọgharị bụ kpọmkwem ụdị ike na-ekewa azụmahịa na-eto eto na ndị na-adịghị. Mewayzbụ OS azụmahịa niile na-atụkwasị obi karịa ndị ọrụ 138,000, na-enye 207 agbakwunyere modul - site na CRM na nyocha na njikwa ọdịnaya na gafere - malite na naanị $ 19 / ọnwa. Kwụsị ịdụkọta ngwa ọrụ ndị ejikọrọ wee malite iwu ụlọ n'elu ikpo okwu emere maka ọnụ ọgụgụ.

Bido njem Mewayz gị taa na app.mewayz.com wee hụ ihe sistemụ arụmọrụ ejikọtara ọnụ nwere ike imere otu gị.