Dûrahiya Hamming ji bo Lêgerîna Hybrid di SQLite de

Dûrahiya hamming metrîka wekheviyê ya bingehîn e ku di navbera du rêzikên binary de biteyên cihêreng dihejmêre, û ew dike yek ji rêbazên herî bilez û bikêrhatî ji bo lêgerîna nêzîktirîn-ciranê di databasan de. Dema ku li SQLite bi navgîniya mîmariya lêgerînê ya hybrid ve tê sepandin, dûrbûna Hamming îmkanên lêgerîna semantîkî yên pola pargîdanî bêyî sernavên databasên vektor ên diyarkirî vedike.

Dûrahiya Hamming Çi ye û Çima Ji bo Lêgerîna Danezanê Girîng e?

Dûrahiya hamming hejmara pozîsyonên ku du rêzikên binar yên bi dirêjahiya wekhev ji hev cuda dibin dipîve. Mînakî, rêzikên binary 10101100 û 10001101 dûrahiya Hamming 2 ye, ji ber ku ew tam di du pozîsyonên bit de ji hev cihê dibin. Di çarçoveyên lêgerîna databasê de, ev hesabkirina xuya ya hêsan pir bi hêz dibe.

Lêgerîna Kevneşopî ya SQL xwe dispêre lihevhatina tam an jî nîşankirina tev-nivîsê, ya ku bi wekheviya semantîkî re têdikoşe - encamên ku maneya heman tiştî dibînin ji bilî parvekirina peyvên sereke yên wekhev. Dûrahiya Hamming vê valahiyê bi xebitandina li ser kodên hash ên binary ên ku ji naverokên naverokê hatine derxistin, dike pir, û dihêle databasên mîna SQLite bi karanîna operasyonên XOR-ê yên bitwise bi mîlyonan tomaran di milîçirkeyan de bidin ber hev.

Metric ji hêla Richard Hamming ve di sala 1950-an de di çarçoveya kodên rastkirina xeletiyê de hate destnîşan kirin. Dehsal şûnda, ew bû navend ji bo vegirtina agahdariyan, nemaze di pergalên ku bilez ji rastbûna bêkêmasî girîngtir e. Hesabkirina wê ya O(1) ji bo berhevdanê (bi karanîna rêwerzên popcounta CPU-yê) wê ji bo motorên databasê yên bicîbûyî û sivik guncan dike.

Lêgerîna Hybrid Çawa Dûrahiya Hammingê bi Pirsên SQLite yên Kevneşopî re dike yek?

Lêgerîna hîbrid a di SQLite de du stratejiyên vegerandinê yên temamker bi hev re tîne: lêgerîna keyworda hindik (bikaranîna pêveka lêgerîna tev-nivîsê ya FTS5-ya çêkirî ya SQLite) û lêgerîna hevsengiya qels (bikaranîna dûrahiya Hamming li ser binavkirinên quantîzekirî yên binary). Ji bo hewcedariyên lêgerîna nûjen her du nêzîkatî bi tenê têrê nake.

Xeta boriya lêgerînê ya hîbrîd a tîpîk bi vî awayî dixebite:

1. Nifandina binavkirinê: Her belge an tomar bi karanîna modelek zimanî an fonksiyonek şîfrekirinê vediguhezîne vektorek xala herikînê ya bi pîvanên bilind.
2. Qantîzasyona binaryê: Vektora float bi teknîkên mîna SimHash an projeyek rasthatî bi karanîna teknîkên mîna SimHash an projeksiyonên rasthatî di nav hashek binar a kompakt de tê pêçandin.
3. Depokirina nîşaneya Hamming: Haşiya binary wekî stûnek INTEGER an BLOB di SQLite de tê hilanîn, di dema pirsê de operasyonên bitwise yên bilez çalak dike.
4. Nûçegihana dema pirsê: Dema ku bikarhêner pirsnameyek pêşkêş dike, SQLite dûrahiya Hammingê bi karûbarê scalarek xwerû bi karanîna XOR û popcountê dihejmêre, berendamên ku li gorî hevsengiya bît hatine rêz kirin vedigerîne.
5. Tevhevkirina xalan: Encamên ji lêgerîna semantîk a li ser bingeha Hamming û lêgerîna peyva sereke ya FTS5 bi karanîna Reciprocal Rank Fusion (RRF) an pîvana girankirî têne yek kirin da ku navnîşek rêzkirî ya dawîn çêbikin.

Berfirehbûna SQLite bi dirêjkirina barkirin an fonksiyonên berhevkirî vê mîmariyê bêyî koçkirina berbi pergalek databasa girantir pêk tîne. Encam motorek lêgerînê ya xweser e ku li her cîhê ku SQLite dimeşîne dimeşîne - di nav de cîhazên pêvekirî, sepanên mobîl, û veguheztinên keviya.

Nêrîna sereke: Lêgerîna Hammingê ya Binary li ser haşên 64-bit bi qasî 30–50x zûtir ji wekheviya kosînusê ya li ser vektorên tam float32 yên bi pîvanên hevwate ye. Ji bo serîlêdanên ku di nav mîlyonan tomar de bêyî hardwareya pispor de derengiya lêgerînê ya binî-10ms hewce dike, dûrahiya Hamming di SQLite de bi gelemperî di navbera rastbûn û performansê de danûstandina endezyariya çêtirîn e.

Taybetmendiyên Performansê yên Lêgerîna Hamming di SQLite de çi ne?

SQLite danegehek yek-pelî, bê server e, ku ji bo bicihanîna lêgerîna dûrbûna Hamming sînor û derfetên bêhempa diafirîne. Bêyî strukturên nîşankirina vektora xwemalî yên mîna HNSW an IVF (di firotgehên vektorê yên taybetî de têne dîtin), SQLite ji bo lêgerîna Hamming-ê xwe dispêre şopandina xêzik - lê ev ji ya ku tê kêmtir sînordar e.

Hesabkirina dûrbûna Hammingê ya 64-bitî tenê XOR-ê hewce dike û li dûv jimarek pop-jimar (hejmara nifûsê, jimartina bit-ên setê) hewce dike. CPU-yên nûjen vê yekê di yek rêwerzan de pêk tînin. Paqijkirinek xêzikî ya tevahî ya 1 mîlyon heşeyên 64-bit bi qasî 5–20 milîsaniyeyan li ser hardware ya kelûmêlê temam dibe, û SQLite ji bo berhevokên danûstendinê heya çend mîlyon tomar bêyî hîleyên pêvek nîşankirinê pratîk dike.

Ji bo danehevên mezin, pêşkeftinên performansê ji parzûnkirina berendamê têne: Bi karanîna bendên SQLite WHERE ji bo rakirina rêzan ji hêla metadata (navbera tarîx, kategorî, beşên bikarhêner) berî sepandina dûrahiya Hamming, kêmkirina mezinahiya şopandina bi bandor li gorî fermanên mezinahiyê. Li vir mîmarên lêgerînê yên hybrid bi rastî dibiriqe - Parzûna peyva keyê ya kêm wekî pêş-fîlterek bilez tevdigere, û dûrahiya Hamming berendamên sax ji nû ve rêz dike.

Hûn çawa di SQLite de fonksiyonek dûrbûna Hamming bicîh dikin?

SQLite fonksiyonek dûrbûna Hamming ya xwemalî nagire, lê API-ya wê ya dirêjkirina C fonksiyonên scalar ên xwerû ji bo qeydkirinê hêsan dike. Di Pythonê de ku modula sqlite3 bikar tîne, hûn dikarin fonksiyonek ku dûrahiya Hamming di navbera du hejmaran de hesab dike tomar bikin:

Fonksiyon du argumanên jimare yên ku haşeyên binary temsîl dikin qebûl dike, XOR-a wan dihejmêre, dûv re bit-ên setê bi karanîna bin().count('1') ya Python-ê an jî nêzîkatiyek manîpulasyonê ya bileztir dihejmêre. Piştî qeydkirinê, ev fonksiyon di pirsên SQL-ê de mîna her fonksiyonek çêkirî peyda dibe, pirsan dike, wekî hilbijartina rêzên ku dûrahiya Hamming-ê ji xêzek pirsê re dikeve binê tixûbek, ku ji hêla dûrbûnê ve hatî ferman kirin da ku pêşî lihevhatinên herî nêzîk bistînin.

Ji bo bicihkirina hilberînê, berhevkirina mantiqa popcountê wekî pêvekek C bi karanîna SQLite's sqlite3_create_function API 10–100 carî performansa çêtir ji Python-a şirovekirî peyda dike, lêgerîna Hamming ya SQLite digihîje ber destên databasên vektorî yên pispor

Kengî Divê Karsaz Bigerin SQLite Hamming Li Ser Daneyên Vektorê yên Veqetandî?

Hilbijartina di navbera lêgerîna Hamming-a-based SQLite û databasên vektorê yên diyarkirî yên mîna Pinecone, Weaviate, an pgvector de bi pîvan, tevliheviya xebitandinê, û astengên vekêşanê ve girêdayî ye. Lêgerîna SQLite Hamming bijareya rast e dema ku sadebûn, veguheztin û lêçûn pir girîng e - ev yek ji bo pirraniya serlêdanên karsaziyê wiha ye.

Datebasên vektorî yên veqetandî sermayên girîng ên xebitandinê destnîşan dikin: binesaziya veqetandî, derengiya torê, tevliheviya hevdemkirinê, û lêçûnek girîng di pîvanê de. Ji bo serîlêdanên ku bi deh hezaran û bi mîlyonan kêm tomar re xizmet dikin, lêgerîna SQLite Hamming bi binesaziya zêde ya zede re têkildariya rûbirû ya bikarhêner peyda dike. Ew navnîşa lêgerîna we bi daneyên serîlêdana we re hevaheng dike, kategoriyek tevahî modên têkçûna pergalên belavbûyî ji holê radike.

Pirsên Pir Pir tên Pirsîn

Lêgerîna dûrahiya Hamming ji bo sepanên lêgerîna hilberînê têra xwe rast e?

Dûra hamming li ser binesaziyên binar-quantîzekirî ji bo destkeftiyên leza girseyî rêjeyek piçûk a rastbûna bîranînê bazirganî dike. Di pratîkê de, quantîzasyona binary bi gelemperî 90-95% ji qalîteya bîranînê ya lêgerîna tevheviya float32 cosine digire. Ji bo piraniya serîlêdanên lêgerîna karsaziyê - vedîtina hilberan, vegerandina belgeyê, bingehên zanînê yên piştevaniya xerîdar - ev bazirganî bi tevahî tê pejirandin, û bikarhêner nikarin cûdahiya di qalîteya encamê de fam bikin.

Ma SQLite dikare di dema pirsên lêgerîna Hamming de xwendin û nivîsandina hevdem bi rê ve bibe?

SQLite bi moda xweya WAL (Têketin-Pêş Binivîsin) xwendina hevdem piştgirî dike, dihêle ku pir xwendevan bi hevdemî bêyî astengkirinê bipirsin. Hevdemiya nivîsandinê tixûbdar e - SQLite rêzenivîsê dinivîse - lê ev kêm caran ji bo barkêşên lêgerînê yên giran tengasiyek e ku li wir nivîsandin li gorî xwendinê kêm in. Ji bo serîlêdanên lêgerîna hybrid ên xwendin-dijwar, moda WAL ya SQLite bi tevahî bes e.

Quantîzasyona binar li gorî vektorên float çawa bandorê li pêdiviyên hilanînê dike?

Taserkirina hilanînê dramatîk e. Bicîhkirina float32 ya 768-alî ya tîpîk ji her tomarê 3,072 byte (3 KB) hewce dike. Hashek binary a 128-bit ya heman vehewandinê tenê 16 byte hewce dike - kêmkirina 192x. Ji bo danehevek ji 1 mîlyon tomaran, ev tê vê wateyê ku cûdahiya di navbera 3 GB û 16 MB depoya pêvekirî de, lêgerîna Hamming-ê di hawîrdorên sînorkirî yên bîranînê de ku hilanîna tam float dê nepratîk be, pêkan dike.

Avakirina hilberên jîr û lêgerandî tam celebek jêhatî ye ku karsaziyên mezinbûyî ji yên rawestandî vediqetîne. Mewayz OS-ya karsaziya hemî-yek-yek e ku ji hêla zêdetirî 138,000 bikarhêneran ve tê pêbawer kirin, 207 modulên yekbûyî pêşkêşî dike - ji CRM û analîtîk bigire heya rêveberiya naverokê û pê ve - bi tenê 19 $/mehê dest pê dike. Dev ji dirûtina amûrên qutkirî berdin û li ser platformek ku ji bo pîvanê hatî çêkirin dest pê bikin.

Rêwîtiya xwe ya Mewayz îro li app.mewayz.com dest pê bike û biceribînin ku pergala xebitandina karsaziyek bi rastî ya yekbûyî dikare ji bo tîmê we çi bike.