Hacker News

DjVu mo hono fehokotaki ki he Ako loloto (2023)

DjVu mo hono fehokotaki ki he Ako loloto (2023) Ko e fekumi ko 'eni 'oku delves ki he djvu, 'o sivisivi'i hono mahu'inga mo e uesia 'e lava ke hoko. Ngaahi Fakakaukau Tefito 'oku 'Ufi'ufi 'Oku fakatotolo'i 'e he kakano ko 'eni: Ngaahi tefito'i mo'oni mo e ngaahi teolosia tefito . Fakahoko...

13 min read Via scottlocklin.wordpress.com

Mewayz Team

Editorial Team

Hacker News

DjVu mo Hono Fehokotaki ki he Ako loloto (2023): Ko e Me'a 'Oku Fiema'u Ke Ke 'Ilo

DjVu ko ha fotunga 'o e tohi compressed na'e 'uluaki fa'u ki he ngaahi tohi scanned mo e ngaahi 'akau fakakomipiuta, pea ko 'ene fehokotaki ki he ako loloto kuo 'asi mai ko e taha 'o e ngaahi fetaulaki'anga fakalotolahi taha 'i he ngaue'aki 'o e tohi 'oku fakalele 'e he AI fakaonopooni. 'I he tupulaki 'a e ngaahi founga ako 'o e misini 'oku toe fakapotopoto ange, kuo hoko 'a e ngaahi founga 'o e DjVu 'o e 'atakai mo e encoding ko ha feitu'u ako mahu'inga mo e ngaahi taumu'a 'o e deployment ki he ngaahi sisitemi netiueka neural 'oku nau tokanga'i 'a e digitization 'o e ngaahi tohi lahi.

Ko e hā tonu ʻa e DjVu pea ko e hā ʻoku mahuʻinga ai ʻi he kuonga ʻo e AI?

DjVu (pu'aki "déjà vu") na'e fakatupulaki 'i he konga kimui 'o e 1990s 'i he AT&T Labs ko ha fakalelei'anga ki ha palopalema 'oku kei hokohoko atu: 'oku anga fefe ho'o tauhi mo fakahoko lelei 'a e ngaahi tohi 'oku sikani 'i he resolution ma'olunga 'o 'ikai feilaulau'i 'a e tu'unga lelei? 'Oku faka'aonga'i 'e he fotunga ha founga 'o e compression layered 'oku ne fakamavahe'i ha tohi ki he foreground (tohi, laine 'o e 'aati), 'i mui ('ata lanu), mo e mask (fotunga 'o e fakamatala) 'o e ngaahi la'ipepa. 'Oku fakafefeka'i tau'ataina 'a e la'i takitaha 'o faka'aonga'i 'a e ngaahi algorithms makehe 'aupito.

Ko e me'a 'oku ne 'ai 'a e DjVu ke tautautefito ki he 'aho ni ko e decomposition ko 'eni 'o e ngaahi la'ipepa lahi 'oku ne faka'ata 'a e to'o hingoa 'o e 'ulungaanga fakahierarchical 'oku ne fakamatala'i 'a e ngaahi 'atakai ako loloto. Convolutional neural netiueka (CNNs), hange ko 'eni, ngaue 'a e ngaahi 'ata 'aki hono faka'ilonga'i 'o e ngaahi tafa'aki, pea ngaahi fotunga, pea ngaahi fokotu'utu'u 'o e tu'unga ma'olunga — ko ha fakalakalaka 'oku fakaofo 'oku tatau mo e founga 'oku vahevahe ai 'e he DjVu 'a e ngaahi tohi ki he ngaahi primitives faka'ata. Ko e fakafehoanaki fakafaʻunga ko ʻení ʻoku ʻikai ko ha meʻa fakaako pē; 'oku 'i ai 'ene ngaahi 'uhinga 'aonga ki he founga 'oku ako'i ai 'a e ngaahi sisitemi AI ke lau, fakakalasi, mo to'o 'a e 'uhinga mei he ngaahi tohi fakahisitolia.

'Oku anga fefe hono ako'i 'o e ngaahi sipinga 'o e ako loloto 'i he ngaahi 'akau 'o e ngaahi tohi 'a e DjVu?

Ko e ngaahi laipeli lalahi — kau ai 'a e 'Initaneti Archive, 'a ia 'oku ne talitali 'a e ngaahi faile DjVu 'e laui miliona — kuo nau hoko ko e ngaahi keli'anga koula ki hono ako'i 'o e 'ilo'i 'o e 'ulungaanga optical (OCR) mo e ngaahi sipinga 'o e mahino 'o e tohi. 'Oku faka'aonga'i 'e he kau fakatotolo ako loloto 'a e ngaahi 'akau 'o e DjVu koe'uhi he 'oku tauhi 'e he fotunga 'a e fakaikiiki fakataipe lelei na'a mo e ngaahi ratios 'o e compression 'aupito, 'o 'ai ia ke ma'olunga ange 'i he ngaahi sikani JPEG mole ki he ngaahi ngaue ako 'oku tokanga'i.

Ko e ngaahi sipinga fakaonopooni 'oku makatu'unga 'i he transformer hange ko e LayoutLM mo e DocFormer kuo fakalelei'i 'i he ngaahi fakamatala 'oku kau ai 'a e ngaahi me'a 'oku ma'u mei he DjVu. 'Oku ako 'a e ngaahi sipinga ko 'eni ke fakafehokotaki 'a e fokotu'utu'u 'o e feitu'u mo e 'uhinga fakasemantiki — mahino 'oku faka'ilonga'i 'e ha 'ulu'i tohi lotolahi 'a e mahu'inga pe ko ha mavahe 'a e kolomu 'oku faka'ilonga'i ai ha liliu 'o e konga. 'Oku hanga 'e he mavahe 'a e layer ma'a 'o e DjVu 'o faingofua ange 'aupito 'a e annotation 'o e kelekele-mo'oni, 'o fakasi'isi'i 'a e 'olunga 'o e faka'ilonga'i 'oku ne fakamamahi'i 'a e ngaahi paipa ako 'o e sio fakakomipiuta lahi.

"Ko e filosofia faka'aati 'a e DjVu 'o e decomposing 'a e faingata'a ki he ngaahi la'i 'oku lava ke pule'i, tau'ataina optimized ko ha tefito'i mo'oni ia na'e toe ma'u 'e he ako loloto 'i ha ngaahi hongofulu'i ta'u kimui ange — pea ko e synergy 'i he vaha'a 'o e ongo me'a ko 'eni 'oku ne fakatupu 'a e ngaahi fakalakalaka 'i he 'atamai 'o e tohi 'a ia na'e 'ikai lava ke fakakaukau'i 'i he taimi na'e fuofua release ai 'a e fotunga."

Ko e hā ʻa e ngaahi ngāueʻaki ʻaonga ʻo e ngaahi sisitemi ako loloto ʻoku fakaʻilo ʻe he DjVu?

Ko e uesia mo'oni 'o e mamani 'o hono fakataha'i 'o e ngaahi archives 'o e DjVu mo e ako loloto 'oku 'osi ongo'i ia 'i he ngaahi ngaue'anga lahi. Ko e ngaahi polokalama mahu'inga 'oku kau ai 'a e:

  • Ko e fakakomipiuta 'o e ngaahi tohi fakahisitolia: 'Oku ngaue'aki 'e he ngaahi kautaha hange ko e ngaahi laipeli fakafonua mo e ngaahi fale tauhi'anga fakamatala fakaako 'a e AI kuo ako'i 'e he DjVu ke faka'otometiki 'a e hiki 'o e ngaahi tohi nima, ngaahi lekooti fakalao, mo e ngaahi tohi 'oku 'ikai ke fa'a ma'u 'a ia 'e fie ma'u 'e he kau kataloka 'o e tangata 'a e ngaahi ta'u 'e hongofulu ke ngaue'aki to'oto'o.
  • 'Analaiso 'o e ngaahi tohi fakalao mo e tauhi: 'Oku fakahoko 'e he ngaahi kautaha lao mo e ngaahi kautaha fakapa'anga 'a e ngaahi sipinga kuo ako'i 'i he ngaahi laipeli aleapau 'oku ma'u mei he DjVu ke to'o 'a e ngaahi kupu, 'ilo'i 'a e lea fakatu'utamaki, pea faka'ilonga'i 'a e ngaahi me'a fakatonutonu 'i he fua.
  • Ngaue ki he lekooti fakafaito'o: 'Oku liliu 'e he ngaahi sisitemi tokanga'i 'o e mo'ui 'a e ngaahi faile tukufakaholo 'o e kau mahaki 'oku tanaki 'i he fotunga DjVu ki he ngaahi lekooti faka'ilekitulonika 'o e mo'ui 'oku fokotu'utu'u, 'oku lava ke kumi 'o faka'aonga'i 'a e ngaahi paipa AI 'oku nau tauhi 'a e ngaahi fakamatala fakatotolo mo e ngaahi fakamatala tohi nima.
  • Fakavavevave 'a e fakatotolo fakaako: 'Oku ngaue'aki 'e he kau saienisi 'a e ngaahi sisitemi ako loloto kuo ako'i 'i he ngaahi 'akau 'o e tohinoa fakasaienisi (lahi 'oku tufaki ko e DjVu) ke fakahoko 'a e ngaahi vakai'i 'o e ngaahi tohi lahi, 'analaiso 'o e netiueka 'o e citation, mo e to'utangata 'o e ngaahi fakakaukau.
  • Pulusi mo e pule'i 'o e kakano: 'Oku faka'otometiki 'e he ngaahi kautaha mitia 'a e metadata tagging, pule'i 'o e totonu, mo e repurposing 'o e kakano 'aki hono ngaue'aki 'enau ngaahi laipeli 'o e DjVu 'o fakafou 'i he ngaahi sipinga 'o e mahino 'o e tohi.

Ko e hā e ngaahi pole ʻoku fehangahangai mo e Ako lolotó ʻi he taimi ʻoku ngāueʻaki ai e ngaahi faile DjVu?

Neongo 'a e synergy 'oku tala'ofa, 'oku kei 'i ai pe 'a e ngaahi fakafe'atungia'i fakatekinikale mahu'inga. 'Oku 'uhinga 'a e codec 'o e compression 'o e DjVu 'oku 'ikai lava ke fakahoko 'e he ngaahi netiueka neural 'o e raw 'a e fotunga fakafonua — kuo pau ke 'uluaki decoded mo rasterized 'a e ngaahi tohi kimu'a pea toki fafanga ki he ngaahi sipinga 'o e 'imisi angamaheni. Ko e sitepu decoding ko 'eni 'oku ne fakafe'iloaki 'a e latency 'o e preprocessing mo e malava ke faka'auha 'a e tu'unga lelei kapau 'oku 'ikai ke fakatonutonu fakalelei 'a e ngaahi fakangatangata.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

'Ikai ngata ai, 'Oku 'omi 'e he fokotu'utu'u 'o e ngaahi la'ipepa lahi 'oku ne 'ai 'a e DjVu ke fu'u lelei ki he kau lau tohi 'a e tangata ha pole ki he ngaahi paipa ako loloto 'o e ngata'anga ki he ngata'anga. 'Oku 'amanaki 'a e lahi taha 'o e ngaahi transformers 'o e visone ki ha tensor 'imisi fakatahataha'i 'e taha; fafanga 'a e ngaahi la'ipepa 'o e mu'a mo e mui kehekehe 'oku fie ma'u 'a e ngaahi 'atakai angamaheni pe ngaahi la'ipepa fusion 'oku tanaki atu 'a e faingata'a 'o e sipinga. 'Oku fakatotolo'i 'e he kau fakatotolo 'a e ngaahi founga tokanga 'e lava ke natively ngaue 'i he ngaahi fakafofonga 'o e DjVu 'oku decomposed, 'a ia te ne fakaava 'a e ngaahi ma'u'anga tokoni mahu'inga 'o e 'aonga 'i he ngaahi ngaue 'o e ngaue 'a e ngaahi tohi lahi.

Ko e hā ʻoku ʻamanaki mai ʻi he kahaʻú ki he DjVu mo e Ngaueʻaki ʻo e Ngaahi Tohi Neural?

'I he vakai ki mu'a, 'oku mahino 'a e hala: 'i he hoko 'a e ngaahi sipinga 'o e ako loloto 'o malava mo lelei ange, 'e hoko 'a e ngaahi 'akau lahi 'o e ngaahi tohi DjVu 'o fakautuutu 'a e ma'u mo e mahu'inga. Multimodal ngaahi sipinga lea lalahi 'e lava ke nau ngaue'aki 'i he taimi tatau 'a e tohi, fokotu'utu'u, mo e kakano 'o e 'imisi 'oku 'osi kamata ke nau tokanga'i 'a e mahino 'o e tohi ko ha ngaue fakatahataha'i kae 'ikai ko ha paipa 'o e ngaahi sitepu kehekehe.

Ko e hake 'a e ngaahi sisitemi 'o e to'utangata 'o e retrieval-augmented (RAG) 'oku ne toe fokotu'u 'a e ngaahi 'akau 'o e DjVu ko e ngaahi makatu'unga 'o e 'ilo mahu'inga. Ko e ngaahi kautaha 'oku nau 'inivesi he taimi ni 'i hono liliu mo indexing 'enau ngaahi tanaki'anga DjVu 'e 'i ai ha kamata'anga 'ulu mahu'inga 'i hono fakahoko 'o e kau tokoni AI 'a e kautaha 'e lava ke ne tali 'a e ngaahi fehu'i 'oku makatu'unga 'i he 'ilo faka-inisititiuti 'oku spanning 'a e ngaahi hongofulu'i ta'u.

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

'E lava nai ke u liliu 'a e ngaahi faile DjVu ki he ngaahi fotunga 'oku fe'unga mo e ngaahi me'angaue AI fakaonopooni?

ʻIo. 'E lava ke decode 'e he ngaahi me'angaue 'oku fakaava-ma'u'anga fakamatala hange ko e DjVuLibre mo e ngaahi liliu fakakomesiale 'a e ngaahi faile DjVu ki he PDF, TIFF, pe PNG 'a e ngaahi fotunga 'oku poupou'i fakafonua 'e he lahi taha 'o e ngaahi fa'unga ako loloto. Ki he ngaue lahi, 'e lava ke faka'otometiki 'e he ngaahi paipa laine fekau 'a e liliu 'i he ngaahi 'akau fakakatoa, neongo 'oku totonu ke ke fakamo'oni'i 'a e tu'unga lelei 'o e output 'i ha sipinga fakafofonga kimu'a pea toki lele 'a e ngaahi liliu lahi.

'Oku kei fakalakalaka 'a e DjVu pe ko ha fotunga tukufakaholo?

DjVu 'oku tefito 'i ha fotunga tukufakaholo 'i he taimi ko 'eni, mo e fakalakalaka malohi 'oku ta'ofi lahi talu mei he vaeua'anga 'o e 2000s. Ka neongo ia, 'oku kei faka'aonga'i lahi ia 'i he ngaahi 'ekositemi 'o e laipeli fakakomipiuta koe'uhi ko e lahi 'o e sheer 'o e ngaahi me'a 'oku 'i ai 'oku tanaki 'i he fotunga. Ko e ako loloto 'oku ne 'oange 'a e DjVu ha mo'ui hono ua 'aki hono 'ai ke faka'ekonomika ke to'o mo faka'aonga'i 'a e 'ilo 'oku loka'i 'i loto 'i he ngaahi 'akau ko 'eni.

'Oku anga fefe 'a e fakafehoanaki 'o e compression 'a e DjVu ki he PDF ki he fakamatala ako loloto 'o e ako?

DjVu 'oku angamaheni 'aki hono a'usia 'o e 5–10x lelei ange 'a e compression 'i he PDF ki he ngaahi tohi kuo sikani lolotonga hono tauhi 'o e faitotonu faka'ata ma'olunga ange 'i he ngaahi faile lahi tatau. 'Oku hanga 'e he me'a ni 'o 'ai 'a e ngaahi fakamatala 'o e DjVu-sourced ke lahi ange 'a e tanaki'anga-lelei ki he ngaahi paipa ako, neongo 'oku 'uhinga 'a e poupou 'a e fotunga 'o e si'isi'i ange 'a e tefito'i me'angaue 'oku fie ma'u ha ngaahi me'angaue preprocessing 'oku tanaki atu 'i hono fakafehoanaki ki he 'ekositemi PDF 'oku 'i he feitu'u kotoa pe.

Ko hono pule'i 'o e ngaahi me'angaue, workflows, mo e ngaahi sisitemi 'ilo 'oku ne fakaivia 'a e ngaahi ngaue fakaonopooni 'oku fakalele 'e he AI — mei he ngaue 'a e ngaahi tohi ki he pule'i 'o e kakano — 'oku fie ma'u ha tu'unga 'oku langa ki he faingata'a 'i he fua. Ko e Mewayz ko ha sisitemi ngaue pisinisi 207-module 'oku falala ki ai 'a e kau faka'aonga'i 'oku laka hake he 138,000 ke fakafekau'aki 'a e tafa'aki kotoa pe 'o 'enau kautaha, kamata 'i he $19/mahina pe. Pe 'oku ke digitizing 'a e ngaahi 'akau, faka'otometiki 'a e ngaahi ngaue 'o e tohi, pe langa 'a e ngaahi makatu'unga 'o e 'ilo 'oku fakaivia 'e he AI fakamuimuitaha, 'Oku 'oatu 'e he Mewayz 'a e ngaahi langa fakalakalaka ke fai kotoa ia 'i he feitu'u pe 'e taha.

Kamata ho'o fononga Mewayz he 'aho ni 'i he app.mewayz.com pea 'ilo'i 'a e founga 'oku liliu ai 'e ha OS pisinisi fakatahataha'i 'a e founga ngaue 'a ho'o timi, me'afua, mo e ngaahi me'a fo'ou.

'E lava ke u liliu 'a e ngaahi faile DjVu ki he ngaahi fotunga 'oku fe'unga mo e AI fakaonopooni me'angaue?","talitali":{"@fa'ahinga":"Tali","tohi":"'Io 'e lava ke fakaava 'e he ngaahi me'angaue 'o e ma'u'anga fakamatala hange ko e DjVuLibre mo e ngaahi liliu fakakomesiale 'a e ngaahi faile DjVu ki he PDF, TIFF, pe ngaahi fotunga 'o e PNG 'oku poupou'i fakafonua 'e he lahi taha 'o e ngaahi fa'unga ako loloto 'o e conpeline compe- bul. 'a e ngaahi 'akau kotoa, neongo 'oku totonu ke ke fakamo'oni'i 'a e tu'unga lelei 'o e output 'i ha sipinga fakafofonga kimu'a pea toki lele 'a e ngaahi liliu lahi."}},{"@fa'ahinga":"Fehu'i","hingoa":"'Oku kei fakatupulaki malohi 'a e DjVu pe ko ha fotunga tukufakaholo ia?" format 'i he taimi ko 'eni, mo e fakalakalaka malohi lahi 'oku ta'ofi talu mei he lotolotonga 'o e 2000s Ka neongo ia, 'oku kei faka'aonga'i lahi ia 'i he ngaahi 'ekosisitemi 'o e laipeli fakakomipiuta koe'uhi ko e lahi 'o e sheer 'o e ngaahi me'a 'oku 'i ai 'oku tanaki 'i he format 'Oku ola lelei 'a e ako loloto 'o 'oatu 'a e DjVu ha mo'ui hono ua 'aki hono ngaohi ia ke 'ilo'i faka'ekonomika utilize mo e to'o hingoa. archives."}},{"@fa'ahinga":"Fehu'i","hingoa":"'Oku anga fefe hono fakafehoanaki 'o e compression 'a e DjVu ki he PDF ki he fakamatala ako loloto?" ma'olunga ange 'a e faitotonu faka'ata 'i he ngaahi lahi 'o e faile tatau 'Oku 'ai 'e he me'a ni 'a e DjVu-sourced datasets ke lahi ange 'a e tanaki'anga-lelei ki he ngaahi paipa ako, neongo 'oku 'uhinga 'a e poupou lahi ange 'a e fotunga 'oku fie ma'u ha ngaahi me'angaue preprocessing 'oku tanaki atu 'i hono fakafehoanaki ki he 'ekosisitemi PDF 'oku 'i he feitu'u kotoa pe."}}]}

Try Mewayz Free

All-in-one platform for CRM, invoicing, projects, HR & more. No credit card required.

Start managing your business smarter today

Join 30,000+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 30,000+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime