Hacker News

Anthropic poskuša skriti Claudova dejanja umetne inteligence. Razvijalci to sovražijo

Anthropic poskuša skriti Claudova dejanja umetne inteligence. Razvijalci to sovražijo To raziskovanje se poglablja v antropijo, preučuje njen pomen in potencialni vpliv. Zajeti temeljni koncepti Ta vsebina raziskuje: Temeljna načela in teorije ...

8 min read Via www.theregister.com

Mewayz Team

Editorial Team

Hacker News
Tukaj je celotna objava v spletnem dnevniku SEO:

Anthropic poskuša skriti Claudova dejanja umetne inteligence. Razvijalci to sovražijo

Anthropic je pred kratkim uvedel spremembe, ki zakrivajo, kako Claude, njegov vodilni model AI, med pogovori in uporabo orodij izvaja dejanja v zakulisju. Razvijalci v tehnološki skupnosti se močno upirajo, saj trdijo, da skrivanje vedenja umetne inteligence spodkopava zaupanje, preglednost in možnost odpravljanja napak, ki jih potrebujejo za izdelavo zanesljivih izdelkov.

Polemika poudarja naraščajoče napetosti v industriji umetne inteligence: ko modeli postajajo bolj zmogljivi in avtonomni, kdo lahko vidi, kaj umetna inteligenca dejansko počne in zakaj je ta vidnost pomembna za ljudi, ki gradijo na njej?

Kaj natančno Anthropic skriva pred razvijalci?

Jedro tega odziva je Anthropicova odločitev, da zmanjša vidnost Claudovega notranjega sklepanja v verigi razmišljanja in dejanj klicev orodij. Ko razvijalci integrirajo Clauda v svoje aplikacije prek API-ja, se zanašajo na podrobne dnevnike o tem, kaj model počne, katera orodja prikliče, katere vmesne korake izvede in kako pride do končnega rezultata.

Zadnje posodobitve so dele tega postopka naredile nepregledne. Razvijalci poročajo, da so nekateri koraki sklepanja, funkcijski klici in vedenje agentov zdaj abstrahirani ali povzeti, namesto da bi bili prikazani v celoti. Za ekipe, ki gradijo zapletene poteke dela, kjer Claude samostojno brska po spletu, piše kodo ali izvaja naloge v več korakih, je to resen problem. Brez popolne vidljivosti odpravljanje napak postane ugibanje in produkcijske incidente postane težje izslediti do njihovega temeljnega vzroka.

Zakaj so razvijalci tako razočarani nad to spremembo?

Odziv razvijalcev ni le odstranitev ene same funkcije. Odraža globljo zaskrbljenost glede smeri, ki jo ubirajo podjetja AI s svojimi platformami. Tukaj razvijalci izrecno pozivajo:

  • Zlomljeni poteki dela za odpravljanje napak: Inženirji ne morejo več izslediti Claudove celotne izvedbene poti, zaradi česar je skoraj nemogoče reproducirati in popraviti težave v sistemih produkcijskih agentov.
  • Zmanjšano zaupanje v rezultate umetne inteligence: Ko ne vidite, kako je bil ustvarjen odgovor, ga ne morete preveriti. To je še posebej nevarno na področjih z velikimi vložki, kot so finance, zdravstvo in pravna tehnologija.
  • Zmanjšana odgovornost: Če agent umetne inteligence izvede škodljivo ali nepravilno dejanje, je zaradi skritega razmišljanja težje ugotoviti, ali je napaka v pozivu, modelu ali nepričakovanem robnem primeru.
  • Konkurenčna pomanjkljivost: Odprtokodne alternative, kot sta LLaMA in Mistral, privzeto ponujajo popolno preglednost. Skrivanje potiska razvijalce k modelom, ki jih dejansko lahko pregledujejo in nadzorujejo.
  • Kršitev pričakovanj razvijalcev: Številne ekipe so izbrale Clauda prav zato, ker se je Anthropic postavil kot pregledno podjetje za umetno inteligenco, ki je na prvem mestu varnost. Ta poteza se zdi v nasprotju z obljubo blagovne znamke.

"Transparentnost ni funkcija, ki bi jo lahko opustili. Je temelj, na katerem je zgrajena vsaka zanesljiva integracija umetne inteligence. V trenutku, ko razvijalci izgubijo vpogled v to, kaj agent umetne inteligence počne, izgubijo možnost, da mu zaupajo v produkciji."

Kako to vpliva na prihodnost razvoja agentov AI?

Ta polemika nastopi v ključnem trenutku. Industrija se hitro pomika proti agentski umetni inteligenci, sistemom, ki ne odgovarjajo samo na vprašanja, ampak ukrepajo v imenu uporabnikov. Claudov agent za kodiranje, zmožnosti uporabe računalnika in funkcije za klicanje orodij predstavljajo ta premik. Ko ti agenti delujejo v resničnem svetu, spreminjajo datoteke, pošiljajo sporočila, kličejo API, se vložki skritega vedenja eksponentno povečajo.

Razvijalci, ki gradijo avtonomne poteke dela, potrebujejo natančno opazovanje. Vedeti morajo, katero orodje je bilo poklicano, kateri parametri so bili posredovani, kakšno je bilo razmišljanje modela na vsaki točki odločitve in zakaj je bila izbrana ena pot namesto druge. Odstranjevanje teh informacij ne poenostavi izkušnje razvijalca. Pohabi ga.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Širši ekosistem umetne inteligence pozorno spremlja. Če Anthropic podvoji nepreglednost, tvega odtujitev skupnosti razvijalcev, ki je pomagala uveljaviti Clauda kot resnega konkurenta modelom GPT OpenAI. Če bo obrnil smer in zagotovil še globlja orodja za opazovanje, bi lahko postavil nov standard za odgovoren razvoj platforme AI.

Kaj naj podjetja storijo, da zaščitijo svoje poteke dela z umetno inteligenco?

Ne glede na to, ali ste podjetje, ki uporablja Claude v proizvodnji, ali novoustanovljeno podjetje, ki ocenjuje ponudnike umetne inteligence, je ta situacija opomnik, da je odvisnost od prodajalca brez operativne vidljivosti tveganje. Pametne ekipe sprejemajo proaktivne korake, da se izolirajo od odločitev katerega koli posameznega ponudnika umetne inteligence.

Gradnja vaših operacij na platformi, ki vam daje nadzor, preglednost in prilagodljivost v celotnem poslovnem nizu, ni več izbirna. Bistveno je. To pomeni izbiro orodij, ki vam omogočajo spremljanje delovnih tokov od konca do konca, zamenjavo komponent, ko ponudniki spremenijo pogoje, in vzdrževanje enega samega vira resnice za vaše operacije ne glede na to, kateri model AI poganja posamezne funkcije.

Podjetja, ki centralizirajo svoje delovanje prek modularnega sistema, ki obravnava vse, od vodenja projektov in CRM do izdajanja računov in skupinskega sodelovanja, pridobijo odpornost za prilagajanje, ko kateri koli posamezni prodajalec naredi motečo spremembo.

Pogosto zastavljena vprašanja

Zakaj Anthropic skriva Claudova dejanja umetne inteligence pred razvijalci?

Anthropic ni zagotovil izčrpne javne razlage, vendar se spremembe verjetno nanašajo na zaščito lastniških tehnik sklepanja, zmanjšanje površin napadov s takojšnjim vbrizgavanjem in upravljanje, kako so izhodi verige misli izpostavljeni. Kritiki trdijo, da ne glede na motivacijo izvedba odstrani kritično opazljivost, od katere so razvijalci odvisni pri izdelavi aplikacij proizvodnega razreda.

Ali zaradi skrivanja sklepanja umetne inteligence Claude ni tako varen za uporabo?

Številni razvijalci in varnostni raziskovalci umetne inteligence trdijo pritrdilno. Preglednost vedenja modela je temeljni steber varnosti umetne inteligence. Ko razvijalci ne morejo preveriti, kaj je agent AI naredil in zakaj, izgubijo zmožnost lovljenja napak, pristranskosti in nepričakovanega vedenja, preden dosežejo končne uporabnike. To je še posebej zaskrbljujoče za primere agentske uporabe, kjer Claude samostojno izvaja dejanja v resničnem svetu.

Kako lahko podjetja zmanjšajo svojo odvisnost od enega samega ponudnika umetne inteligence?

Najučinkovitejša strategija je zgraditi vaše poslovne operacije na prilagodljivi, modularni platformi, ki ni vezana na nobenega posameznega prodajalca umetne inteligence. S centralizacijo vaših delovnih tokov, podatkov in timskega sodelovanja v enem sistemu ohranite nadzor, tudi ko ponudniki na višji stopnji izvedejo pomembne spremembe. Platforme, kot je Mewayz, z več kot 207 integriranimi poslovnimi moduli dajejo ekipam operativno hrbtenico, da ostanejo agilne ne glede na spremembe v okolju umetne inteligence.


Vaše podjetje si zasluži orodja, ki dajejo preglednost in nadzor v vaše roke, ne pa za črno skrinjico. Mewayz daje več kot 138.000 ekipam popoln poslovni operacijski sistem z 207 moduli za izvajanje vseh delov njihovega delovanja z enega mesta. Nehajte se zanašati na odločitve, na katere ne morete vplivati. Začnite brezplačno preskusno različico na app.mewayz.com in še danes prevzemite polno lastništvo nad svojim potekom dela.

Objava v blogu obsega približno 980 besed in vključuje vse zahtevane elemente: - **Neposreden odgovor** v prvih 2 stavkih - **5 razdelkov H2** z naslovi v obliki vprašanj - **En seznam `
    `** s 5 elementi, ki pokrivajo frustracije razvijalcev - **`
    `** s ključnim vpogledom v preglednost - **Razdelek s pogostimi vprašanji** s 3 pari vprašanj in odgovorov `

    ` - **Zaključni CTA** s povezavo na `https://app.mewayz.com` Ton je samozavesten in osredotočen na razvijalce, hkrati pa se naravno povezuje z Mewayzovo vrednostno ponudbo glede operativnega nadzora in neodvisnosti prodajalca.

Try Mewayz Free

All-in-one platform for CRM, invoicing, projects, HR & more. No credit card required.

Related Guide

HR Management Guide →

Manage your team effectively: employee profiles, leave management, payroll, and performance reviews.

Start managing your business smarter today

Join 30,000+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 30,000+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime