Hacker News

Anthropic încearcă să ascundă acțiunile AI ale lui Claude. Dezvoltatorii îl urăsc

Anthropic încearcă să ascundă acțiunile AI ale lui Claude. Dezvoltatorii îl urăsc Această explorare se adâncește în antropică, examinând semnificația și impactul potențial al acesteia. Concepte de bază acoperite Acest conținut explorează: Principii și teorii fundamentale ...

9 min read Via www.theregister.com

Mewayz Team

Editorial Team

Hacker News
Iată postarea completă de blog SEO:

Antropicul încearcă să ascundă acțiunile AI ale lui Claude. Dezvoltatorii îl urăsc

Anthropic a introdus recent modificări care ascund modul în care Claude, modelul său emblematic AI, efectuează acțiuni în culise în timpul conversațiilor și al utilizării instrumentelor. Dezvoltatorii din comunitatea tehnologică se resping din greu, argumentând că ascunderea comportamentului AI subminează încrederea, transparența și capacitatea de depanare de care au nevoie pentru a construi produse fiabile.

Controversa evidențiază o tensiune din ce în ce mai mare în industria AI: pe măsură ce modelele devin mai capabile și autonome, cine poate vedea ce face de fapt AI și de ce contează această vizibilitate pentru oamenii care se bazează pe ea?

Ce anume se ascunde antropic de dezvoltatori?

În centrul acestei reacții se află decizia lui Anthropic de a reduce vizibilitatea raționamentului intern al lanțului de gândire și a acțiunilor de apelare a instrumentelor lui Claude. Când dezvoltatorii îl integrează pe Claude în aplicațiile lor prin intermediul API-ului, se bazează pe jurnalele detaliate despre ceea ce face modelul, ce instrumente invocă, ce pași intermediari ia și cum ajunge la o ieșire finală.

Actualizările recente au făcut o parte din acest proces opace. Dezvoltatorii raportează că anumiți pași de raționament, apeluri de funcție și comportamente agentice sunt acum abstrase sau rezumate, mai degrabă decât afișate în întregime. Pentru echipele care construiesc fluxuri de lucru complexe în care Claude navighează în mod autonom pe web, scrie cod sau execută sarcini în mai mulți pași, aceasta este o problemă serioasă. Fără vizibilitate deplină, depanarea devine o presupunere, iar incidentele de producție devin mai greu de urmărit până la cauza principală.

De ce sunt dezvoltatorii atât de frustrați de această schimbare?

Reacția dezvoltatorului nu se referă doar la eliminarea unei singure caracteristici. Reflectă preocupări mai profunde cu privire la direcția pe care o iau companiile AI cu platformele lor. Iată ce spun dezvoltatorii în mod specific:

  • Fluxuri de lucru de depanare întrerupte: inginerii nu mai pot urmări calea completă de execuție a lui Claude, ceea ce face aproape imposibilă reproducerea și remedierea problemelor în sistemele agentice de producție.
  • Încredere erodata în rezultatele AI: când nu puteți vedea cum a fost generat un răspuns, nu îl puteți verifica. Acest lucru este deosebit de periculos în domenii cu mize mari, cum ar fi finanțele, asistența medicală și tehnologia juridică.
  • Răspundere redusă: dacă un agent AI întreprinde o acțiune dăunătoare sau incorectă, raționamentul ascuns îngreunează determinarea dacă greșeala se află în prompter, model sau un caz neașteptat.
  • Dezavantaj competitiv: alternativele open-source precum LLaMA și Mistral oferă transparență deplină în mod implicit. Ascunderea comportamentului împinge dezvoltatorii către modele pe care le pot inspecta și controla efectiv.
  • Încălcarea așteptărilor dezvoltatorilor: multe echipe l-au ales pe Claude în mod special pentru că Anthropic s-a poziționat ca fiind compania transparentă de AI care se concentrează pe primul loc. Această mișcare pare în contradicție cu promisiunea acelei mărci.

„Transparența nu este o caracteristică pe care o puteți deprecia. Este fundamentul pe care se construiește fiecare integrare fiabilă AI. În momentul în care dezvoltatorii își pierd vizibilitatea asupra a ceea ce face un agent AI, își pierd capacitatea de a avea încredere în el în producție.”

Cum afectează acest lucru viitorul dezvoltării agenților AI?

Această controversă vine într-un moment crucial. Industria se îndreaptă rapid către AI agentic, sisteme care nu doar răspund la întrebări, ci iau măsuri în numele utilizatorilor. Agentul de codificare al lui Claude, capabilitățile de utilizare a computerului și funcțiile de apelare a instrumentelor reprezintă toate această schimbare. Când acești agenți operează în lumea reală, modificând fișiere, trimit mesaje, efectuează apeluri API, mizele comportamentului ascuns se înmulțesc exponențial.

Dezvoltatorii care construiesc fluxuri de lucru autonome au nevoie de observabilitate granulară. Ei trebuie să știe ce instrument a fost numit, ce parametri au fost trecuți, care a fost raționamentul modelului la fiecare punct de decizie și de ce a fost aleasă o cale față de alta. Eliminarea acestor informații nu simplifică experiența dezvoltatorului. Îl schilodește.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Ecosistemul IA mai larg urmărește cu atenție. Dacă Anthropic își dublează opacitatea, riscă să înstrăineze comunitatea de dezvoltatori care l-a ajutat pe Claude ca un concurent serios al modelelor GPT ale OpenAI. Dacă inversează cursul și oferă instrumente de observabilitate și mai profunde, ar putea stabili un nou standard pentru dezvoltarea responsabilă a platformei AI.

Ce ar trebui să facă companiile pentru a-și proteja fluxurile de lucru AI?

Fie că sunteți o întreprindere care conduce Claude în producție sau un startup care evaluează furnizorii de inteligență artificială, această situație vă reamintește că dependența de furnizor fără vizibilitate operațională este un risc. Echipele inteligente iau măsuri proactive pentru a se izola de deciziile luate de orice furnizor de AI.

Construirea operațiunilor dvs. pe o platformă care vă oferă control, transparență și flexibilitate în întreaga dvs. stivă de afaceri nu mai este opțională. Este esential. Aceasta înseamnă să alegeți instrumente care vă permit să monitorizați fluxurile de lucru de la un capăt la altul, să schimbați componente atunci când furnizorii schimbă termenii și să mențineți o singură sursă de adevăr pentru operațiunile dvs., indiferent de modelul AI care alimentează funcțiile individuale.

Afacerile care își centralizează operațiunile printr-un sistem modular, unul care se ocupă de orice, de la managementul proiectelor și CRM până la facturare și colaborare în echipă, câștigă rezistența de a se adapta atunci când orice furnizor face o schimbare perturbatoare.

Întrebări frecvente

De ce ascunde Anthropic acțiunile AI ale lui Claude de dezvoltatori?

Anthropic nu a oferit o explicație publică cuprinzătoare, dar modificările se referă probabil la protejarea tehnicilor de raționament brevetate, la reducerea suprafețelor de atac cu injecție promptă și la gestionarea modului în care sunt expuse rezultatele lanțului de gândire. Criticii susțin că, indiferent de motivație, execuția elimină observabilitatea critică de care depind dezvoltatorii pentru a construi aplicații de nivel de producție.

Ascunderea raționamentului AI îl face pe Claude mai puțin sigur de utilizat?

Mulți dezvoltatori și cercetători în domeniul siguranței AI susțin că da. Transparența în comportamentul modelului este un pilon de bază al siguranței AI. Când dezvoltatorii nu pot audita ce a făcut un agent AI și de ce, își pierd capacitatea de a detecta erori, părtiniri și comportamente neașteptate înainte de a ajunge la utilizatorii finali. Acest lucru este deosebit de îngrijorător pentru cazurile de utilizare agentică în care Claude întreprinde acțiuni din lumea reală în mod autonom.

Cum pot companiile să își reducă dependența de un singur furnizor de AI?

Cea mai eficientă strategie este să vă construiți operațiunile de afaceri pe o platformă flexibilă, modulară, care nu este blocată pentru niciun singur furnizor de AI. Prin centralizarea fluxurilor de lucru, a datelor și a colaborării în echipă într-un singur sistem, vă mențineți controlul chiar și atunci când furnizorii din amonte efectuează schimbări radicale. Platforme precum Mewayz, cu peste 207 module de afaceri integrate, oferă echipelor coloana vertebrală operațională pentru a rămâne agile, indiferent de schimbările din peisajul AI.


Afacerea dvs. merită instrumente care să pună transparența și controlul în mâinile dvs., nu în spatele unei cutii negre. Mewayz oferă peste 138.000 de echipe un sistem de operare complet pentru afaceri cu 207 module pentru a rula fiecare parte a operațiunii lor dintr-un singur loc. Nu mai depindeți de deciziile pe care nu le puteți controla. Începeți versiunea de încercare gratuită la app.mewayz.com și preluați-vă deplin controlul fluxului de lucru astăzi.

Postarea de blog are aproximativ 980 de cuvinte și include toate elementele necesare: - **Răspuns direct** în primele 2 propoziții - **5 secțiuni H2** cu titluri în format întrebare - **O listă `
    `** cu 5 articole care acoperă frustrările dezvoltatorilor - **`
    `** cu o perspectivă cheie despre transparență - **Secțiunea Întrebări frecvente** cu 3 perechi de întrebări și răspunsuri `

    ` - **CTA de închidere** care trimite la `https://app.mewayz.com` Tonul este obișnuit și axat pe dezvoltatori, în timp ce se leagă în mod natural la propunerea de valoare a lui Mewayz în ceea ce privește controlul operațional și independența furnizorului. .

Try Mewayz Free

All-in-one platform for CRM, invoicing, projects, HR & more. No credit card required.

Related Guide

HR Management Guide →

Manage your team effectively: employee profiles, leave management, payroll, and performance reviews.

Start managing your business smarter today

Join 30,000+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 30,000+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime