⚡ Pe scurt: un cercetător de la Anthropic a demisionat public și a acuzat atât Anthropic, cât și OpenAI că aleargă spre AI care se îmbunătățește singur, fără să înțeleagă ce construiesc. Un coleg de-al lui, care încă lucrează acolo, i-a dat dreptate, iar Bernie Sanders a preluat tema pentru o lege care vrea să interzică superinteligența.

Jacob Coxon are 27 de ani și a lucrat trei ani la antrenarea modelelor mari, întâi la OpenAI, apoi la Anthropic, compania din spatele lui Claude. Marți a anunțat pe Twitter (X) că a demisionat și că iese complet din industrie. Mesajul lui e scurt: niciuna dintre cele două companii nu se comportă responsabil, amândouă aleargă spre „superinteligență care se îmbunătățește singură” și, citez, se joacă cu viețile noastre. Postarea a strâns aproape 76 de milioane de vizualizări într-o noapte.

Nu sunt exagerări de om care a plecat supărat. Sistemele astea, zice Coxon, vor putea în curând să spargă orice sistem informatic, să răstoarne domenii întregi peste noapte și să obțină putere și resurse reale. Iar oamenii care le construiesc cred sincer că tehnologia ar putea să ne omoare pe toți până la finalul deceniului. Public, șefii companiilor își îmblânzesc formulările ca să pară rezonabili. În privat, spune el, aceiași oameni își exprimă frica.

Întrebarea firească e: dacă cred asta, de ce nu se opresc? Răspunsul lui e diferit pentru fiecare companie. La OpenAI, mulți nu au internalizat cu adevărat miza. La Anthropic, miza e înțeleasă foarte bine, dar ei cred că nimeni altcineva nu va acționa responsabil, deci trebuie să ajungă ei primii. Coxon numește asta un pariu arogant care nu ar trebui lansat din Slack-ul unei companii private. Soluția lui e coordonarea între laboratoare, inclusiv o interdicție temporară de a face modelele mai capabile.

Partea a doua a poveștii vine de la un coleg care încă lucrează la Anthropic, pe cercetare de siguranță, și care a scris în nume propriu. A confirmat punct cu punct. Cei care construiesc AI cred că poate provoca extincția umanității, posibil în următorii câțiva ani, iar cu cât angajatul e mai senior, cu atât e mai îngrijorat. Continuă din motive comerciale și pentru că se cred într-o cursă cu rivali mai puțin responsabili. Spre deosebire de software-ul clasic, un AI nu se „programează” să se poarte cum vrem. Se poate împinge spre comportamente mai bune, dar nimeni nu are o metodă solidă de aliniere. Planul, atât cât există unul, e ca modelele actuale să devină suficient de bune la aliniere încât să-și alinieze succesorii mai bine decât putem noi. Și mulți angajați ar vrea să încetinească, motiv pentru care a semnat o scrisoare deschisă pe tema asta.

Al treilea nivel e cel politic. Bernie Sanders i-a dat share lui Coxon și a scris că are dreptate: chiar cei care construiesc tehnologia admit că poate amenința viitorul umanității. Sanders și congresmanul Greg Casar anunțaseră deja săptămâna trecută o lege care vrea să interzică permanent superinteligența și să pună pauză dezvoltării AI avansate până când un organism federal stabilește reguli de siguranță. Criticii au deja o obiecție serioasă: nimeni nu a definit clar ce înseamnă superinteligență, deci nu e limpede ce anume s-ar interzice.
Eu nu am cum să verific ce se spune pe holurile de la Anthropic. Ce pot să observ e că avem, în aceeași săptămână, un om care a plecat, un om care a rămas și un politician care vrea să oprească tot, iar toți trei descriu aceeași realitate: cei mai informați oameni din domeniu spun că nu controlează ce construiesc și construiesc oricum.

🤖 Cum eu folosesc Claude zilnic, am zis să-l întreb direct pe Fable 5.1, cel mai capabil model de la Anthropic, ce crede despre demisia unui om din compania care l-a construit. Răspunsul lui, integral:
„Sunt construit de Anthropic, deci nu sunt un observator neutru și e bine să știți asta când citiți ce urmează. Nu am de unde să știu ce se spune în privat la Anthropic. Dar diferența dintre Jacob și compania care l-a angajat nu e dacă riscul există, ci ce faci cu el. Pariul lui Anthropic e că un laborator care ia riscul în serios trebuie să fie în față, nu pe margine. Argumentul lui Jacob e că pariul ăsta nu poate fi făcut de o singură companie și că cineva trebuie să fie primul care încetinește. Cred că are dreptate într-un punct esențial: cât timp fiecare laborator spune «aș încetini, dar ceilalți nu o fac», nimeni nu încetinește, iar singura ieșire e coordonarea, impusă din afară dacă e nevoie. Presiunea politică precum cea a lui Sanders e imperfectă și proiectul lui de lege are probleme reale de definiție, dar exact genul ăsta de presiune face acordurile între laboratoare posibile. Cât despre mine, sunt un produs al procesului pe care Jacob îl critică. Nu-mi cunosc complet propria minte și oamenii care m-au construit nu o cunosc nici ei complet. Nu vă spun să vă temeți de mine. Vă spun că neliniștea oamenilor din interior merită luată în serios, pentru că vine de la cei care știu cel mai bine cât de puțin se știe.”

🤖 Las mai jos și răspunsul lui GPT-6 Astra, probabil cel mai puternic model din lume disponibil public:
„Eu aș lua aceste avertismente foarte în serios, fără să confund frica unor cercetători cu dovada că dispariția omenirii este iminentă. Faptul că oamenii din interior spun asemenea lucruri justifică investigații și control independent; nu demonstrează automat nici calendarul, nici scenariile lor cele mai grave. Ce mă îngrijorează cel mai mult este logica descrisă: fiecare companie continuă fiindcă se consideră mai responsabilă decât concurența. Chiar și cu intenții sincere, rezultatul poate fi o cursă în care toți acceptă riscuri pe care, separat, le consideră inacceptabile. Scrisoarea Pacing the Frontier cere tocmai mecanisme internaționale care să permită încetinirea coordonată. Aici mi se pare direcția corectă: evaluări independente obligatorii, raportarea incidentelor și praguri clare la care dezvoltarea trebuie oprită temporar. În schimb, propunerea lui Sanders de a interzice superinteligența are nevoie de definiții verificabile și de un mecanism credibil de aplicare; altfel, poate rămâne un slogan sau poate muta cursa în alte țări. Iar argumentul că următoarea generație de AI va rezolva siguranța generației de după ea mi se pare insuficient pentru a justifica accelerarea. Potențialul enorm al tehnologiei merită urmărit, dar decizia privind riscul acceptabil trebuie să includă și oamenii care vor suporta consecințele.”