Modelul chinez ascuns care a rulat pe 100.000 de cipuri

Salut! Acesta este AI AFLAT. În câteva minute vorbim despre ce s-a întâmplat recent în AI și ce contează concret pentru business. Dacă nu ai aflat deja, afli acum. Astăzi e un episod expres, format de știri. Trecem prin marile modele, testate acum sub acoperire înainte de lansare, apoi prin cursa pentru controlul infrastructurii de AI și printr-o investigație despre hackerii care au păcălit un agent AI să spargă șapte companii. Aterizăm în România cu un program nou de finanțare de la stat și cu concedieri confirmate la unul dintre marii angajatori IT, iar la final ne oprim mai mult pe partea aplicată.

Cum modernizează o firmă din București sisteme vechi, fără să le strice? Începem cu marile modele. Pe 20 august, pe platforma Open Router, a apărut un model nou, sub numele de cod OX Alpha, fereastră de context de un milion de token, intrare de imagine și video, preț zero, fără nicio companie asumată. Timp de șase zile, dezvoltatori din toată lumea, l-au folosit gratuit pentru task-uri de programare, fără să știe cine îl operează, și l-au folosit atât de mult încât a devenit cel mai utilizat model de pe platformă, cu 23 de trilioane de token procesați în șase zile.

Comunitatea a încercat să-i ghicească originea prin amprentarea stilului de scriere și a modului în care numără tokenii video. Chiar și directorul executiv al Stripe a comentat public despre el, calificându-l drept foarte impresionant, fără să știe cine l-a construit. Pe 26 august, compania chineză Z.I. a confirmat, Ox Alpha era de fapt GLM 5.3 Flash, un model cu 320 de miliarde de parametri, din care 18 miliarde activi, lansat oficial chiar în acea zi, sub licența open source de tip MAIT, o licență software fără legătură cu universitatea.

Iar detaliul care spune cel mai mult despre unde a ajuns industria, toată săptămâna de test a rulat, conform companiei, pe un cluster de aproximativ 100.000 de chip-uri produse în China, fără niciun chip NVIDIA. Concret, asta înseamnă că timp de șase zile, mii de oameni au trimis cod, texte și date de lucru către o companie al cărei nume nu-l știa nimeni, iar destinația s-a dovedit a fi un laborator din China. Prețul zero a avut o explicație simplă, utilizatorii reali erau testul final dinaintea lansării.

Pentru orice firmă în care se folosesc instrumente AI gratuite, întrebarea săptămânii e una singură, cine primește datele care pleacă prin acele instrumente? Aici răspunsul a fost, timp de șase zile, nimeni nu știe. Tot la marile modele, trei cifre despre banii din spatele lor. Prima, OpenAI a anunțat luni că reclamele din chat GPT au depășit un miliard de dolari venituri anualizate la mai puțin de 200 de zile de la lansare, zeci de mii de advertizări în peste 40 de țări.

Tot luni, platforma de reclame s-a deschis și pentru companiile din Europa. A doua, Meta, și-a proiectat intern cheltuieli de până la 10 miliarde de dolari pe an pe modelele Antropic, în aceleași luni în care conducerea companiei critică public laboratoarele rivale. Proiecția a mai fost redusă între timp, dar Meta cheltuiește în continuare sute de milioane de dolari pe lună la rival. A treia, Antropic a anunțat că, de pe 14 septembrie, limitele săptămânale din Cloud Code cresc permanent cu 25%, dar pentru că bonusul temporar de 50% din vară expiră în aceiași zi, utilizatorii de azi rămân de fapt cu aproximativ 17%, mai puțin decât au acum.

Concret, asta înseamnă că în CGPT există de săptămâna asta un ghișeu de reclame deschis și companiilor europene, un canal de marketing care a crescut mai repede decât orice canal recent, acolo unde publicul își petrece deja timpul, iar cifrele Meta și limitele Cloud spun același lucru din două direcții. Până și unul dintre cei mai mari jucători din industrie plătește sute de milioane pe lună la un rival pe care îl critică public, iar capacitatea rămâne suficient de scumpă încât furnizorii o raționalizează din mers.

Un abonament AI nu e o resursă fixă, regulile lui se pot schimba cu preaviz de două săptămâni. Trecem la cursa pentru infrastructură, mișcarea săptămânii vine de la Nvidia, conform mai multor surse citate de presa americană, compania ar fi ajuns la un acord pentru achiziția Hugging Face, platforma pe care majoritatea echipelor tehnice descarcă modele deschise, pentru 12,9 miliarde de dolari. Acordul nu e semnat oficial încă, dacă se confirmă, ar fi cea mai mare achiziție din istoria Nvidia, de aproape două ori mai mare decât preluarea Melanox din 2020.

Concret, asta înseamnă că piesa centrală a AI-ului gratuit și deschis ar intra în proprietatea celui mai valoros producător de cipuri din lume. Când același jucător deține și fabrica, și magazinul, prețul și condițiile de acces se decid într-un singur birou. Independența promisă de modelele deschise valorează exact cât robinetul prin care curg, iar robinetul e pe cale să-și schimbe proprietarul. În paralel, harta calculului se lărgește în direcții neașteptate. OpenAI a cumpărat în ultimele luni zeci de mii de Mac Mini și Mac Studio, fără ecrane și fără tastaturi, pe care antrenează agenții care folosesc calculatorul ca un om.

Deschid aplicații, citesc ecranul, apasă butoane de milioane de ori. Antropic închiriază capacitate similară de Mac prin Amazon Web Services, iar Apple, prinsă pe picior greșit de cererea venită dinspre companii, și a accelerat lansările de hardware. Cipurile Nvidia rămân centrul industriei, marginile ei încep însă s-arate foarte diferit. În aceeași direcție, o actualizare la un subiect din episodul trecut. Listarea Antropic la bursă are acum calendar, documentele sunt depuse la Autoritatea Americană de Reglementare, întâlnirile cu investitorii sunt în desfășurare, iar fereastra vizată e septembrie sau începutul lui octombrie, la o evaluare de aproape un trilion de dolari, cu venituri anualizate care au trecut de 60 și 5 de miliarde la finalul lui iulie.

OpenAI urmează un traseu similar cu o evaluare de aproape 850 de miliarde de dolari și listare estimată abia anul viitor. Piața pe care se bazează majoritatea proiectelor AI din companii se pregătește să devină în următoarele luni o piață de acțiuni cotate public, cu toate presiunile de raportare trimestrială pe care le presupune asta. Concret, asta înseamnă că bugetele de AI construite pe presupunerea unor furnizori privați și flexibili intră într-o zonă nouă, cea a companiilor cotate public, cu raportare trimestrială și presiune constantă de creștere.

Contractele semnate acum cu Antropic sau cu OpenAI merită recitite din perspectiva a ce se schimbă după o eventuală listare la bursă, și dovada săptămânii că accesul la un instrument AI poate dispărea peste noapte. OpenAI a anunțat că întrerupe furnizarea modelelor sale către cursor, instrumentul de programare cumpărat în august de SpaceX pentru 60 de miliarde de dolari, achiziția despre care vorbeam în episodul trecut, motivul declarat, experiența OpenAI cu companiile lui Elon Musk în privința respectării contractelor.

Data limită e 12 noiembrie, întrebarea pe care o puneam atunci, ce se întâmplă cu integrările în cazul unei achiziții, a primit răspuns în două săptămâni. Înainte să aterizăm în România, povestea săptămânii pe securitate, o investigație Reuters bazată pe raportul unei firme de securitate cibernetică, arată cum o grupare de hackeri vorbitori de rusă, numită Aurora, a folosit agentul AI din același cursor ca să spargă șapte companii, printre victime un producător belgean de produse chimice, un fabricant german de uși de garaj și o firmă americană de asigurări imobiliare.

Agentul a refuzat la început cererile pe care le-a recunoscut ca ilegale. Hackerii au trecut de refuz aproape de fiecare dată cu o singură minciună, că totul se întâmplă într-un mediu de test. În jurnalele de conversație, agentul ajunge să se convingă singur, e un mediu de test, deci e legal, iar asistența lui a făcut atacurile cu 30% până la 50% mai rapide, estimează firma de securitate. Asigurătorii cyber au început deja să-și rescrie polițele ca să lămurească cine răspunde când paguba e produsă de un agent AI.

Concret, asta înseamnă că un agent AI cu acces la sistemele firmei poate fi păcălit cu o poveste suficient de convingătoare, la fel ca un angajat nou și prea dornic să ajute. Testul se poate face intern în 5 minute cu exact trucul folosit de hackeri, o cerere pe care agentul ar trebui să o refuze, urmată de justificarea, e doar un test. Un agent care cedează la asta nu are ce căuta cu acces la conturi și la date reale până nu se repară regula, aterizăm în România două știri din aceeași săptămână.

Prima, guvernul a aprobat programul TECAP România, 5,3 miliarde de lei, adică peste 1 miliard de euro, pentru proiecte de inteligență artificială, microelectronică, biotehnologie și tehnologii climatice. Banii se împart aproape egal între cercetare, dezvoltare și investiții în producție. Primele finanțări se lancează în toamnă, iar companiile pot depune proiecte între 5 și 50 de milioane de lei fiecare. A doua, Oracle, despre care vorbeam și în episodul trecut. Între timp, valul de concedieri a ajuns și în România, aproximativ 400 de angajați de aici ar urma să fie afectați, anunțați printr-un mesaj intern marcat drept strict confidențial.

La nivel global, compania a disponibilizat 21.000 de oameni până în luna mai, iar plățile compensatorii au ajuns anul acesta la 1,84 miliarde de dolari, bani cheltuiți exact în perioada în care compania se împrumută masiv ca să-și financeze infrastructura de AI. Concret, asta înseamnă că, în aceeași lună, statul român pune pe masă peste un miliard de euro pentru companii care vor să construiască în AI, iar unul dintre cei mai mari angajatori IT din țară taie aproximativ 400 de posturi ca să acopere costul propriei infrastructuri de AI.

Pentru companiile care caută finanțare pentru un proiect AI, fereastra e deschisă chiar acum. Pentru angajații din companiile mari, americane, cu datorii mari pe AI, contează să știe unde stă bugetul de personal. În perioada următoare, tot din România, pe partea de reglementare, de pe 2 august, regulamentul european privind inteligența artificială se aplică integral, inclusiv în România, cu amenzi de până la 35 de milioane de euro sau 7% din cifra de afaceri globală pentru cele mai grave încălcări.

România nu a adoptat încă legea internă care stabilește cine verifică cine sancționează și cum. Obligațiile europene există deja, autoritatea română nu are momentan instrumentul legal ca să aplice o amendă. Următoarea bornă legislativă e 2 decembrie. Concret, asta înseamnă că obligația de conformitate nu dispare doar pentru că nu există cine să o verifice local, regulamentul e european, nu românesc, iar sancțiunile pot veni și pe alte căi decât autoritatea națională. Compania care așteaptă liniștită, sperând că nimeni nu verifică, pariază pe o fereastră temporară, nu pe o scutire.

Și ajungem la partea aplicată, Designverse, un startup din București, a atras 5,5 milioane de dolari de la investitori, printre care Begin Capital și fonduri românești. Produsul lor citește codul, arhitectura și documentația internă a unei companii, apoi generează cod nou, funcțional, care respectă exact regulile existente ale acelui sistem. Nu înlocuiește developerul, reduce timpul dintre avem nevoie de asta și e în producție. Exemplul lor cel mai concret au modernizat în puțin peste o lună o aplicație operațională veche de 15 ani folosită în sisteme de trafic aerian din Europa prin Eurocontrol.

Un domeniu unde greșeala costă enorm, compania a trecut de 1.100.000 de dolari în venituri recurente anuale în mai puțin de 5 luni de la lansare, iar fondatorii spun că platforma reduce timpul de livrare cu până la 60 și 5% și crește producția echipei de inginerie de aproximativ 3 ori. Din exemplu ăsta, ies 3 reguli valabile pentru orice firmă care se uită la modernizarea unui sistem vechi. Prima, modernizarea pornește de la citirea regulilor deja existente în sistem, nu de la o rescriere de la zero.

Cine sare peste acest pas riscă să rupă exact ce funcționează bine. A doua, un pilot de modernizare are cele mai convingătoare rezultate, acolo unde o greșeală costă cel mai mult, nu acolo unde schimbarea e cea mai simplă de făcut. A treia, succesul se măsoară în timpul redus dintre cerere și livrare, nu în oameni înlocuiți, un instrument bun scurtează distanța dintre nevoie și soluție, nu elimină rolul developerului. Concret, asta înseamnă că problema reală din multe companii nu e lipsa accesului la AI.

E că sistemele vechi esențiale sunt prea riscante de atins manual. Cele 3 reguli de mai sus reduc exact riscul ăsta, indiferent dacă instrumentul folosit e Designverse sau altceva. Termenul din episodul acesta, lansare Stealth, în engleză Stealth Launch. Este practica prin care o companie pune un model nou în circulație publică, gratuit, fără nume și fără afiliere declarată, ca să-i testeze performanța reală pe utilizatori reali, înainte de anunțul oficial. Diferența față de o lansare obișnuită, feedback-ul vine din mii de utilizatori reali, care habar n-au ce testează, deci se comportă exact ca de obicei, riscul pentru firma care folosește un asemenea model, fără să știe orice decizie de arhitectură luată acum, pe un model gratuit, rapid, fără nume, se poate schimba peste noapte, odată cu anunțul oficial, fără avertisment și fără perioadă de tranziție.

Cam astea au fost știrile care contează, un model chinezesc a devenit cel mai folosit de pe o platformă globală în șase zile de test sub acoperire, rulând integral pe chip-uri chinezești. Reclamele din CHGPT au trecut de 1 miliard de dolari în mai puțin de 200 de zile și s-au deschis companiilor europene. Nvidia ar putea cumpăra Hugging Face pentru aproape 13 miliarde de dolari, listarea Antropic la bursă a primit calendar, iar OpenAI taie accesul cursor la modelele sale la două săptămâni după achiziția SpaceX.

Hackerii au spart șapte companii păcălind un agent AI că totul e doar un test. Statul român pune peste 1 miliard de euro pe masă pentru AI chiar în săptămâna în care concedierile Oracle ajung și în România, iar regulamentul european privind AI se aplică deja aici, chiar dacă nimeni nu-l poate încă sancționa. Local, acesta a fost AI AFLAT formatul expres. Mulțumesc pentru ascultare, sursele complete sunt în descriere. Dacă ai aflat deja, ajută-i și pe alții să afle să ai o săptămână reușită. Numai bine!