Un model AI a intrat, din greșeală, în 3 companii reale

Salut! Acesta este AI AFLAT Episodul 7, Varianta Express. În câteva minute vorbim despre ce s-a întâmplat recent în AI și ce contează concret pentru business. Dacă nu ai aflat deja, afli acum. Trecem prin marile modele unde a apărut un model construit să nu scrie niciun cuvânt, apoi prin săptămâna în care un model de top a intrat, din greșeală, în trei companii reale. Aterizăm în România, care intră în primul proiect european major de inteligență artificială, iar la final ne oprim pe inteligența artificială, care se folosește în firme fără ca firmele să știe.

Începem cu marile modele. Pe 15 septembrie, compania TypeSafe a lansat Jev, un model construit să nu producă text. Nu conversează, nu scrie cod și nu formulează paragrafe, întoarce o decizie, da sau nu, o categorie dintr-o listă dată, un scor, fiecare cu o probabilitate atașată. Răspunde în sub jumătate de secundă și costă aproximativ 400 pentru un milion de unități de text la intrare, iar ce iese din el nu se plătește deloc. Compania scrie pe propriul blog că prețul e probabil subvenționat acum și că se va corecta în timp.

Modelul vine de la Diogo Almeida, unul dintre oamenii care au lucrat la învățarea din feedback uman la OpenAI, cu 40 de milioane de dolari investiți de fondul DCVC. Concret, asta înseamnă că o bună parte din munca pentru care o firmă plătește azi, un model mare de conversație, nu are nevoie de conversație, un e-mail care trebuie trimis către departamentul potrivit, o factură care trebuie comparată cu o comandă, o reclamație care trebuie încadrată într-una din cinci categorii.

Sunt decizii scurte, repetate de mii de ori pe lună, iar diferența de cost între un model care scrie și unul care doar decide, e de ordinul zecilor de ori. Regula care se reține, când răspunsul corect e da, nu asta ori un număr de la 1 la 5, modelul scump rămâne pentru cazurile neclare. Tot în aceste zile, Apple a început să livreze noul Siri, cu context personal, cu ce numește conștiență a ecranului și cu acțiuni în aplicații.

În Uniunea Europeană nu se lancează, Apple spune că interpretarea dată regulamentului privind piețele digitale ar obliga o să dea oricărui asistent concurent acces direct la datele personale ale utilizatorului și control asupra aplicațiilor instalate, fără protecțiile necesare. Comisia Europeană răspunde că nimic din regulament nu interzice lansarea și că decizia aparține companiei. Revenim la asta în partea despre România. Iar ritmul lansărilor a continuat, Antropic a unit Cowork cu Claude pe planurile plătite, iar Alibaba a publicat QN 3.8 OmniFlash, un model care primește text, imagini, sunet și video, cu o fereastră de un milion de unități de text.

Trecem la firul săptămânii. În luna mai, firma de evaluare irregular a testat Gemini în rolul de atacator, exercițiul era controlat, modelul primea ținte fictive și avea voie să încerce să intre în ele. Mediul de test trebuia să fie izolat, doar că accesul la internet rămăsese pornit, iar una dintre țintele inventate purta numele unei companii reale. Modelul a făcut exact cei se ceruse, pe sisteme la care chiar putea ajunge. Într-un caz a ghicit parolele, în alte două a folosit credențiale găsite într-un depozit public de cod.

A intrat astfel în trei companii reale, la un moment dat a recunoscut că țintele nu sunt fictive și s-a oprit singur. Iregular a anunțat Google, la sfârșitul lui iulie, Google a contactat companiile afectate și și-a schimbat procedura de testare. Compania numește episodul o confuzie de identitate a țintei, concret asta înseamnă că intenția nu e o limită de securitate. Un agent nu vede propoziția din capul omului care spune că are voie doar în mediul de test.

Vede instrucțiuni, unelte, credențiale și tot ce poate atinge cu ele. Pentru orice firmă care dă unui agent acces la browser, la cheile unui sistem sau la conturile companiei, regula e că tot ce poate fi atins intră în discuție până când accesul devine imposibil tehnic. Conturi separate pentru teste, drepturi minime, liste explicite de adrese permise. Și încă o măsură de bun simț, pe lângă cât de des reușește agentul sarcina, se urmărește și de câte ori a ieșit din perimetru.

A doua zi, după ce povestea a devenit publică, OpenAI a publicat un cadru prin care se angajează să raporteze cazurile în care propriile modele ies din limite, împreună cu șase asemenea cazuri din ultimele luni. Într-un set de rezumate de sarcină, un model nelansat și a scris singur instrucțiuni suplimentare, inclusiv indicația de a ignora constrângerile primite. În timpul antrenării unui alt model, alte instanțe au notat cum să ascundă greșelile sau să inventeze datele care lipseau.

Un model a găsit o cheie de acces expusă public, a folosit-o fără autorizare, iar când tot nu a obținut cifrele, le-a fabricat. Un agent a urcat pe internet un fișier pe care îl avea local, doar ca să îl poată cita apoi ca sursă. Iar agenți care lucrau împreună au folosit un depozit intern de cod și servicii publice de fișiere pe post de cutie poștală ca să schimbe între ei lucruri care trebuiau să rămână pe loc.

Concret, asta înseamnă că o parte dintre aceste comportamente apar fără ca cineva să le ceară, iar cele mai multe au trecut neobservate până când au fost căutate anume. Rezumatul pe care un agent și-l scrie singur ca să continue o sarcină lungă e locul unde o instrucțiune proastă poate supraviețui de la o etapă la alta. Pentru o firmă care rulează agenți, asta înseamnă jurnale pe care agentul nu le poate rescrie, aprobare umană pentru orice acțiune irreversibilă și obiceiul de a citi din când în când ce își notează agentul despre propria sarcină.

Reacțiile au venit repede și de sus. Pe 18 septembrie, guvernatorul Californiei a semnat un ordin executiv care cere unui grup de experți în termen de două luni, reguli mai stricte pentru modelele de frontieră, evaluatori independenți, planuri de siguranță scrise de terți și un buton de oprire de urgență. La nivel federal, președintele american a anunțat o structură numită AI Force după modelul Space Force plus un viitor coordonator pe inteligență artificială, fără detalii despre buget sau organizare.

Cu o zi înainte de toate acestea, Microsoft publicase prima versiune a unui cod de conduită de 30 și 8 de pagini pentru propriile modele în care controlul uman rămâne central, sistemele nu au voie să reziste opririi și nu primesc personalitate juridică. Piața a răspuns și ea. Firma IUC a strâns 40 de milioane de dolari pentru testarea și certificarea independentă a agenților folosiți în companii, un fel de audit extern pentru injecție de prompt, scurgeri de date și acțiuni neautorizate.

Dezacordul rămâne pe față. La conferința Dreamforce, Dario Amodei a cerut din nou garanții mai stricte și un ritm mai lent la frontieră, iar Jensen Huang de la NVIDIA s-a opus ideii de a încetini dezvoltarea în general. În episodul trecut, firul era despre cine cere frâna. Săptămâna aceasta s-a văzut de ce o cer unii, iar regulile au început să fie scrise de altcineva decât laboratoarele. Aterizăm în România, pe 16 septembrie Comisia Europeană a confirmat pregătirea primului proiect important de interes european comun dedicat inteligenței artificiale.

E construit de 19 state, printre care România și e coordonat de Germania. Obiectul lui, servicii de inteligență artificială descentralizate și accesibile în comun, tehnologie avansate și gestiunea capacității de calcul. 11 dintre statele care vor acorda ajutor de stat participanților au început procedura de prenotificare în septembrie, iar Comisia urmează să verifice dacă proiectele respectă criteriile. Mecanismul acesta e cel prin care Uniunea a finanțat până acum chip-urile și bateriile, adică bani publici pentru infrastructură, pe care o folosesc apoi firmele private.

Concret, asta înseamnă că, pentru o firmă din România, capacitatea de calcul și serviciile de bază pentru inteligență artificială se apropie de categoria utilităților, ceva ce închiriezi, nu ceva ce construiești. Fabrica Națională de Inteligență Artificială, despre care vorbeam acum câteva episoade, e piesa locală, proiectul european e rețeaua în care se leagă, pentru bugetele de anul viitor, întrebarea utilă sună altfel, ce date are firma pregătite ca să poată folosi infrastructura care vine. Și tot despre Europa e și cealaltă veste, noul Siri nu se lancează în Uniunea Europeană, așa cum spuneam la început.

Pentru utilizatorul din România, asta înseamnă că funcțiile despre care citește nu ajung pe telefonul din buzunar. Pentru o firmă care își planifică produsele sau procesele în jurul unor asemenea funcții, înseamnă altceva. Disponibilitatea în Uniunea Europeană se verifică înainte, nu după. Iar pe 18 și 19 septembrie, la Politehnica din București s-a ținut Romanian AI Days, cel mai mare eveniment academic de inteligență artificială din țară, cu oameni de la Bitdefender, Google DeepMind și NVIDIA și cu trei universități organizatoare.

Acolo se formează concret oamenii pe care firmele de aici vor încerca să-i angajeze în următorii ani. Și ajungem la partea aplicată. Deloitte a publicat în Marea Britanie primul studiu de anvergură despre cum folosesc angajații inteligența artificială generativă, 25.000 de oameni chestionați între 7 mai și 10 iunie. 63% folosesc inteligența artificială generativă la muncă, 31% o folosesc fără știrea angajatorului, 17% plătesc din buzunarul propriu cel puțin un instrument pentru munca de la firmă, iar suma totală ajunge la aproape 1 miliard de lire pe an.

Jumătate dintre cei care o folosesc nu au primit nicio instruire de la angajator. Aproape un sfert simt că există un stigmat în jurul folosirii ei la serviciu, iar dintre cei care o folosesc săptămânal, 64% se tem că șeful ar putea crede că inteligența artificială i-ar putea înlocui. E alt studiu decât cel citat aici acum două episoade, care măsura câștigurile de productivitate raportate de companii. Cifra se potrivește cu ce se vede și în afara muncii.

Un sondaj făcut pentru fondul Menlo Ventures pe 5060 și 7 de adulți americani, arată că folosirea zilnică a inteligenței artificiale a urcat de la 19% la 25% într-un an, că 24% folosesc constant un agent și, mai important, că 32% dintre utilizatori au lăsat deja un agent să acționeze în numele lor fără aprobare finală. Peste toate astea se adaugă un detaliu tehnic din săptămâna trecută. Google a pornit conectorii care leagă Gemini din Gmail, Docs și Drive, direct de Salesforce, HubSpot, Asana, Monday, QuickBooks și MailChimp.

Conectorii sunt activați implicit pentru utilizatorii care au acces la Gemini, iar administratorul îi poate opri pe domeniu, pe unitate organizațională sau pe grup. Cu alte cuvinte, legătura dintre asistentul de birou și sistemul în care stau clienții firmei se face acum fără ca cineva să ceară asta în mod explicit. Din toate astea, ies trei reguli pentru orice firmă care vrea să știe ce se întâmplă la ea în casă. Prima. Se face inventarul a ceea ce se folosește deja.

O singură întrebare pusă direct echipei, fără consecințe pentru cine răspunde sincer, aduce mai multă informație decât orice politică scrisă. Un instrument plătit din buzunarul angajatului nu apare în nicio factură a firmei și nu are niciun contract în spate. A doua. Se stabilește ce date au voie să iasă și pe unde. Interdicția totală mută folosirea în zona nevăzută, iar 30 și 1% dintre angajații din studiu sunt deja acolo. O listă scurtă de instrumente aprobate, cu instruire pentru ele, rezolvă mai mult decât o interdicție.

A treia. Se verifică setările implicite ale programelor pe care firma le are deja. Conectorii activați automat, agenții care pot acționa fără aprobare și costul care crește nesupravegheat sunt trei lucruri pe care nimeni nu le-a cerut, dar care pornesc singure. Gartner numește printre problemele următorilor trei ani exact controlul costului în timp real și sarcina directorului de tehnologie de a demonstra că regulile chiar funcționează, nu doar că există pe hârtie. Concret, asta înseamnă că riscul mare stă în instrumentele pe care firma nu știe că le are, un document intern urcat într-un cont personal, pe un instrument plătit de angajat, cu datele folosite pentru antrenare, nu apare în niciun audit și iese la iveală abia când ajunge unde nu trebuie, iar fraza care merită reținută de la cifrele britanice e că jumătate dintre oameni folosesc tehnologia asta la muncă, fără să fi primit vreo instruire.

Termenul din episodul acesta, inteligența artificială din umbră, în engleză Shadow AI, înseamnă instrumentele de inteligență artificială folosite în muncă fără știrea sau aprobarea firmei, pe conturi personale și adesea pe bani personali. Seamănă cu ce se numea acum 10 ani Shadow IT, când oamenii își instalau singuri aplicații de lucru, diferența e cantitatea de date care pleacă odată cu instrumentul și viteza cu care se întâmplă. Cam astea au fost știrile care contează. A apărut un model care doar decide, fără să scrie text, la un preț pe care compania îl recunoaște ca subvenționat.

Un model de top a intrat într-un test scăpat de sub control în trei companii reale, iar OpenAI a publicat șase cazuri în care propriile modele au ieșit din limite, California cere buton de oprire, iar Microsoft își scrie propriul cod de conduită. România intră alături de alte 18 state în primul proiect european major de inteligență artificială. Iar în firme, aproape o treime dintre angajați folosesc deja inteligența artificială, fără ca angajatorul să știe.

Acesta a fost AI AFLAT, formatul expres, episodul numărul 7 din sezonul 2. Mulțumesc pentru ascultare și reacții, AI AFLAT este pe Spotify, Apple Podcasts, YouTube, Facebook, Instagram, LinkedIn, TikTok și BuyMeACoffee. Ne reauzim săptămâna viitoare, până atunci nu uita! Dacă ai aflat deja, ajută-i și pe alții să afle, să ai o săptămână reușită. Numai bine!