Directorul Microsoft Satya Nadella cere un buton de oprire de urgență pentru sistemele puternice de IA
Șeful Microsoft vrea ca modelele puternice de IA să poată fi oprite imediat, în orice moment. Ce înseamnă asta pentru companiile din Europa.
Satya Nadella, CEO al Microsoft, a cerut într-o postare pe platforma X oprirea de urgență obligatorie pentru sistemele avansate de IA. Ar fi vizate modelele care preiau în mod autonom sarcini complexe, lucrează cu date sensibile ale companiilor și iau decizii cu consecințe de amploare. Detaliile cererii sale au fost făcute publice prin portalul de știri TechCrunch.
Argumentul central al lui Nadella: companiile oferă algoritmilor acces tot mai mare la bazele de date interne, procesele financiare și fluxurile critice, dar adesea nu pot explica de ce un sistem ia o anumită decizie. El solicită ca IA să nu mai fie tratată ca o cutie neagră opacă, ale cărei acțiuni să fie încredințate fără întrebări.
Butonul de oprire de urgență ca obligație
Elementul central este cererea lui Nadella pentru un mecanism tehnic care să permită unei persoane autorizate să oprească un sistem de IA în orice moment, chiar în mijlocul execuției unei sarcini.
El numește acest principiu „Containment”: capacitățile unui sistem ar fi limitate, iar acțiunile în afara autorităților stabilite ar fi prevenite. Această idee este cunoscută în securitatea IT, dar acolo se aplică de obicei la drepturile de acces și rețele, nu la software-ul autonom.
Un al doilea punct privește separarea dintre acțiune și dovadă. Un sistem de IA nu ar trebui să execute simultan propriile acțiuni și să controleze jurnalul aferent. Fiecare operație relevantă trebuie să lase un jurnal manipulație‑sigur, ușor de înțeles de oameni, pe care software‑ul însuși nu îl poate modifica sau șterge.
Infrastructură pentru situații de urgență
Nadella propune să se construiască sistemele de la bun început ca și cum un model ar fi deja compromis, o abordare care în securitatea corporativă pentru amenințări interne este deja standard. Chiar și angajații sau programele cu acces legitim nu primesc acolo control nelimitat asupra sistemelor. Odată cu autonomia tot mai mare a modelelor de IA, spune Nadella, este necesară o metodă mai bună de izolare, acordare a drepturilor și oprire forțată.
Debata despre limitele de siguranță pentru agenții AI autonomi este în prezent condusă și de alte mari companii din sector, printre care Dario Amodei, șeful companiei AI Anthropic, care susține un parcurs de dezvoltare mai precaut pentru modelele puternice.
Pentru Microsoft subiectul are o relevanță practică imediată: conglomeratul integrează funcții AI pe scară largă în serviciile sale cloud, produsele Office și procesele operaționale, unde o eroare a sistemelor autonome ar putea afecta simultan datele și procesele numeroaselor organizații.
Încredere prin control, nu prin promisiuni
Propunerea lui Nadella duce la o schimbare de paradigmă: încrederea în AI nu ar trebui să se bazeze pe asigurarea fiabilității, ci pe posibilitatea tehnică de a restricționa sau opri sistemele în orice moment. Cu cât modelele acționează mai independent, cu atât mai puține autorități critice ar trebui să le fie acordate fără control uman independent.
Pentru companiile europene dezbaterea nu este o chestiune exclusiv americană. Microsoft operează cu Azure una dintre cele mai mari infrastructuri cloud din Europa, pe care numeroase firme, autorități și bănci austriece își desfășoară aplicațiile AI.
UE a adoptat prin AI Act propriile reglementări pentru sistemele AI cu risc ridicat, care vor intra în vigoare treptat începând cu 2026 și vor cere, printre altele, supraveghere umană și trasabilitatea deciziilor. Cererea lui Nadella pentru opriri tehnice de urgență se aliniază în esență cu cerințele pe care companiile europene trebuie să le implementeze de altfel, în cazul în care Microsoft ar integra efectiv astfel de mecanisme în produsele sale.