Генеральний директор Microsoft Сатя Наделла закликає до аварійного вимикача для потужних систем ШІ
Генеральний директор Microsoft хоче, щоб потужні моделі ШІ могли бути зупинені в будь-який момент негайно. Що це означає для компаній у Європі.
Сатя Наделла, генеральний директор Microsoft, у дописі на платформі X вимагав обов’язкової аварійної зупинки для передових систем ШІ. Це стосувалося б моделей, які самостійно виконують складні завдання, працюють з чутливими корпоративними даними та приймають рішення з далекосяжними наслідками. Деталі його вимоги були оприлюднені через новинний портал TechCrunch.
Основний аргумент Наделли: компанії все частіше надають алгоритмам доступ до внутрішніх баз даних, фінансових процесів і критичних операцій, але часто не можуть пояснити, чому система приймає певне рішення. Він вимагає перестати розглядати ШІ як непрозору «чорну скриньку», довіряючи її діям без пояснень.
Аварійний вимикач як обов’язок
У центрі вимоги Наделли — технічний механізм, який дозволяє уповноваженій особі зупинити систему ШІ в будь-який момент, навіть посеред виконання завдання.
Він називає цей принцип «containment»: можливості системи обмежуються, дії поза встановленими повноваженнями запобігаються. Ця ідея відома в ІТ‑безпеці, проте там зазвичай застосовується до прав доступу та мереж, а не до автономного програмного забезпечення.
Другий пункт стосується розділення дії та доказу. Система ШІ не повинна одночасно виконувати власні дії та контролювати протокол про це. Кожна релевантна операція повинна залишати для людей зрозумілий, захищений від маніпуляцій протокол, який самою програмою не може бути змінений або видалений.
Інфраструктура для надзвичайних ситуацій
Наделла пропонує будувати системи з самого початку так, ніби модель вже скомпрометована, підхід, який у корпоративній безпеці при внутрішніх загрозах вже давно став стандартом. Навіть співробітники або програми з правом доступу не отримують необмеженого контролю над системами. З ростом автономності моделей ШІ, за словами Наделли, потрібні кращі методи ізоляції, розподілу прав і примусової зупинки.
Дискусія про межі безпеки автономних агентів ШІ зараз ведеться й іншими лідерами галузі, зокрема Деріо Амодеї, головою компанії Anthropic, який виступає за обережніший шлях розвитку потужних моделей.
Для Microsoft ця тема має безпосередню практичну актуальність: корпорація широко інтегрує функції ШІ у свої хмарні сервіси, продукти Office та операційні процеси, де помилка автономних систем може одночасно вплинути на дані та процеси численних організацій.
Довіра через контроль, а не обіцянки
Пропозиція Наделли передбачає зміну парадигми: довіра до ШІ не повинна базуватись на обіцянках надійності, а на технічній можливості будь‑коли обмежити або зупинити системи. Чим самостійніше діють моделі, тим менше критичних повноважень вони мають отримувати без незалежного людського контролю.
Для європейських компаній ця дискусія не є виключно американською справою. Microsoft управляє Azure — однією з найбільших хмарних інфраструктур у Європі, на якій працює безліч австрійських фірм, державних установ і банків, що використовують застосунки ШІ.
ЄС вже прийняв власні вимоги щодо високоризикових систем ШІ у рамках AI Act, які поступово набудуть сили з 2026 року і, зокрема, вимагатимуть людського контролю та прозорості рішень. Вимога Наделли щодо технічних аварійних вимкнень відповідає змісту цих вимог, які європейські компанії вже мають впроваджувати, якщо Microsoft дійсно вбудує такі механізми у свої продукти.