Глава Microsoft Сатья Наделла требует аварийный выключатель для мощных систем ИИ
Глава Microsoft хочет, чтобы мощные модели ИИ можно было в любой момент немедленно остановить. Что это значит для компаний в Европе.
Сатья Наделла, CEO Microsoft, в посте на платформе X потребовал обязательного аварийного отключения продвинутых систем ИИ. Это касалось бы моделей, которые самостоятельно берут на себя сложные задачи, работают с конфиденциальными корпоративными данными и принимают решения с далеко идущими последствиями. Через новостной портал TechCrunch детали его требования были обнародованы.
Основной аргумент Наделлы: компании всё чаще предоставляют алгоритмам доступ к внутренним базам данных, финансовым процессам и критическим операциям, но часто не могут объяснить, почему система принимает то или иное решение. Он требует перестать рассматривать ИИ как непрозрачный «черный ящик», действия которого просто принимаются на веру.
Аварийный выключатель как обязательство
В центре внимания требование Наделлы о техническом механизме, позволяющем уполномоченному лицу в любой момент остановить систему ИИ, даже посреди выполнения задачи.
Он называет этот принцип «containment» (сдерживание): возможности системы ограничиваются, действия за пределами установленных полномочий предотвращаются. Эта идея известна в сфере ИТ‑безопасности, но обычно применяется к правам доступа и сетям, а не к автономному программному обеспечению.
Второй пункт касается разделения действий и доказательства. Система ИИ не должна одновременно выполнять собственные операции и контролировать протокол об этом. Каждая значимая операция должна оставлять для людей понятный, защищённый от подделки протокол, который программное обеспечение само не может изменить или удалить.
Инфраструктура для чрезвычайных ситуаций
Наделла предлагает изначально проектировать системы так, как будто модель уже скомпрометирована, подход, который уже давно стал стандартом в корпоративной безопасности при внутренних угрозах. Даже сотрудники или программы с законным доступом не получают неограниченного контроля над системами. По мере роста автономии ИИ‑моделей, по словам Наделлы, нужны более эффективные методы изоляции, распределения прав и принудительной остановки.
Дискуссия о границах безопасности автономных ИИ‑агентов сейчас ведётся также другими крупными игроками отрасли, в том числе Дарио Амодеи, главой компании Anthropic, который выступает за более осторожный путь разработки мощных моделей.
Для Microsoft эта тема имеет непосредственное практическое значение: корпорация широко интегрирует функции ИИ в свои облачные сервисы, продукты Office и бизнес‑процессы, где ошибка автономных систем может одновременно затронуть данные и процессы множества организаций.
Доверие через контроль, а не обещания
Предложение Наделлы подразумевает смену парадигмы: доверие к ИИ не должно основываться на обещании надёжности, а на технической возможности в любой момент ограничить или остановить системы. Чем более самостоятельными действуют модели, тем меньше критических полномочий они должны получать без независимого человеческого контроля.
Для европейских компаний эта дискуссия не является исключительно американским вопросом. Microsoft управляет одной из крупнейших облачных инфраструктур Европы через Azure, на которой также работают многочисленные австрийские фирмы, государственные органы и банки, использующие ИИ‑приложения.
EU уже приняла AI Act, установивший собственные требования к системам ИИ высокого риска, которые начнут действовать поэтапно с 2026 года и предусматривают, среди прочего, человеческий надзор и прослеживаемость решений. Требование Наделлы о технических аварийных отключениях полностью соответствует этим требованиям, которые европейские компании уже обязаны реализовать, если Microsoft действительно внедрит такие механизмы в свои продукты.