Исследователи безопасности взломали OpenAI с помощью Claude от Anthropic

Исследователи безопасности из США взломали OpenAI в рамках авторизованного теста, используя чат-бота Claude конкурирующей компании Anthropic.

По словам исследователей, объем того, что теоретически был бы доступен, был значительным. Тест проводился с согласия OpenAI и относится к категории так называемого этичного хакинга, при котором уязвимости целенаправленно выявляются, чтобы их закрыть, прежде чем их смогут использовать третьи лица.

Как работает этичный хакинг

При так называемом тестировании на проникновение компании нанимают внешних специалистов для атаки на собственные системы. Цель — найти уязвимости до того, как это сделают реальные злоумышленники. В данном случае исследователи использовали Claude, модель искусственного интеллекта от Anthropic, в качестве инструмента для выявления уязвимостей в инфраструктуре OpenAI.

То, что для обнаружения уязвимостей безопасности была использована именно технология прямого конкурента, показывает, как границы между крупными поставщиками ИИ размываются на практике.

Обе компании разрабатывают языковые модели, которые обучаются на огромных центрах обработки данных с тысячами графических процессоров, и обе полагаются на надежные архитектуры безопасности для защиты данных клиентов, данных обучения и весов модели.

Что стоит на кону

По данным OpenAI, ежедневно обрабатывает запросы от сотен миллионов пользователей через такие продукты, как ChatGPT. Успешная атака на базовую инфраструктуру теоретически могла бы обеспечить доступ к конфиденциальным системам, внутренним данным модели или информации пользователей. Исследователи подчеркивали, что потенциальная область доступа, которую они могли бы достичь во время теста, была значительно больше, чем первоначально предполагалось.

Такие тесты устоялись в индустрии программного обеспечения на протяжении десятилетий, но приобретают новое измерение в области искусственного интеллекта. Системы ИИ обрабатывают не только классические данные, но и учебный материал, архитектуры моделей и в некоторых случаях собственные алгоритмы компаний, стоимость которых трудно отразить в классических категориях ИТ-безопасности.

Конкуренция и сотрудничество одновременно

OpenAI и Anthropic находятся в жесткой конкуренции за доли рынка, инвестиции и технологическое лидерство в области генеративного ИИ.

Anthropic была основана в 2021 году бывшими сотрудниками OpenAI и с тех пор получила миллиарды инвестиций, в том числе от Amazon и Google. То, что Claude теперь помог в качестве инструмента выявить уязвимости в OpenAI, показывает, что технические вопросы безопасности могут рассматриваться независимо от рыночного соперничества.

Этот эпизод вписывается в более широкое развитие, в котором кибербезопасность становится центральной темой для всей индустрии ИИ. Чем больше компаний и государственных учреждений полагаются на языковые модели для выполнения конфиденциальных задач, тем более привлекательными становятся эти системы в качестве целей для государственных субъектов, преступников или конкурентов.

Для европейских пользователей и компаний безопасность инфраструктуры ИИ имеет прямое значение, поскольку многие отечественные фирмы и государственные учреждения используют услуги OpenAI и Anthropic через облачных партнеров, таких как Microsoft Azure или Amazon Web Services.

Австрийские компании, которые интегрировали ChatGPT или Claude в бизнес-процессы, косвенно зависят от архитектуры безопасности этих поставщиков. Постановление о ИИ ЕС, которое постепенно вступает в силу с 2025 года, требует от поставщиков так называемых систем ИИ высокого риска документированные меры безопасности, в результате чего тесты, подобные описанному, получают и нормативное значение.

Источник: theguardian.com | Оригинальная статья