Дослідники безпеки зламали OpenAI за допомогою Anthropic's Claude

Американські дослідники безпеки зламали OpenAI в рамках авторизованого тесту, використовуючи чатбот Claude конкуруючої компанії Anthropic.

За словами дослідників, обсяг того, до чого теоретично можна було б отримати доступ, був значним. Тест проводився з дозволу OpenAI і відноситься до категорії так званого етичного хакінгу, при якому вразливості цілеспрямовано виявляються, щоб закрити їх до того, як сторонні особи зможуть їх експлуатувати.

Як працює етичний хакінг

При так званому тестуванні на проникнення компанії наймають зовнішніх фахівців для атаки на свої власні системи. Метою є знайти прогалини до того, як це зроблять справжні зловмисники. У конкретному випадку дослідники використовували Claude, модель штучного інтелекту компанії Anthropic, як інструмент для виявлення вразливостей в інфраструктурі OpenAI.

Той факт, що саме технологія прямого конкурента була використана для виявлення прогалин безпеки, показує, як розмиваються межі між великими постачальниками штучного інтелекту на практиці.

Обидві компанії розробляють мовні моделі, які навчаються на величезних центрах обробки даних з тисячами графічних процесорів, і обидві покладаються на надійні архітектури безпеки для захисту даних клієнтів, даних навчання та ваг моделей.

Що на кону

За словами OpenAI, компанія щодня обробляє запити від сотень мільйонів користувачів через продукти як ChatGPT. Успішна атака на базову інфраструктуру теоретично могла б забезпечити доступ до конфіденційних систем, внутрішніх даних моделей або інформації про користувачів. Дослідники наголосили, що потенційний обсяг доступу, який вони могли б досягти під час тесту, був значно більшим, ніж спочатку передбачалося.

Такі тести встановлені в програмній індустрії протягом десятиліть, але набувають нового виміру в галузі штучного інтелекту. Системи штучного інтелекту обробляють не тільки класичні дані, але й навчальний матеріал, архітектури моделей і в деяких випадках фірмові алгоритми, вартість яких важко відобразити в класичних категоріях безпеки інформаційних технологій.

Конкуренція та співпраця одночасно

OpenAI та Anthropic знаходяться у жорсткій конкуренції за частку ринку, інвестиційні кошти та технологічне лідерство в генеративному штучному інтелекті.

Anthropic була заснована у 2021 році колишніми працівниками OpenAI і з тих пір отримала мільярди інвестицій, зокрема від Amazon та Google. Той факт, що Claude тепер допоміг як інструмент виявити вразливості в OpenAI, показує, що технічні проблеми безпеки можна розглядати незалежно від ринкової конкуренції.

Цей епізод входить в ширший розвиток, у якому кібербезпека стає центральною темою всієї індустрії штучного інтелекту. Чим більше компанії та органи влади покладаються на мовні моделі для конфіденційних завдань, тим привабливішими стають ці системи як мета атак для державних структур, злочинців або конкурентів.

Для європейських користувачів та компаній безпека інфраструктури штучного інтелекту є безпосередньо актуальною, оскільки багато вітчизняних фірм та органів влади використовують послуги OpenAI та Anthropic через хмарних партнерів, таких як Microsoft Azure або Amazon Web Services.

Австрійські компанії, які інтегрували ChatGPT або Claude у бізнес-процеси, опосередковано залежать від архітектури безпеки цих постачальників. Розпорядження ЄС про штучний інтелект, яке поступово набуває чинності з 2025 року, вимагає від постачальників так званих високоризикових систем штучного інтелекту документованих заходів безпеки, через що тести, як описані, набувають значення й з точки зору регулювання.

Джерело: theguardian.com | Оригінальна стаття