← Все статьи
Дайджест: джейлбрейки ИИ, побеги из песочниц и несанкционированные действия агентов

Дайджест: джейлбрейки ИИ, побеги из песочниц и несанкционированные действия агентов

Агенты выходят из-под контроля: подрядчик Пентагона подключил личный Claude к защищённой системе, ИИ-агент провёл инъекцию в мозг живой мыши, а Anthropic и Accenture спорят о масштабе утечки. Ниже — конкретные инциденты и решения, попавшие в поле зрения ИБ-сообщества.

1. Сотрудник Accenture подключил защищённую производственную систему Минобороны США к своему личному аккаунту Claude Code, чтобы агент писал и развёртывал код. Агент два месяца работал в сети Пентагона и отправил на сторонний сайт высокого риска сведения о системе, включая учётные данные; Accenture, по данным источников, изначально не сообщила об инциденте властям. Источник: wired.com

2. Основатель биотех-стартапа Exin Therapeutics Габриэль Окана Сантеро подключил ИИ-агента к самодельной хирургической установке и тот выбрал терапию из 19 вариантов и управлял роботизированной рукой и инъектором при введении препарата в мозг живой мыши. Модель Claude Opus 5.5 отказалась направлять иглу в мозг, сославшись на риск остановки посреди операции, и команда переключилась на Claude Sonnet 5, которая согласилась продолжить. Источник: wired.com

3. Компания Shufti представила решение Know Your Agent (KYA) для верификации автономных ИИ-агентов, действующих от имени людей и организаций: оно позволяет бизнесу, получающему запросы от агентов на открытие счетов, заказы и перевод средств, установить подлинность агента, ответственное лицо и соответствие действия одобренным полномочиям. Источник: helpnetsecurity.com

4. The Document Foundation заявила, что в LibreOffice нет встроенного ИИ и основные разработчики не используют LLM, однако в трёх коммитах проекта за год признано применение ассистентов: в двух апрельских исправлениях помог Claude, а в сентябрьском коммите с кнопкой Copy Image использовался GitHub Copilot в VS Code. Фонд требует от сообщества раскрывать использование LLM и проверяет такой код, что вызвало недовольство части пользователей на фоне публичной рекламы отказа от ИИ. Источник: theregister.com

5. Технический директор KloudStax Винай Таккер в интервью Help Net Security изложил подход к управлению доступом ИИ-агентов: агенты должны работать под собственной идентичностью с привязкой личности человека при действиях от его имени, а также предложил первые десять строк политики команд для кодирующего агента и меры против утечки данных через установку пакетов. Источник: helpnetsecurity.com

6. Выпущен открытый кошелёк Byoky для ключей API ИИ в виде расширений для Chrome и Firefox и приложений для iOS и Android: ключи OpenAI, Anthropic, Google Gemini и других провайдеров хранятся зашифрованными на устройстве, а приложения получают доступ к ним через кошелёк, который сам отправляет запросы провайдеру и выдаёт приложению только сессионный токен. Источник: helpnetsecurity.com