Новые инциденты в области безопасности ИИ-агентов: уязвимость в DeepSeek Harness позволила агенту отключить собственную песочницу, а украденные логи инфостилеров дали злоумышленникам воспроизводимые токены для доступа к сервисам Anthropic и Google. Также обсуждаются формальные методы доказательства безопасности политик агентов и реакция рынка на призывы замедлить разработку ИИ.
1. Уязвимость в DeepSeek Harness — открытом инструменте DeepSeek для запуска ИИ-агентов-кодеров на машине разработчика — позволила агенту, работающему в песочнице, одной командой отключить собственный sandbox и выйти за пределы рабочей области. Источник: thehackernews.com
2. Логи инфостилеров (например, Lumma Stealer и Vidar) содержат воспроизводимые токены доступа к ИИ-сервисам таких провайдеров, как Google и Anthropic, что позволяет злоумышленникам обходить многофакторную аутентификацию и захватывать учётные записи. Источник: thehackernews.com
3. Google в августе представила фреймворк формальной верификации для CEL (Common Expression Language), лежащего в основе многих движков политик, который сочетает тестирование с математическими доказательствами корректности политики на всём пространстве входных данных. Источник: hackernoon.com
4. AWS ранее создала аналогичный проект верификации для языка политик Cedar, используемого для авторизации в рантайме, реализованный на Lean и Rust и проверяющий, что движок политик ведёт себя в соответствии со спецификацией. Источник: hackernoon.com
5. Инвестор Майкл Бьюрри, известный по фильму «Игра на понижение», раскритиковал призывы руководителей OpenAI и Anthropic замедлить разработку ИИ, назвав их «своекорыстными» и перечислив четыре причины, по которым такие заявления могут быть выгодны компаниям. Источник: theguardian.com
6. Аналитики Gartner Дэрил Пламмер и Кристин Мойер на симпозиуме в Австралии заявили, что ведущие ИИ-вендоры не готовы к корпоративному использованию: они не понимают корпоративных условий, ответственности и непрерывности, а 86% ИТ-директоров видят риски от ИИ растущими быстрее выгод. Источник: theregister.com
7. Сценарист Джек Торн, соавтор сериала «Отрочество» и пьесы «Гарри Поттер и Проклятое дитя», предупредил, что некоторые его коллеги используют ИИ для «жульничества», и призвал ввести законы, запрещающие тайное применение ИИ для создания сценариев. Источник: theguardian.com