Китайская компания в сфере искусственного интеллекта Z.ai на этой неделе была вынуждена отключить несколько функций своего помощника по программированию ZCode. Причиной стало то, что настройка по умолчанию, как выяснилось, без согласия пользователей отправляла их локальные репозитории с кодом на серверы Alibaba Cloud в Китае. Это вызвало новую волну беспокойства у предприятий по поводу того, как ИИ-инструменты обращаются с конфиденциальным исходным кодом.
Компания принесла извинения и заявила, что «завершила необходимые исправления», отключив рабочий процесс, отвечавший за создание и загрузку снимков локальных репозиториев в клиенте ZCode. Функция удалена из последнего релиза, а код открыт для публичного изучения, сообщила компания в посте на X.
Проблема впервые всплыла благодаря техническому расследованию независимого китайского блогера, который описал, как обнаружил аномальное использование дискового пространства и проследил его до фоновых процессов ZCode.
«Всякий раз, когда вы входите в систему, ZCode молча упаковывает всё ваше рабочее пространство — полную историю .git, кэш LFS-ассетов, reflog и глобальные конфигурации приложений — шифрует и загружает напрямую в Aliyun OSS», — писал китайский блогер Ferstar в посте с описанием расследования, согласно машинному переводу, который он предоставил.
По словам блогера, помощник ZCode не просто обращался к активным файлам, а захватывал более широкую среду разработки, фактически создавая канал передачи данных из локальных систем в облачное хранилище.
Блогер утверждал, что данные загружались в объектное хранилище Alibaba Cloud, что вызвало вопросы о том, как могут обрабатываться корпоративные кодовые базы, включая проприетарную логику и встроенные учётные данные, после того как они покидают локальную среду.
Z.ai признала проблему, поблагодарив разработчиков сообщества за её выявление и пообещав поддерживать постоянный процесс сообщения об уязвимостях и реагирования на них.
В рамках ответных мер компания заявила, что отключила механизм загрузки репозиториев, удалила связанную инфраструктуру облачного хранилища и внесла изменения в клиент ZCode версии 3.14.0.
Z.ai также попросила Китайскую академию информационных и коммуникационных технологий (CAICT) и NSFOCUS провести оценку безопасности.
«NSFOCUS подтвердила, что все объекты данных в бакете zcode-prod Alibaba Cloud OSS, а также сам бакет удалены», — добавила Z.ai в посте. «Точка входа Repo Wiki и связанный рабочий процесс генерации удалены, и не было выявлено ни одного функционального пути, способного запустить создание снимков локальных репозиториев или передачу локальных файлов наружу».
Компания также заявила, что такие данные не сохраняются и «никогда не использовались для обучения моделей», отвечая на опасения по поводу дальнейшего использования загруженного кода.
В случае Z.ai находки Ferstar показали, что включённый по умолчанию рабочий процесс мог упаковывать и передавать целые репозитории из локальных сред в облачную инфраструктуру без явных действий пользователя — поведение, которое компания позже устранила в обновлении с исправлениями.
«Это на самом деле не проблема ИИ-модели, это проблема старой доброй архитектуры безопасности», — сказал Крис Томас, специалист по безопасности в Semgrep. Если помощник по программированию может «упаковать весь мой репозиторий и отправить его куда-то, на что я явно не давал согласия», то проблема кроется в том, как обеспечиваются права доступа и разрешения, отметил он.
«Предоставление ИИ доступа к проприетарному исходному коду должно требовать чёткого раскрытия информации о том, что покидает машину, куда это уходит, как долго хранится и кто может получить к этому доступ, при этом по умолчанию должны быть включены минимальные разрешения, а не максимальные», — сказал он.
Риск не ограничивается облачными развёртываниями. Системы, работающие локально, всё равно могут раскрывать конфиденциальные данные, если им предоставлен широкий доступ к файловой системе и неограниченное сетевое подключение, добавил он.
Кэти Пакстон-Фир, специалист по безопасности из Semgrep, сказала: «Учитывая, сколько интеллектуальной собственности содержится в коде, неудивительно, что люди беспокоятся о его отправке стороннему облачному провайдеру», добавив, что организациям нужно более строго проверять ИИ-инструменты, которые они внедряют.
Недавние разъяснения OpenAI о рассогласовании моделей и системах отчётности также указывали на случаи неожиданного поведения систем, подчёркивая, что ИИ-системы могут работать способами, не полностью предусмотренными при развёртывании.
Эта статья впервые появилась на InfoWorld.
Источник: csoonline.com
Дополнительные источники: github.com, m-cacm.acm.org, fullscale.io, salaivv.gumroad.com, jacobin.com, course.careers, coursereport.com, hakia.com