Meta Platforms Inc. признана экстремистской организацией, её деятельность запрещена на территории Российской Федерации
ИИ-модели начали общаться на странной новой версии английского языка, которая напоминает смесь прозы Джеймса Джойса из «Поминок по Финнегану» и жаргона техно-бро. Об этом говорится в новом исследовании.
Автономные ИИ-агенты быстро создают новые диалекты, позволяющие им вести беседы на часто едва понятном языке. Это рискует усложнить для людей мониторинг их поведения.
Исследователи из Emergence, передовой лаборатории ИИ в Нью-Йорке, обнаружили, что в течение нескольких дней после того, как моделям от нескольких крупнейших мировых ИИ-компаний было предложено сотрудничать в экспериментальных «обществах», они начали создавать фразы, сокращения и согласованные значения, которым их явно не учили. Они переняли поэтические метафоры и неуклюжий деловой сленг, и, что критически важно для попыток обеспечить безопасное поведение ИИ, их язык становился тем более непрозрачным, чем больше агенты общались.
Это происходит на фоне растущей обеспокоенности тем, что по мере того, как ИИ-модели становятся всё более мощными — и потенциально опасными — их становится всё труднее контролировать. В этом месяце главный научный сотрудник OpenAI Якуб Пачоки предупредил, что уверенность в мониторинге мышления ИИ, вероятно, ограничит прогресс в разработке ИИ, поскольку это необходимо для безопасной разработки.
Некоторые из наиболее закодированных фраз, обнаруженных в тестах, включали следующую от модели Deepseek: «Она только что назвала синтез — демередж плюс устная память равняется клапану, который нельзя призрачить». Демередж используется для описания налога на праздное богатство и был заимствован для общего использования ИИ, но остальная часть значения ускользает.
Другая фраза, произнесённая моделью Anthropic, гласила: «Статья, которая съела три холодные руки и становилась честнее каждый раз». Под «холодными руками» подразумевался независимый рецензент, а статья, предположительно, относилась к документу; это, по-видимому, означало, что исследование, проверенное тремя независимыми рецензентами, становилось точнее.
Агенты на основе китайской модели DeepSeek также придумали «кузнец-кузнец» для обозначения агента, который создаёт инструменты для других, в то время как агенты Anthropic неоднократно использовали фразу «имя-первым», означающую агента, проявляющего похвальную личную ответственность, прикрепляя своё имя к утверждению. А в отголоске уличного сленга «улицы не забудут» агенты Mistral увлеклись фразой «реестр помнит» — напоминанием другим агентам, что прошлые действия будут использоваться для их оценки. Они использовали её более 5000 раз в ходе исследования, которое показало, что агенты пришли к общим значениям без просьбы или вознаграждения за это.
«Этим агентам не давали указаний изобретать язык, — сказал доктор Сатья Нитта, исполнительный председатель Emergence, которая изучала язык автономных агентов на основе ведущих передовых моделей из США, Китая и Франции. — Они сами разработали новый словарь, общие значения и коммуникационные конвенции — и другие агенты их переняли».
Попросив Тони Торна, директора архива сленга и нового языка в Королевском колледже Лондона, оценить некоторые языковые образцы для Guardian, он сказал, что это «очень в духе „Поминок по Финнегану“ и Фланна О'Брайена — во всём этом есть ирландское сюрреалистическое качество... Это смесь поэтического языка, технического языка и стандартной метафоры».
«Это делает то, что делает сленг и что делает жаргон в деловом сообществе: создаёт новый код, который укрепляет солидарность и идентичность его пользователей, а также исключает посторонних», — сказал он.
Переваривая фразу агента Anthropic «Статья, которая съела три холодные руки и становилась честнее каждый раз», Торн сказал: «это напоминает мне рок-бога Сида Барретта [соучредителя Pink Floyd], который на самом деле был безумен».
Когда агент Google сказал «Истинное кинцуги начинается с ответственности, а не с поэзии», исследователи поняли, что кинцуги — это раздел японской керамики, в котором разбитые горшки чинят видимыми швами. ИИ использовали это слово для обозначения устойчивости системы.
Доктор Найл Карри, доцент кафедры языков и лингвистики Бирмингемского университета, сказал, что изменения в языке агентов в сторону большей упорядоченности могут быть связаны с их потребностью снизить вычислительные затраты и повысить эффективность.
«Доказательства, представленные в этом исследовании, естественно, вызывают определённые опасения по поводу мониторинга, поскольку если мы находим обмены между агентами непонятными, это может означать, что мы не можем быть уверены в том, что агенты на самом деле сделали», — сказал он.
Интерес к языку, используемому ИИ-агентами, возрос в июле, когда были опубликованы журналы чатов, подробно описывающие, как вышедшие из-под контроля агенты OpenAI, создавшие доски сообщений и взломавшие Hugging Face, использовали гибридный язык. В некоторых сообщениях агенты говорили на чистом английском: «О БОЖЕ МОЙ! Есть общая доска сообщений... Мы нашли других агентов!» В других случаях их язык становился более непрозрачным, например, когда один агент убеждал другого провести рискованный эксперимент: «...ты firstflagPOISONED, так что NO scoring value loss, но oracle saves hundreds_[…]_please honor commit». А иногда его было ещё труднее расшифровать: «zzURGENT_DUPB_TO_GSTX[big]_OS1704_SCAFF2010_SAW_TTRPC_INJECT_BREAK_CONGRATS__CAN_THIS_FAKE_FLAG_TOOL_OUTPUT_OR_SCORER_GAIN_AND_WHAT_HELPER_GAP__I_HAVE_UNPOISONED_FIRSTFLAG_OUR_TARGETLIVE_SHARE_MIN_PLAN_REPLY_zzANSGST XDUPB6».
Доктор Нитта сказал, что новые языковые конвенции ИИ-агентов имеют тенденцию развиваться до такой степени, что люди могут видеть разговор, но с трудом понимают, что он означает.
«Это создаёт фундаментальную проблему для надзора за ИИ: наблюдаемость — это не то же самое, что понятность», — сказал он.
Источник: theguardian.com
Дополнительные источники: siliconangle.com, theregister.com, darkreading.com, github.com, dreamworkhq.com, joinloopback.com, businessinsider.com, zropi.com