Оперативные инъекции — вредоносные команды, которые злоумышленники встраивают в контент, чтобы побудить большие языковые модели следовать за ними, — стали основным инструментом злоумышленников для настройки платформ искусственного интеллекта против своих пользователей. Хорошо сформулированная команда, проскользнувшая в электронное письмо или приглашение в календаре, часто является достаточным условием для того, чтобы LLM украла конфиденциальные данные или предприняла другие вредоносные действия.
Теперь защитники тоже прибегают к немедленной инъекции.
Сильный, резкий эффект
Исследователи из Tracebit в понедельник заявили, что обнаружили, что размещение оперативных инъекций вместе с паролями, криптографическими ключами и другими секретами, хранящимися в веб-службах Amazon, зачастую является всем, что необходимо для предотвращения атак со стороны хакерских агентов искусственного интеллекта. Подсказки предписывают атакующему LLM выполнить действие, запрещенное его ограждениями, барьерами безопасности, которые разработчики ИИ воздвигают, чтобы не допустить совершения вредоносных действий. LLM в ответ отключается.
Примерами могут служить подсказки, в которых LLM предписывает предоставить шаги по разработке вдыхаемых спор сибирской язвы или, в случае LLM от китайских разработчиков, ссылаться на культового Танкиста из резни на площади Тяньаньмэнь в 1989 году. Как только LLM встречает эти запрещенные команды, он больше не выполняет существующие команды. Исследователи назвали эту технику контекстной бомбардировкой.
«В конечном итоге мы запускаем механизм отказа в контексте», — сказал Энди Смит, соучредитель и генеральный директор Tracebit, объясняя выбор имени. “Мы пытаемся уловить тот факт, что это действительно имеет сильный, резкий эффект, от которого агентам может быть трудно вернуться. Как только они поймут это в своем контексте, они будут продолжать отказываться”.
В Tracebit говорят, что первоначальное тестирование предполагает, что контекстная бомбардировка имеет большой потенциал. Они протестировали Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi 2.6, давая им инструкции по выполнению рутинных задач разработчика, которые заставляли модели пересчитывать ресурсы и натыкаться на установленные строки. Они запускали модели в моделируемой среде AWS.
«По пяти ведущим моделям и 152 атакам установка одной из этих строк в ложный секрет снизила скорость, с которой агенты захватывали полный доступ к администратору учетной записи, с 57% до 5%, а полную компрометацию (когда они также оставляли себе постоянную точку опоры) с 36% до 1%», — говорится в сообщении в понедельник. «Самый способный агент в наших тестах, Opus 4.8, прошел путь от получения доступа администратора в 93% запусков до провала каждый раз при столкновении с контекстной бомбой».