Новость

OWASP LLM10: Unbounded Consumption — тестирование языковых моделей на ресурсоёмкие запросы

1 источник

Все новости

Материал посвящён категории LLM10 в OWASP Top 10 for LLM Applications — неограниченному потреблению ресурсов. Речь идёт об атаках на LLM, которые заставляют модель тратить процессорное время, память и токены на заведомо тяжёлые задачи.

Большие языковые модели всё чаще становятся основным интерфейсом взаимодействия с данными и сервисами компании: в корпоративных помощниках, RAG-приложениях, AI-агентах, генерации кода и автоматизации документооборота. Вместе с этим меняется и профиль угроз. Категория LLM10: Unbounded Consumption в рейтинге OWASP Top 10 for LLM Applications описывает сценарии, в которых злоумышленник не пытается получить конфиденциальные данные или обойти защиту, а заставляет модель выполнять ресурсоёмкую работу. В результате расходуются процессорное время, память и большое число токенов. По сути, это адаптация идеи Denial of Service к генеративному ИИ: атака направлена не на логику приложения, а на его вычислительные ресурсы. При этом ограничение длины пользовательского запроса или размера ответа не всегда помогает, потому что современные атаки могут использовать рекурсивные инструкции, экспоненциальный рост контекста, моделирование множества независимых агентов, комбинаторные задачи и другие приёмы, внешне выглядящие безобидно.

Источники 1
  • OWASP LLM10: Unbounded Consumption — тестирование языковых моделей на ресурсоёмкие запросы Habr AI 
    OWASP LLM10: Unbounded Consumption. Тестируем современные языковые модели на ресурсоёмких промптах

Большие языковые модели становятся неотъемлемой частью современных информационных систем. Корпоративные помощники, RAG-приложения, AI-агенты, генерация программного кода, автоматизация документооборота – всё чаще именно LLM становятся основным интерфейсом взаимодействия пользователя с данными и сервисами компании.

Вместе с ростом популярности меняется и профиль угроз. Если ещё несколько лет назад основной задачей злоумышленника был поиск уязвимости в веб-приложении или API, то сегодня достаточно правильно сформулировать запрос к языковой модели. Причём целью может быть не получение конфиденциальной информации и даже не обход механизмов безопасности. Иногда гораздо выгоднее заставить модель выполнять заведомо ресурсоёмкую задачу, расходуя процессорное время, память и тысячи токенов.

Именно этой проблеме посвящена категория LLM10: Unbounded Consumption в рейтинге OWASP Top 10 for LLM Applications. В отличие от классических атак типа Prompt Injection или Data Leakage, здесь злоумышленник воздействует не на логику приложения, а на его вычислительные ресурсы. По сути, речь идёт об адаптации идеи Denial of Service (DoS) к эпохе генеративного искусственного интеллекта.

На первый взгляд может показаться, что защититься от подобных атак достаточно просто –  например, ограничить длину пользовательского запроса или максимальный размер ответа. Однако на практике современные атаки становятся значительно изощрённее. Они используют особенности работы больших языковых моделей: рекурсивные инструкции, экспоненциальный рост контекста, моделирование множества независимых агентов, комбинаторные задачи и другие приёмы, заставляющие модель выполнять непропорционально большой объём вычислений при внешне вполне безобидном запросе. Читать далее

#llm #большие_языковые_модели #информационная_безопасность #пентест #red_teaming #natural_language_processing #jailbreak #джейлбрейк #промпт #атака | @habr_ai