Новость

OWASP LLM10: Unbounded Consumption — тестирование языковых моделей на ресурсоёмкие промпты

1 источник

Все новости

Материал посвящён категории OWASP LLM10: Unbounded Consumption и тому, как большие языковые модели можно перегружать запросами, расходующими вычислительные ресурсы. Рассматриваются подходы к таким атакам и общая логика защиты.

OWASP LLM10: Unbounded Consumption. Тестируем современные языковые модели на ресурсоёмких промптах Большие языковые модели всё чаще становятся частью корпоративных помощников, RAG-приложений, AI-агентов, генерации кода и автоматизации документооборота. Вместе с этим меняется и профиль угроз: злоумышленник может не пытаться получить данные или обойти защиту, а просто сформулировать запрос так, чтобы модель расходовала процессорное время, память и большое число токенов. Этой проблеме посвящена категория LLM10: Unbounded Consumption в OWASP Top 10 for LLM Applications. В отличие от классических атак вроде Prompt Injection или Data Leakage, здесь воздействие направлено не на логику приложения, а на его вычислительные ресурсы — по сути, это адаптация идеи отказа в обслуживании к системам с генеративным ИИ. В материале отмечается, что простые меры вроде ограничения длины запроса или ответа не всегда достаточны. Современные атаки используют рекурсивные инструкции, экспоненциальный рост контекста, моделирование множества независимых агентов и комбинаторные задачи, из-за чего внешне безобидный запрос может привести к непропорционально большим вычислительным затратам.

Источники 1
  • OWASP LLM10: Unbounded Consumption — тестирование языковых моделей на ресурсоёмкие промпты Habr AI 
    OWASP LLM10: Unbounded Consumption. Тестируем современные языковые модели на ресурсоёмких промптах

Большие языковые модели становятся неотъемлемой частью современных информационных систем. Корпоративные помощники, RAG-приложения, AI-агенты, генерация программного кода, автоматизация документооборота – всё чаще именно LLM становятся основным интерфейсом взаимодействия пользователя с данными и сервисами компании.

Вместе с ростом популярности меняется и профиль угроз. Если ещё несколько лет назад основной задачей злоумышленника был поиск уязвимости в веб-приложении или API, то сегодня достаточно правильно сформулировать запрос к языковой модели. Причём целью может быть не получение конфиденциальной информации и даже не обход механизмов безопасности. Иногда гораздо выгоднее заставить модель выполнять заведомо ресурсоёмкую задачу, расходуя процессорное время, память и тысячи токенов.

Именно этой проблеме посвящена категория LLM10: Unbounded Consumption в рейтинге OWASP Top 10 for LLM Applications. В отличие от классических атак типа Prompt Injection или Data Leakage, здесь злоумышленник воздействует не на логику приложения, а на его вычислительные ресурсы. По сути, речь идёт об адаптации идеи Denial of Service (DoS) к эпохе генеративного искусственного интеллекта.

На первый взгляд может показаться, что защититься от подобных атак достаточно просто –  например, ограничить длину пользовательского запроса или максимальный размер ответа. Однако на практике современные атаки становятся значительно изощрённее. Они используют особенности работы больших языковых моделей: рекурсивные инструкции, экспоненциальный рост контекста, моделирование множества независимых агентов, комбинаторные задачи и другие приёмы, заставляющие модель выполнять непропорционально большой объём вычислений при внешне вполне безобидном запросе. Читать далее

#llm #большие_языковые_модели #информационная_безопасность #пентест #red_teaming #natural_language_processing #jailbreak #джейлбрейк #промпт #атака | @habr_ai