Новость
OpenAI представила GPT-Red — автоматизированную систему red teaming
OpenAI запустила GPT-Red, автоматизированную систему red teaming, использующую самообучение для повышения безопасности, согласованности и устойчивости к prompt injection.
OpenAI представила GPT-Red — автоматизированную систему red teaming, которая использует самообучение (self-play) для повышения безопасности, согласованности (alignment) и устойчивости к prompt injection. Система предназначена для автоматического поиска уязвимостей и улучшения моделей ИИ без участия человека. GPT-Red показывает, как самообучение может применяться в области безопасности ИИ, помогая модели выявлять и исправлять собственные слабые места.
Источники
1
-
OpenAI представила GPT-Red — автоматизированную систему red teaming
OpenAI News
GPT-Red: Unlocking Self-Improvement for Robustness Explore GPT-Red, OpenAI’s automated red teaming system that uses self-play to improve AI safety, alignment, and prompt injection robustness.