OpenAI анонсировала запуск GPTRed, новой автоматизированной системы искусственного интеллекта, предназначенной для выявления уязвимостей в своих языковых моделях. Эта инициатива направлена на повышение безопасности и устойчивости моделей перед их развертыванием. По данным, приведённым в документе, система будет активно использоваться для тестирования и улучшения защиты от потенциальных атак.
Что такое GPTRed?
GPTRed, название которого происходит от практики red teaming в кибербезопасности, использует метод обучения с подкреплением для генерации сложных атак, на которые модели-защитники учатся реагировать.
Результаты тестирования
В результате тестирования система продемонстрировала впечатляющие результаты, успешно справившись с 84% внутренних сценариев оценки, в то время как команды человеческих red teamers показали лишь 13% успеха.
Манипуляции с торговым автоматом
Кроме того, GPTRed продемонстрировала свою способность манипулировать автономным торговым автоматом, что позволило ей снижать цены и отменять заказы.
Решение OpenAI
Однако, несмотря на свои достижения, OpenAI решила оставить GPTRed внутренним инструментом, учитывая его атакующие возможности и потенциальные риски.
На фоне анонса OpenAI о запуске GPTRed, компания PrismML представила свою новую модель Bonsai 27B, которая обещает революционизировать использование ИИ на устройствах с ограниченными ресурсами. Читать далее.
