- Введение в баг-баунти от Anthropic
- Что такое Red teaming?
- Особенности новой программы
- Как стать участником программы?
- Заключение
Введение в баг-баунти от Anthropic
Компания по разработке искусственного интеллекта Anthropic объявила о запуске расширенной программы баг-баунти 8 августа, пообещав вознаграждения до $15,000 участникам, которые смогут "взломать" их нереализованную "следующего поколения" модель AI.
Что такое Red teaming?
Red teaming – это процесс намеренного поиска уязвимостей. В случае с моделью Claude, целью является выявление способов, которыми её можно побудить к нежелательным действиям. Например, инженеры могут переформулировать вопросы, чтобы заставить AI выдать информацию, которую он запрограммирован не сообщать.
Компания Anthropic ввела меры безопасности, предотвращающие такие утечки, как вывод персональных данных. Однако с увеличением возможностей AI и его способности имитировать человеческое общение, задача выявления всех нежелательных выходов становится всё более сложной.
Особенности новой программы
Anthropic внедрила несколько инновационных мер безопасности в своих моделях, включая парадигму "Конституционного AI". Компания утверждает, что этот подход уже принес значительные результаты, однако всегда полезно привлечь сторонние взгляды на проблематику.
Согласно блогу компании, новая инициатива сосредоточится на универсальных jailbreak атаках:
“Эти эксплойты могут позволить последовательное обходить защитные меры AI в широком спектре областей. Нацеливаясь на универсальные jailbreak, мы стремимся устранить самые значительные уязвимости в таких критических, высокорисковых областях, как химическая, биологическая, радиологическая и ядерная (CBRN), а также кибербезопасность.” Как стать участником программы?
Компания принимает ограниченное число участников и приглашает исследователей AI, имеющих опыт в выявлении jailbreak в языковых моделях, подать заявку до пятницы, 16 августа. Те, кто будет выбран, получат доступ к модели следующего поколения для проведения тестирования.
Anthropic планирует в будущем расширить эту инициативу, чтобы включить больше участников.
Заключение
Расширяя свои меры безопасности с помощью программы баг-баунти, Anthropic надеется обезопасить свои AI модели от нежелательных воздействий. Привлечение внешних экспертов обеспечит свежий взгляд на уже существующие проблемы и поможет компании своевременно реагировать на новые вызовы.














