Anthropic запускает программу баг-баунти для взлома AI: награды до $15,000

user avatar

от Giorgi Kostiuk

2 years ago

Сделано с помощью ИИ


  1. Введение в баг-баунти от Anthropic
  2. Что такое Red teaming?
  3. Особенности новой программы
  4. Как стать участником программы?
  5. Заключение
  6. Введение в баг-баунти от Anthropic

    Компания по разработке искусственного интеллекта Anthropic объявила о запуске расширенной программы баг-баунти 8 августа, пообещав вознаграждения до $15,000 участникам, которые смогут "взломать" их нереализованную "следующего поколения" модель AI.

    Что такое Red teaming?

    Red teaming – это процесс намеренного поиска уязвимостей. В случае с моделью Claude, целью является выявление способов, которыми её можно побудить к нежелательным действиям. Например, инженеры могут переформулировать вопросы, чтобы заставить AI выдать информацию, которую он запрограммирован не сообщать.

    Компания Anthropic ввела меры безопасности, предотвращающие такие утечки, как вывод персональных данных. Однако с увеличением возможностей AI и его способности имитировать человеческое общение, задача выявления всех нежелательных выходов становится всё более сложной.

    Особенности новой программы

    Anthropic внедрила несколько инновационных мер безопасности в своих моделях, включая парадигму "Конституционного AI". Компания утверждает, что этот подход уже принес значительные результаты, однако всегда полезно привлечь сторонние взгляды на проблематику.

    Согласно блогу компании, новая инициатива сосредоточится на универсальных jailbreak атаках:

    “Эти эксплойты могут позволить последовательное обходить защитные меры AI в широком спектре областей. Нацеливаясь на универсальные jailbreak, мы стремимся устранить самые значительные уязвимости в таких критических, высокорисковых областях, как химическая, биологическая, радиологическая и ядерная (CBRN), а также кибербезопасность.” Как стать участником программы?

    Компания принимает ограниченное число участников и приглашает исследователей AI, имеющих опыт в выявлении jailbreak в языковых моделях, подать заявку до пятницы, 16 августа. Те, кто будет выбран, получат доступ к модели следующего поколения для проведения тестирования.

    Anthropic планирует в будущем расширить эту инициативу, чтобы включить больше участников.

    Заключение

    Расширяя свои меры безопасности с помощью программы баг-баунти, Anthropic надеется обезопасить свои AI модели от нежелательных воздействий. Привлечение внешних экспертов обеспечит свежий взгляд на уже существующие проблемы и поможет компании своевременно реагировать на новые вызовы.

Тир I

Сектор: #18291

Запечатанная комната тайников

Resource Cache

Resource Cache

Тир I

Нужно 25% прогресса тира
Meme Cache

Meme Cache

Тир I

Нужно 50% прогресса тира
Equipment Cache

Equipment Cache

Тир I

Нужно 75% прогресса тира

После получения тайники попадут в инвентарь — открыть их можно ключами.

Другие новости

Nvidia создает комитет по национальной безопасности и контролю экспорта

Nvidia создала комитет для улучшения взаимодействия с американскими властями по вопросам национальной безопасности.

user avatarРоман Абдуллаев

Nvidia сообщает о рекордной квартальной прибыли

Компания Nvidia опубликовала финансовые результаты за третий квартал, превысив ожидания аналитиков.

user avatarЛюдмила Шарипова

OpenAI улучшает возможности моделей Astra и Sol

OpenAI улучшает возможности моделей Astra и Sol

user avatarГалина Муртазалиева

OpenAI запускает обновленные модели GPT-62 Astra и Sol

OpenAI запускает обновленные модели GPT-62 Astra и Sol

user avatarКсения Бондаренко

Solflare и MoneyGram запускают новую интеграцию для вывода наличных

Кошелек Solflare теперь позволяет пользователям выводить USDC в наличные через сеть MoneyGram.

user avatarЭмиль Юнусов

Изменения в руководстве Nvidia перед отчетом о доходах

Изменения в руководстве Nvidia произошли за пять дней до продажи акций ARK Invest.

user avatarАнна Сидорова

Важное примечание: Информация, представленная на портале Dapp.Expert, предназначена исключительно для ознакомительных целей и не является рекомендацией к инвестициям или руководством к действию. Команда Dapp.Expert не несет ответственности за возможные убытки или упущенную выгоду, связанные с использованием материалов, опубликованных на сайте. Перед принятием инвестиционных решений рекомендуем проконсультироваться с квалифицированным финансовым советником.