Недавние исследования выявили серьезные уязвимости AI-агентов, которые могут подвергать пользователей риску. Команда ученых из нескольких ведущих университетов и исследовательских организаций провела анализ, который показал, что современные AI-агенты не способны эффективно защищаться от атак с инъекцией команд, и в публикации приводится следующая информация.
Исследование безопасности AI-агентов
Исследование было проведено совместно Наньянским технологическим университетом, ST Engineering, IBM Research и Университетом Иллинойс-Урбана-Шампейн. В ходе эксперимента ни один из протестированных AI-агентов не смог последовательно противостоять атакам с инъекцией команд, что вызывает серьезные опасения по поводу их безопасности.
Разработка нового бенчмарка StakeBench
В рамках исследования был также разработан новый бенчмарк под названием StakeBench, который позволяет тестировать реакцию AI-агентов на атаки в реалистичных онлайн-средах. Результаты работы подчеркивают необходимость повышения уровня безопасности AI-агентов и осознания рисков, связанных с инъекцией команд. Это является важным шагом для защиты пользователей.
Недавние исследования безопасности AI-агентов подчеркивают важность защиты пользователей, в то время как в Грузии были арестованы подозреваемые в отмывании криптовалюты. Читать далее
