Недавнее исследование, проведенное Datadog и Carnegie Mellon, выявило значительные ограничения современных AI-моделей в области анализа временных рядов. В ходе тестирования ARFBench, основанного на реальных инцидентах, стало очевидно, что искусственный интеллект пока не может соперничать с человеческими экспертами, как указано в публикации.
Результаты исследования AI-моделей
В рамках исследования были проанализированы 63 реальных инцидента, и результаты показали, что AI-модели, включая GPT-4, не смогли превзойти уровень точности, достигнутый специалистами. GPT-4 продемонстрировал наилучший результат среди всех AI, достигнув 62.7% точности, в то время как эксперты смогли добиться 72.7%.
Важность взаимодействия человека и машины
Эти данные подчеркивают важность взаимодействия между человеком и машиной в процессе анализа инцидентов. Несмотря на прогресс в области искусственного интеллекта, результаты исследования свидетельствуют о том, что человеческий опыт и интуиция остаются незаменимыми в сложных ситуациях, требующих глубокого анализа и понимания контекста.
В то время как исследование AI-моделей выявило их ограничения в анализе инцидентов, Банк Англии анонсировал важные изменения в расчетной системе, включая запуск живой синхронизации. Узнайте подробнее о планах банка здесь.
