Новый лидер в мире бенчмарков генеративного искусственного интеллекта
В мире бенчмарков генеративного искусственного интеллекта появился новый лидер, и его имя - Gemini 1.5 Pro.
Предыдущий чемпион, ChatGPT-4o от OpenAI, наконец, был обогнан 1 августа, когда Google тихо запустил экспериментальный релиз своей последней модели.
Последнее обновление Gemini появилось без шума и сейчас помечено как экспериментальное. Однако оно быстро привлекло внимание сообщества искусственного интеллекта в социальных сетях, поскольку поступали сообщения о превосходстве над конкурентами по показателям бенчмарков.
Бенчмарки искусственного интеллекта
ChatGPT от OpenAI был стандартом генеративного искусственного интеллекта с момента запуска GPT-3. Его последняя модель, GPT-4o, и ближайший конкурент, Claude-3 от Anthropic, в течение последнего года удерживали лидерство в основных бенчмарках, показывая небольшую конкуренцию.
Один из популярных бенчмарков - LMSYS Chatbot Arena. Он тестирует модели на различных задачах и дает общую оценку компетентности. GPT-4o получил оценку 1,286, в то время как Claude-3 заработал уважаемые 1,271.
Предыдущая версия Gemini 1.5 Pro набрала 1,261 балл, но экспериментальная версия (Gemini 1.5 Pro 0801), выпущенная 1 августа, получила ошеломляющие 1,300 баллов.
Это свидетельствует о том, что она общей сложности более способна, чем конкуренты, но бенчмарки не всегда точно отражают, что модель искусственного интеллекта может или не может делать.
Восторг сообщества
Без более глубоких сравнений мы входим в период, когда рынок чат-ботов на основе искусственного интеллекта достаточно мать, чтобы предложить несколько вариантов. В конечном итоге потребителям предстоит определить, какая модель искусственного интеллекта подходит лучше всего.
По сообщениям пользователей в социальных сетях, последняя версия Gemini вызвала волну восторга, называя ее "невероятно хорошей." Один пользователь Reddit даже написал, что она "уничтожает ChatGPT-4o."
Неясно, станет ли экспериментальная версия Gemini 1.5 Pro основной в будущем. Хотя она остается доступной на момент публикации этой статьи, факт того, что она находится в начальной стадии релиза или тестирования, указывает на возможность отозвать или изменить модель по соображениям безопасности или соответствия.














