0G Labs совместно с China Mobile опубликовали исследовательскую работу, в которой представлен новый фреймворк DiLoCoX для децентрализованного обучения больших языковых моделей. Этот проект направлен на преодоление ограничений, связанных с производительностью сети.
Что такое DiLoCoX?
DiLoCoX — это современный фреймворк, предназначенный для обучения больших языковых моделей (LLM) с более чем 100 миллиардами параметров в децентрализованных средах с ограниченной пропускной способностью сети. Он показывает новые возможности для обучения на медленных сетях, обходя недостатки существующих децентрализованных моделей.
Достижения и эффективность DiLoCoX
В исследовательской работе 0G продемонстрировала, что DiLoCoX способен предварительно обучать модель с 107 миллиардами параметров на сети со скоростью 1 Гбит/с. Достижения проекта включают увеличение скорости распределенного обучения в 357 раз по сравнению с традиционными подходами, сохраняя при этом высокую степень сходимости модели. Этот фреймворк становится первым успешным решением для обучения моделей таких размеров в децентрализованных условиях.
Мнение руководства 0G Labs
“DiLoCoX является как доказательством концепции, так и утверждением наших намерений”, — отметил Майкл Хайнрих, генеральный директор 0G Labs. — “Мы открываем будущее, в котором ИИ служит общественным благом, создавая открытую экосистему, где каждый может участвовать и извлекать выгоду из интеллектуальных систем.”
Выход исследовательской работы демонстрирует стремление 0G Labs к повсеместной доступности ИИ и создает основу для разработки новых приложений на базе высокопроизводительной инфраструктуры.
