The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Есть идеи по улучшению форума и сайта ? Пишите.
. "Databricks открыл большую языковую модель DBRX, опережающую ..." +/
Сообщение от Аноним (61), 04-Апр-24, 13:53 
> Нет, нейросеть запускается на CPU  и речь про RAM.

Да, вполне работает на CPU. Только чем больше модель тем медленнее она будет щевелится. Уже 70B модель на восьмиядерном процессоре работает как пошаговая стратегия: написал письмо и ждешь ответа.
Сами попробйте покрутить разные модели в LM Studio или Coboldcpp. Во всем наглядно убедитесь. Видеокарта дает хороший буст в скорости (если в нее хотя бы половина слоев модели влезает).

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Databricks открыл большую языковую модель DBRX, опережающую в тестах GPT-3.5, opennews, 02-Апр-24, 20:07  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру