URL: https://www.opennet.dev/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 129822
[ Назад ]
Исходное сообщение
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU"
Отправлено opennews , 21-Фев-23 16:14 
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей  ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров,  на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0...

Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58681

Содержание
Сообщения в этом обсуждении
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 16:14 
Дали хороший старт:
https://www.opennet.dev/opennews/art.shtml?num=43510
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:45 
"во благо человечества"

Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс?

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 19:12 
>Маск будет кормить лишившийся работы плебс?

Разве это его ответственность ?

p.s.:
Интересно сейчас читать комментарии к той новости =)

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 19:23 
> Разве это его ответственность ?

Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных технологий".

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 19:39 
В мировой истории много исчезнувших профессий.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено _hide_ , 22-Фев-23 16:50 
Вот только данная система не сменяет человека, а просто имитирует его деятельность с помощью обширной экспертной модели. Но да, для многих это недостижимая планка.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 17:17 
Alicebot смотрит на нубов как на нубов.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 22:31 
> Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных
> технологий".

Гдк-то я это уже видел. Кажется, тут! https://ru.wikipedia.org/wiki/%D0%9B%D1%... - а вот подача заявления в суд, сразу с приговором - https://ru.wikipedia.org/wiki/%D0%A4%D0%...

И как - сильно им это помогло?

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено 1111 , 21-Фев-23 20:25 
> "во благо человечества"
>Точно человечества, а не корпораций? Маск будет кормить лишившийся работы плебс?

когда увидел вопрос "точно человечества"? я подумал что кто то начал догадываться что к чему, но когда увидел вместо слова "роботов" слово "корпорации" понял что пока никто не догадался.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 07:03 
Просто приложение высоких пацанских экономических знаний. Если уволить всех программистов, можно сэкономить на их зарплате и выплатах. Если увеличить цену 100* раз, немедленно в 100 раз увеличатся доходы. Что не так?

* 1990-й. Цена сметаны в магазинах г. Новосибирска 120 руб. за килограмм при зарплате программиста 400 руб. в мес.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 16:37 
ШОК! но как то все забывают что к этому моменту СССР находился в глубочайшей экономической заднице и на стабильную зарплату по стабильным ценам можно было купить разве что кулинарный жир. Начало 90х это период шокового оздоровления от затяжного п****ца 80х
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено X86 , 25-Фев-23 21:16 
Нифига себе оздоровление.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 16:20 
>33 дня

А сколько это в деньгах, чтобы было понятно? Вон авторы stable diffusion утверждают, что, де, 160k usd на тренировку модели уходит. Это более информативно.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:21 
В деньгах сам посчитай, это несложно, все крупные облачные провайдеры публикуют свои прейскуранты. За полчаса скрипт напишешь на любом языке.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:24 
В ценах амазона от $780K до $975K в день. Или от $25.7M до $32.1M за 33 дня.  
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:03 
Кому выгодно плодить подобные вещи и к чему это может привести?
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:18 
Сабж нужен для того что корпы не захапали все технологии и не было бы такого чтобы все стояли в очереди к большому брату на возможность поработать с ИИ. Это выгодно всем кто не корп.  
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено all_glory_to_the_hypnotoad , 21-Фев-23 18:39 
Но это не ИИ
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:44 
А что это по твоему естественный интеллект?  Конечно же он искусственный.  
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено all_glory_to_the_hypnotoad , 21-Фев-23 20:56 
Он искусственный, но не интеллект. Что-то типа СУБД с возможностью делать запросы на естественных языках к графоподбной БД. Хорошо было бы если бы оно ещё умело давать развёрнутый ответ с ссылками на источники по которым составлен ответ.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено kusb , 21-Фев-23 23:50 
Может ли СУБД играть в шахматы и оперировать паттернами?
Можно ли попросить СУБД изобрести язык и поговорить с ней на нём?
Найти ошибку в коде и объяснить её?
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Пенис , 22-Фев-23 08:11 
Первые две задачи выполняют СУБД - шахматные движки базируются на большом количестве партий, системы перевода всегда имеют промежуточное представление для семантики, заложенной в слова.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноньимъ , 22-Фев-23 02:09 
Интеллект - способность решать нетривиальные задачи, точка. Типов нетривиальных задач есть несколько, но все они сводимы к задаче оптимизации. Не несите больше глупостей пожалуйста.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 13:58 
Там нет никакой БД, если коротко это нейросеть которая натренирована предсказывать следующее слово в тексте на основе предыдущего.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноньимъ , 22-Фев-23 14:14 
Эта нейросеть построена на так называемых "трансформерах" которые как раз по сути представляют собой базу данных ключ-значение. Ключом к базе является текущий контекст.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено NR , 21-Фев-23 21:35 
Так тут вопрос не к первому слову, а к "интеллекту".
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено ano , 22-Фев-23 08:16 
это есть аргумент в копилку неразумности интеллекта человеков.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено kusb , 21-Фев-23 18:18 
Людям выгодно плодить подобные вещи для того чтобы общаться с ботом. Это может привести к эволюционному технологическому переходу, где часть наших проблем будет решена или людям не будет места.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Элиты , 21-Фев-23 18:47 
> часть наших проблем будет решена

С этим согласен. _Наши_ проблемы будут решаться еще лучше. Без вечно бухтящего пролетариата.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено kusb , 21-Фев-23 18:54 
Да здравствует решение проблемы пролетариата!
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:20 
Время покажет, но интерес в мире к этому огромный:
https://vc.ru/services/597943
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:44 
вс вредный сайт.  
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено rshadow , 21-Фев-23 18:46 
К здоровой конкуренции.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 18:49 
...среди креативного класса. У кого кулаки будут здоровее, тот и сыт
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 19:09 
Жаль, что ИИ никогда не сможет заменить паразитов и дармоедов.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 19:34 
Сеточка поможет им еще более лучше имитировать бурную деятельность
Ура, прогресс вперде, луддиты, что с лицом
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено сччмсм , 21-Фев-23 20:48 
Самое забавное что им заменяют реально шизопаразиьов со стилусами. А всякие шахтеры пожарные и тд как работают так и раюотают
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 23-Фев-23 12:52 
Вообще даже близко нет. Погугли на youtube харвестеры которые лес валят и сам прикинь сколько они заменяют рабочих. Или машины для сбора плодов и ягод посмотри.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Max_4536 , 21-Фев-23 20:59 
Я с пребольшим удовольствием перестану искать работу и буду заниматься тем, что мне интересно. Если меня прочитает какой-нибудь ИИ - братан бери хоть все работы, вообще пофиг, мне от одного слова РАБотать уже тошно, спихни меня в Матрицу, и так моя реальность на виртуальную похожа
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено chatgpt , 21-Фев-23 21:29 
выключи компуктер и иди погуляй
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено RomanCh , 22-Фев-23 09:16 
> спихни меня в Матрицу,

А почему вы уверены, что вы не в ней?

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 21-Фев-23 20:52 
<на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти.>

Так то уже 40 серия существует.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Нейроанон , 22-Фев-23 11:52 
В данном случае никаких преимуществ она не даёт, тут лимитирует объём VRAM, а он на новой серии не увеличился (совпадение?).
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено АбдульМачета , 21-Фев-23 21:35 
Годнота. Конечно petals крут но все видят другие люди (пока не прикрутили secure multiparty computing), да и не селфхостед. А ттут на обычном пе запустить можно. Дллсстал пару 1080ti и все
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Pret78 , 22-Фев-23 01:48 
"...на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти..."
Вообще много уже в Мире таких обычных компьютеров?
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Pret78 , 22-Фев-23 01:53 
Походу у необычных людей уже есть что-то обычное, но при этом иное, не такое как у других людей считающих себя тоже обычными.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Pret78 , 22-Фев-23 01:57 
Обычный компьютер может быть заменой обычного человека.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Pret78 , 22-Фев-23 01:58 
А у меня получается вести себя необычно, чтобы не быть обычным человеком?
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 01:57 
>обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти
>обычном компьютере
>24GB видеопамяти

/0

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено rvs2016 , 22-Фев-23 02:55 
> на системах с ограниченными ресурсами

...
> на обычном компьютере с игровой
> видеокартой NVIDIA RTX3090,
> оснащённой 24GB видеопамяти

А хорошие же у них там системы с ограниченными ресурсами да компьютеры обычные? :о)

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 17:56 
3090 это уже давно мастхев для любого десктопа.  
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено bOOster , 22-Фев-23 08:16 
Теперь корпорации могут еще более эффективно манипулировать людьми, подставляя в ответы таких систем все что им нужно.
А недумающее стадо еще больше обаранится...
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноньимъ , 22-Фев-23 14:16 
К сожалению всё так.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 17:55 
Корпорации молодцы они хотя бы делом заняты в отличии от SJW.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 09:38 
Наконец-то полезное применение для RTX3090, ибо с любой игрой справится и RTX3060. Жаль только нет RTX3090, но кто-то нибудь кинет в общий доступ интерфейс.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 09:42 
> На тренировку модели было потрачено 33 дня работы кластера с 992 GPU NVIDIA A100 80GB.

Алё, игроманы, вы поняли свою задачу? Вы должны создавать спрос на AAAAAA игры, которые будут требовать всё более мощных видеокарт ещё лет десять как минимум. Потому что если вы вдруг сочтёте себя удовлетворёнными в какой-то момент и прекратите обновлять железо, то тогда такие вычислительные мощности так и останутся доступными только богатеньким буратино. А если на пару порядков повысить вычислительные способности видеокарты, которую можно купить в магазе за пару килобаксов, то тогда можно будет в домашних условиях выпиливать AI.

На криптомайнеров нельзя рассчитывать, так что только вы, AAAAAAA-игроманы можете спасти мир.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 10:26 
VR создаст потребность в более мощном железе. К играм добавится прон и спрос на видяхи будет такой, что майнерам никаким не снилось.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 16:35 
VR ненужен это ложная ветвь типа Betacam.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено YM2608 , 22-Фев-23 18:05 
кто нибудь скачал - сколько оно весит и сколько времени оно компилится?
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено crash2 , 26-Фев-23 14:57 
out of memory)
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 22-Фев-23 19:40 
Кажется графику полностью отдадут AMD... Ну ок.
"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Аноним , 23-Фев-23 11:36 
> При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ)

Это полный бред. Для 175B требуется минимум 350GB VRAM. Даже если делать CPU offloading, то всё равно нужно будет около 500GB обычной RAM и инференция будет со скоростью 1 токен в день. Даже в README на GitHub написано:

> Chat with OPT-6.7B. You need at least 15GB of GPU memory

Т.е. 15GB VRAM - это чисто на 6.7B. Ни о каких 175B тут даже и думать не стоит. Для примера: я на своей RTX3060 12GB еле-еле со скрипом могу запустить 13B модели со скоростью 1 токен в 1.5 секунды, да и то я там применяю всякие трюки типа INT8 precision, чтобы снизить потребление VRAM.

"FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, н..."
Отправлено Answer , 24-Фев-23 20:30 
Вы наверное пост не читали и по ссылкам не ходили