https://www.opennet.ru/openforum/vsluhforumID3/129822.html Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги &#8212; Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами. Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58681<br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#84 Sun, 26 Feb 2023 11:57:37 GMT out of memory)<br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#83 Sat, 25 Feb 2023 18:16:51 GMT Нифига себе оздоровление. <br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#82 Fri, 24 Feb 2023 17:30:56 GMT Вы наверное пост не читали и по ссылкам не ходили<br><br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#80 Thu, 23 Feb 2023 09:52:55 GMT Вообще даже близко нет. Погугли на youtube харвестеры которые лес валят и сам прикинь сколько они заменяют рабочих. Или машины для сбора плодов и ягод посмотри.<br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#79 Thu, 23 Feb 2023 08:36:25 GMT &gt; При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ)<br><br>Это полный бред. Для 175B требуется минимум 350GB VRAM. Даже если делать CPU offloading, то всё равно нужно будет около 500GB обычной RAM и инференция будет со скоростью 1 токен в день. Даже в README на GitHub написано:<br><br>&gt; Chat with OPT-6.7B. You need at least 15GB of GPU memory<br><br>Т.е. 15GB VRAM - это чисто на 6.7B. Ни о каких 175B тут даже и думать не стоит. Для примера: я на своей RTX3060 12GB еле-еле со скрипом могу запустить 13B модели со скоростью 1 токен в 1.5 секунды, да и то я там применяю всякие трюки типа INT8 precision, чтобы снизить потребление VRAM.<br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#77 Wed, 22 Feb 2023 19:31:45 GMT &gt; Запомните этот твит: лишившиеся работы подадут коллективный иск к "чудо-прорывателям полезных <br>&gt; технологий".<br><br>Гдк-то я это уже видел. Кажется, тут! https://ru.wikipedia.org/wiki/%D0%9B%D1%83%D0%B4%D0%B4%D0%B8%D1%82 - а вот подача заявления в суд, сразу с приговором - https://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:FrameBreaking-1812.jpg<br><br>И как - сильно им это помогло?<br><br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#76 Wed, 22 Feb 2023 16:40:57 GMT Кажется графику полностью отдадут AMD... Ну ок. <br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#74 Wed, 22 Feb 2023 15:05:05 GMT кто нибудь скачал - сколько оно весит и сколько времени оно компилится?<br> https://www.opennet.ru/openforum/vsluhforumID3/129822.html#73 Wed, 22 Feb 2023 14:56:21 GMT 3090 это уже давно мастхев для любого десктопа. <br>