forum.opennet.ru

"Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Подсказка: Для сортировки сообщений в нити по дате нажмите "Сортировка по времени, UBB".

. "Компания xAI, созданная Илоном Маском, открыла большую языко..."	+4 +/–
Сообщение от Эксперт (?), 18-Мрт-24, 12:58
если квант 8 битный, то 8 штук h100 по 80 гб. 360 гб в сумме если 4 бит, то примерно в два раза меньше, не считая размера окна контекста 2 бита - вопросы к качеству, но если цель просто запустить, посмотреть, то в связку rtx 4090(3090) + 192 гб озу должно влезть. скорость инференса сложно прикинуть, но скорее всего будет больно
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok, opennews, 18-Мрт-24, 11:57 [смотреть все]

Ну спасибо,это они конечно помогли 4070 хватит Качаю и проверю , Аноним, 18-Мрт-24, 11:57 (1) //
- Не хватит Забей пока на эту модель, пока там прошаренные не разберутся , мяя, 18-Мрт-24, 12:02 (3) //
  - А сколько надо памяти Есть ещё 3090, Аноним, 18-Мрт-24, 12:02 (4) //
    - Чем больше, тем лучше https habana ai products gaudi2 https www nvidia com , Аноним, 18-Мрт-24, 12:10 (7)
      - Должно же быть референсное значение, а не всё хорошее против всего плохого , Аноним, 18-Мрт-24, 12:25 (11)
    - Обычно, если половина модели в память помещается, то производительность становит, ptr, 18-Мрт-24, 17:55 (65)
    - Там больше 400 гигабайт видеопамяти надо 3090 не хватит даже 10 штук , X86, 19-Мрт-24, 01:28 (95)
      - Ну так возьми 20 , Аноним, 19-Мрт-24, 08:28 (100)
        
        На каждый GPU, для получения приемлемой производительности, нужно хотя бы 8 лини, ptr, 19-Мрт-24, 09:15 (104)
        
        Да, поддерживает только pcie4 Надо хотя бы pcie5 с другой стороны подключать с, Аноним, 19-Мрт-24, 10:50 (109)
    - Обычно чуть больше, чем сама модель 300 гигов Сколько там на твоей 3090, гиго, ОноНим, 20-Мрт-24, 10:07 (116)
      - на 3090 24 гигабайта памяти , X86, 21-Мрт-24, 08:00 (121)
- Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и г, сщта, 18-Мрт-24, 12:04 (6)
- если квант 8 битный, то 8 штук h100 по 80 гб 360 гб в суммеесли 4 бит, то приме , Эксперт, 18-Мрт-24, 12:58 (13) //
  - 80 8 640, что имелось в виду У 4090 вроде всего 24 гигабайта, Аноним, 18-Мрт-24, 14:29 (32) //
    - какая еще 4090 забудьте микрогеймерские затычки Tesla H100 ставят для таких де, x, 18-Мрт-24, 15:47 (40)
- Одной Тут целый парк нужен , Аноним, 18-Мрт-24, 14:00 (25)
- Гиблое дело Даже с разделением памяти видюхи и оперативки не взлетит Поиграться, Аноним, 18-Мрт-24, 16:50 (50)
- Вот столько должно быть VRAM Если столько VRAM RAM, будет медленней Может сдел, Аноним, 19-Мрт-24, 00:35 (91)
АЛИСА, что-ли , Аноним, 18-Мрт-24, 12:01 (2) //
- Да, Аноним12345, 18-Мрт-24, 12:20 (8)
- Алиса не LLM Там древний подход на основе интентов Нейросеть используется толь, Шарп, 18-Мрт-24, 12:21 (9) //
  - Уже ЛЛМ, но кажется какой-то тюненый вариант https yandex ru alice beta, Анонус, 18-Мрт-24, 13:00 (14) //
    - Спросил у нее Говорит, что нет , Аноним, 18-Мрт-24, 14:33 (33)
      - Спросил у ИИ, является ли он ИИ Ответил, что нет , Аноним, 18-Мрт-24, 17:59 (66)
        
        а зачем по-вашему мелафон , dannyD, 18-Мрт-24, 18:13 (70)
      - Мне ответила, что да, размер - 1 6 миллиардов параметров, Аноним, 18-Мрт-24, 23:09 (89)
        
        Мне кажется, что Алиса сама не знает, как она устроена и придумывает факты С 1,6, Аноним, 19-Мрт-24, 09:03 (102)
    - разбудите когда она научится озвучивать и пересказывать порно фильмы , cheburnator9000, 18-Мрт-24, 20:50 (84)
      - Алиса никогда не будет озвучивать порно потому, что зацензурирована Меня больше , Аноним, 19-Мрт-24, 08:30 (101)
        
        потому что твоя болтовня стоит яндексу денег, namenotfound, 20-Мрт-24, 15:53 (119)
        майор не успевает от руки переписывать и в папочку подшивать, нейм, 24-Мрт-24, 12:02 (123)
REDUCE дистрибутив чуть более, чем 20 Мб не годится , Аноним, 18-Мрт-24, 12:04 (5) //
- Можно ссылку , Другой анон, 18-Мрт-24, 15:05 (37) //
  - Видимо http www reduce-algebra com имелось в виду , Аноним, 18-Мрт-24, 15:14 (38)
  - https sourceforge net projects reduce-algebra Также книжка на русском есть , Аноним, 18-Мрт-24, 17:28 (53)
- Мы в MatLab делали Было забавно В любом случае, это всё не то В ВУЗ идут им, Аноним, 18-Мрт-24, 16:44 (45) //
  - В инженерном деле можно А также для проверки , Аноним, 18-Мрт-24, 17:33 (57)
- REDUCE - это извращение Современная математика плюс-минус есть только в FriCAS , Аноним, 19-Мрт-24, 05:01 (96) //
  - Извращение - это когда увеличивают память, количество ядер и частоту вместо вмес, Аноним, 19-Мрт-24, 07:25 (98)
Оказывается это Илон Маск друг опенсорса, а вы его ругали , Аноним, 18-Мрт-24, 12:23 (10) //
- https opennet ru 53083-falcon9, Аноним, 18-Мрт-24, 12:47 (12)
- А переписка с Сутскевером https openai com blog openai-elon-musk утверждает об, Аноним, 18-Мрт-24, 13:32 (24) //
  - Если только с позиции Сутскевера , Аноним, 26-Мрт-24, 08:36 (124)
Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу и н, Вы забыли заполнить поле Name, 18-Мрт-24, 13:05 (15) //
- Ага А потом Маск допрет сделать то же самое И тут ты такой, с кредитом на маши, Аноним, 18-Мрт-24, 16:53 (52) //
  - Мечтай Такая строчка в резюме еще 10 лет кормить будет , голос из леса, 18-Мрт-24, 19:30 (81) //
    - Ну вот как рах тебя и вышибут из уже почти совсем оплаченной квартиры - чтобы дж, Аноним, 18-Мрт-24, 22:10 (88)
Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достуча, Аноним, 18-Мрт-24, 13:06 (16) //
- И так по 10 минут музыку слушаешь в ожидании Кожаные мешки обгадились в который, сщта, 18-Мрт-24, 13:17 (17) //
  - Это еще вот зачем Видимокарта и ее охлаждение - деньгов стоют Так что СНАЧАЛА п, Маск, 18-Мрт-24, 14:28 (31)
- А смысл до него достукиваться Чем он тебе из своего Улан-Удэ поможет , Chel, 18-Мрт-24, 13:19 (19)
- Только когда оно станет работать на тостерах и пылесосах Пока ей нужно вот это , Anonim, 18-Мрт-24, 14:09 (26) //
  - не будут 8212 мешкам надо зряплату платить Несколько зряплат как раз на карт, Аноним, 18-Мрт-24, 14:13 (28) //
    - А тот кластер инстансев с GPU для прокручивания того добра на меньшем не зарабо, Anonim, 18-Мрт-24, 14:23 (29)
      - Там еще толпу админов и разрабов нужно в этот кластер Эффективный манагер мышко, Anonim, 18-Мрт-24, 14:26 (30)
        
        Зачем DGX GH200 что-то помимо макбука , Аноним, 18-Мрт-24, 14:58 (34)
        
        всего каких-то 24 стойки, кстати, для справки, Аноним, 18-Мрт-24, 15:02 (36)
      - Потому что робота украдут, а тот, кто украдёт таджика 8212 сам об этом крупно, Аноним, 18-Мрт-24, 15:31 (39)
- И так давно уже навтыкали роботов Я так им и пишу отвали робот, позови челове, Аноним, 18-Мрт-24, 16:46 (46)
Облом С моими 64 гигами памяти больше 70В не запустить , Аноним, 18-Мрт-24, 13:18 (18) //
- Вот так так топовое профессиональное железо превращается в кор два дуба Рекомен, сщта, 18-Мрт-24, 13:19 (20) //
  - Топовым мой Ryzen 7 2700 был лет пять назад А сейчас это просто калькулятор Бол, Аноним, 18-Мрт-24, 13:26 (23) //
    - Мощно протроллил тех кто тут всерьез сидит с калькуляторов типа кор два дуба И , Аноним, 18-Мрт-24, 17:46 (62)
      - У меня rk3566 с 4гб оперативы и мне хватает, работает как терминал клиент фактич, Мне хватает, 19-Мрт-24, 07:45 (99)
- почему только 64Gb Разве венда не поддерживает терабайты ОЗУ Подумаешь, немног, Аноним, 18-Мрт-24, 16:49 (48)
- Была публикация, что китайские ученые при решении некоторой задачи за счет оптим, Аноним, 18-Мрт-24, 17:37 (58) //
  - Посчитай затраты на человеко-часы такоц оптимизации и на эквивалент в банальном , Аноним, 18-Мрт-24, 17:43 (61) //
    - Придется поработать, да Но есть один нюанс Оптимизированная задача будет испол, Аноним, 19-Мрт-24, 09:16 (105)
      - 400 гб видеопамяти - это не суперкомпьютер Просто корпорациям не нужно жмотитьс, X86, 21-Мрт-24, 08:07 (122)
  - Году эдак в 1989-м, я, будучи студентотою на базе нпо машиностроение прилежно ко, beck, 18-Мрт-24, 18:38 (73) //
    - ну не надо думать что в китае дураки, так помнится сша думали, когда после распа, 1, 18-Мрт-24, 19:23 (80)
Цензура есть , Аноним, 18-Мрт-24, 13:20 (21) //
- Опять собираешься написать у ем слово мел , Аноним, 18-Мрт-24, 16:50 (51)
- Установив модель на свой комп ты можешь делать с ней что хочешь Естественно, в , Аноним, 18-Мрт-24, 17:40 (60) //
  - Опечатка в слове инвесторы , Аноним, 18-Мрт-24, 18:00 (67) //
    - Любое государство это 171 стационарный бандит 187 Инвесторы, как и любой кр, Аноним, 18-Мрт-24, 18:08 (69)
  - Мне AI сочиняет хвалебные поэмы про Ленина Обожаю их читать Даже иллюстрации нар, Аноним, 18-Мрт-24, 18:00 (68) //
    - поэму в студию я хочу видеть этого человека с , 1, 18-Мрт-24, 19:09 (75)
      - Я такое боюсь публиковать Там такая трешевая тема и содержание Вдруг это оскор, Аноним, 18-Мрт-24, 19:15 (76)
        
        да ладно, ну не сша, не закенселят, 1, 18-Мрт-24, 19:19 (79)
        
        Лет десять дам ему всего, за пропаганду чегонельзяназывать , товарищ майор, 18-Мрт-24, 21:21 (87)
ссылку добавьте https huggingface co xai-org grok-1, Аноним, 18-Мрт-24, 13:22 (22)
о, как раз для местных сидельцев на третьем пне 300 ГБ винты с ИДЕ точно были, , Аноним, 18-Мрт-24, 16:11 (41) //
- Если с ИДЕ винта грузить данные, то скорость генерации токенов будет просто волш, Проыыфыс, 18-Мрт-24, 16:26 (43) //
  - Главный вопрос жизни, вселенной и вообще Через 10 лет ответ на третьем пне сгене, Аноним, 18-Мрт-24, 16:37 (44) //
    - ну так вроде 7 миллионов лет считалось в оригинале, крутой третий пень то оказыв, 1, 18-Мрт-24, 19:04 (74)
  - На IDE были даже терабайтники, правда мало Причем на IDE133 750 ГБ юзал лично , Alexey V. Pautov, 18-Мрт-24, 20:57 (85) //
    - То были универсальные банки Продавались в одном корпусе, как с IDE, так и с SAT, Михаил Сергеевич, 19-Мрт-24, 00:36 (92)
- Дык возьми btrfs или bcachefs, набей веников в бигтауэр, и будет тебе новая поша, Аноним, 18-Мрт-24, 16:49 (49)
- Ты тоже будешь через несколько лет сидеть на каком-нибудь мак про м3, который к , Аноним, 18-Мрт-24, 17:38 (59)
- Были самсунги 500ки IDE, через меня проходили эти диски , doorsfan, 18-Мрт-24, 21:04 (86) //
  - Эти банки были последними устройствами, которые поддерживали как IDE, так и SATA, Михаил Сергеевич, 19-Мрт-24, 00:34 (90)
Чет пустая какая то репа https github com xai-org grok-1 tree main, K_AHTOH, 18-Мрт-24, 16:20 (42) //
- ну магнет есть на веса, 1, 18-Мрт-24, 19:17 (78)
Нихрена себе, это Элон Маск забэкапал свой мозг чтоли , Аноним, 18-Мрт-24, 16:48 (47) //
- Всего лишь водна клетка человеческого организма с размером ДНК 6 миллиардов ос, Михаил Сергеевич, 19-Мрт-24, 00:44 (94)
Представить даже боюсь какое железо для этого нужно, чтобы оно хотя бы просто ше, Аноним, 18-Мрт-24, 17:31 (56) //
- https www opennet ru opennews art shtml num 59840, Аноним, 19-Мрт-24, 15:56 (112)
Мудрое название для модели Хайнлайн аплодирует , Аноним, 18-Мрт-24, 17:46 (63) //
- Когда сказать нечего, но хочется блеснуть умом Даже крохотная Mistral 7B модел, Проыыфыс, 21-Мрт-24, 07:27 (120)
Чтоб это затестить, придётся арендовать майнинг ферму 129322 Явно не для конс, Михаил Сергеевич, 19-Мрт-24, 00:39 (93)
Читал, к лету 2023 завершат работу над GPT-5, говорили что это будет чуть ли не , Аноним, 19-Мрт-24, 09:08 (103) //
- Подозреваю, что модель есть, но нужно новое поколение железа, чтобы ее можно был, Аноним, 19-Мрт-24, 09:21 (106)
- Gpt-4 пока не впечатляет Сносно по сравнению с gpt-3 и тем более gpt-2, но это , Аноним, 19-Мрт-24, 11:53 (110) //
  - Под узкозаточенные задачи ИИ может быть офигительно эффективным уже сейчас А поп, Аноним, 19-Мрт-24, 13:14 (111) //
    - Согласен Модели на основе llama с несоизмеримо меньшим кол-вом параметров, но н, Аноним, 19-Мрт-24, 18:46 (113)
  - Это проблема непонимания контекста заданного тобою ввода Например, пишешь 171, Аноним, 19-Мрт-24, 18:54 (114) //
    - Нет, ты говоришь сгенерируй мне sql, а тебе в ответ код с малоприметными ошибкам, Аноним, 19-Мрт-24, 23:15 (115)
      - Живые программисты в таком же стиле работают Так что производительность труда в, Аноним, 20-Мрт-24, 11:34 (117)
        
        Проблема в том, что там ошибки такие, которые здоровый человек не допустит никак, Аноним, 20-Мрт-24, 14:39 (118)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру