The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Компания xAI, созданная Илоном Маском, открыла большую языковую модель Grok

18.03.2024 11:29

Компания xAI, основанная Илоном Маском и получившая около миллиарда долларов на развитие технологий, связанных с искусственным интеллектом, объявила об открытии большой языковой модели Grok, применяемой в чатботе, интегрированном в социальную сеть X (Twitter). Набор весовых коэффициентов, архитектура нейронной сети и примеры использования опубликованы под лицензией Apache 2.0. Для загрузки доступен готовый к применению архив с моделью, размером 296 ГБ (magnet).

Модель Grok предварительно обучена на большой коллекции текстовых данных, используя разработанный в xAI собственный стек обучения, и охватывает около 314 миллиардов параметров, что делает её крупнейшей из доступных открытых больших языковых моделей. Для сравнения недавно открытая Google модель Gemma насчитывает 7 млрд параметров, Sber GigaChat - 29 млрд параметров, Meta LLaMA - 65 млрд, Yandex YaLM - 100 млрд, OpenAI GPT-3.5 - 175 млрд, а лидер рынка, модель GPT-4, предположительно включает 1.76 триллиона параметров.

Открытый вариант модели Grok-1 опубликован в базовом представлении и не включает оптимизаций для определённых областей использования, таких как организация диалоговых систем. Для тестирования требуется GPU c большим объёмом памяти (каким именно не уточняется). В открытом доступе размещён статичный слепок модели, в то время как одной из особенностей развиваемого для Twitter-а чатбота Grok является динамическая адаптация к появляющемуся новому содержимому (для доступа к новым знаниям используется интеграция с платформой X/Twitter).

Построенный на базе Grok чатбот опережает GPT-3.5 в тестах на решение математических задач средней школы (GSM8k), формирование ответов на междисциплинарные вопросы (MMLU), дополнение кода на языке Python (HumanEval) и решение вузовских математических задач, описанных в формате LaTeX (MATH).



  1. Главная ссылка к новости (https://x.ai/blog/grok-os...)
  2. OpenNews: Проект OpenAI открыл Transformer Debugger, отладчик для моделей машинного обучения
  3. OpenNews: ArtPrompt - атака на AI-системы, позволяющая обойти фильтры при помощи ASCII-картинок
  4. OpenNews: Google открыл AI-модель Gemma, основанную на технологиях, общих с чат-ботом Gemini
  5. OpenNews: Открыт код Jina Embedding, модели для векторного представления смысла текста
  6. OpenNews: Первый выпуск открытого AI-бота OpenAssistant, напоминающего ChatGPT
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60801-ai
Ключевые слова: ai, grok
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (111) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 11:57, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Для тестирования требуется GPU c большим объёмом памяти (каким именно не уточняется)

    Ну спасибо,это они конечно помогли.4070 хватит? Качаю и проверю.

     
     
  • 2.3, мяя (?), 12:02, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Не хватит. Забей пока на эту модель, пока там прошаренные не разберутся.
     
     
  • 3.4, Аноним (1), 12:02, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А сколько надо памяти?Есть ещё 3090
     
     
  • 4.7, Аноним (7), 12:10, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >А сколько надо памяти?

    Чем больше, тем лучше:
    https://habana.ai/products/gaudi2/
    https://www.nvidia.com/en-us/data-center/a100/

     
     
  • 5.11, Аноним (11), 12:25, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Должно же быть референсное значение, а не всё хорошее против всего плохого.
     
  • 4.65, ptr (ok), 17:55, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Обычно, если половина модели в память помещается, то производительность становится вполне приемлемой. Так что начинать надо с двух A100 80GB. На четырех - вообще летать будет.
     
  • 4.95, X86 (ok), 01:28, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Там больше 400 гигабайт видеопамяти надо. 3090 не хватит даже 10 штук)
     
     
  • 5.100, Аноним (100), 08:28, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну так возьми 20.
     
     
  • 6.104, ptr (ok), 09:15, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    На каждый GPU, для получения приемлемой производительности, нужно хотя бы 8 линий PCIe.
     
     
  • 7.109, Аноним (100), 10:50, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да, поддерживает только pcie4. Надо хотя бы pcie5 (с другой стороны подключать сразу десяток надо только проф картам и у них есть pcie5).
     
  • 4.116, ОноНим (?), 10:07, 20/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Обычно чуть больше, чем сама модель ~= 300 гигов.
    Сколько там на твоей 3090, гигов 8-12? :)
     
     
  • 5.121, X86 (ok), 08:00, 21/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    на 3090 24 гигабайта памяти.
     
  • 2.6, сщта (?), 12:04, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Тут чел который виртуалками торгует говорил,что у него только рамы 128 гигов и гиов 60 видеорамы. Ему мало.
     
  • 2.13, Эксперт (?), 12:58, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    если квант 8 битный, то 8 штук h100 по 80 гб. 360 гб в сумме
    если 4 бит, то примерно в два раза меньше, не считая размера окна контекста
    2 бита - вопросы к качеству, но если цель просто запустить, посмотреть, то в связку rtx 4090(3090) + 192 гб озу должно влезть. скорость инференса сложно прикинуть, но скорее всего будет больно
     
     
  • 3.32, Аноним (100), 14:29, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    80*8=640, что имелось в виду? У 4090 вроде всего 24 гигабайта
     
     
  • 4.40, x (?), 15:47, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    какая еще 4090? забудьте микрогеймерские затычки. Tesla H100 ставят для таких дел
     
  • 2.25, Аноним (25), 14:00, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >4070 хватит?

    Одной? Тут целый парк нужен.

     
  • 2.50, Аноним (50), 16:50, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > 4070 хватит? Качаю и проверю.

    Гиблое дело. Даже с разделением памяти видюхи и оперативки не взлетит.
    Поиграться на своем компе вряд ли получится.

     
  • 2.91, Аноним (91), 00:35, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > размером 296 ГБ

    Вот столько должно быть VRAM. Если столько VRAM+RAM, будет медленней. Может сделают версию поменьше, но на меньше 296/4 Гб я особо бы не рассчитывал.

     

  • 1.2, Аноним (2), 12:01, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Yandex YaLM - 100 млрд

    АЛИСА, что-ли?

     
     
  • 2.8, Аноним12345 (?), 12:20, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Да
     
  • 2.9, Шарп (ok), 12:21, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Алиса не LLM. Там древний подход на основе интентов. Нейросеть используется только в режиме "болталаки".
     
     
  • 3.14, Анонус (?), 13:00, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Уже ЛЛМ, но кажется какой-то тюненый вариант.

    https://yandex.ru/alice/beta

     
     
  • 4.33, Аноним (2), 14:33, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Спросил у нее. Говорит, что нет.
     
     
  • 5.66, Аноним (66), 17:59, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Спросил у ИИ, является ли он ИИ. Ответил, что нет.
     
     
  • 6.70, dannyD (?), 18:13, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>Ответил, что нет.

    а зачем по-вашему мелафон?

     
  • 5.89, Аноним (89), 23:09, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Мне ответила, что да, размер - 1.6 миллиардов параметров
     
     
  • 6.102, Аноним (50), 09:03, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Мне кажется, что Алиса сама не знает, как она устроена и придумывает факты.
    С 1,6 миллиардов параметров для голосового помошника - это слишком мало.
    С таким количеством можно нести только малосвязанный бред.
    Либо модель должна быть обучена на строго узкоспецальную задачу: например, управлять умным домом.
     
  • 4.84, cheburnator9000 (ok), 20:50, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    разбудите когда она научится озвучивать и пересказывать порно фильмы.
     
     
  • 5.101, Аноним (50), 08:30, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Алиса никогда не будет озвучивать порно потому, что зацензурирована.

    Меня больше интересует вопрос: почему когда Алиса появилась, то она была болтушкой и любила потрепаться, а сейчас, как-то замкнулась в себе и отвечает на вопросы сухо и по делу?

    Я у нее спросил. Она ответила что-то, типа: "Больше дела, меньше слов, но, всегда готова помочь."

     
     
  • 6.119, namenotfound (?), 15:53, 20/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    потому что твоя болтовня стоит яндексу денег
     
  • 6.123, нейм (?), 12:02, 24/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    майор не успевает от руки переписывать и в папочку подшивать
     

  • 1.5, Аноним (2), 12:04, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > решение вузовских математических задач

    REDUCE (дистрибутив чуть более, чем 20 Мб) не годится?

     
     
  • 2.37, Другой анон (?), 15:05, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Можно ссылку?
     
     
  • 3.38, Аноним (38), 15:14, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Видимо http://www.reduce-algebra.com/  имелось в виду.
     
  • 3.53, Аноним (53), 17:28, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    https://sourceforge.net/projects/reduce-algebra/

    Также книжка на русском есть.

     
  • 2.45, Аноним (45), 16:44, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Мы в MatLab делали. Было забавно :) В любом случае, это всё не то. В ВУЗ идут именно для ПОНИМАНИЯ, что и как ты решаешь, а не для "нахождения ответов".
     
     
  • 3.57, Аноним (53), 17:33, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    В инженерном деле можно. А также для проверки.
     
  • 2.96, Аноним (96), 05:01, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    REDUCE - это извращение. Современная математика плюс-минус есть только в FriCAS.

    Уже даже Maxima безнадёжно устарела.

     
     
  • 3.98, Аноним (2), 07:25, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Извращение - это когда увеличивают память, количество ядер и частоту вместо вместо оптимизации алгоритмов и использования адекватного языка программирования.
     

  • 1.10, Аноним (11), 12:23, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оказывается это Илон Маск друг опенсорса, а вы его ругали.
     
     
  • 2.12, Аноним (7), 12:47, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    https://opennet.ru/53083-falcon9
     
  • 2.24, Аноним (24), 13:32, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А переписка с Сутскевером https://openai.com/blog/openai-elon-musk утверждает обратное:
    >https://openai.com/blog/openai-elon-musk#OpenAIAndElonMuskFour-12
     
     
  • 3.124, Аноним (124), 08:36, 26/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Если только с позиции Сутскевера.
     

  • 1.15, Вы забыли заполнить поле Name (?), 13:05, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > дополнение кода на языке Python (HumanEval) и решение вузовских математических задач

    Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу (и не только).

     
     
  • 2.52, Аноним (-), 16:53, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> дополнение кода на языке Python (HumanEval) и решение вузовских математических задач
    > Вот надо чтобы литкод решала и потом устроиться к ним же удаленно на работу (и не только).

    Ага. А потом Маск допрет сделать то же самое. И тут ты такой, с кредитом на машину и ипотекой - "ухтыб%@, спалили фишку!" - и переезжаешь куда-нибудь в картонную коробку или за полярный круг.

     
     
  • 3.81, голос из леса (?), 19:30, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Мечтай. Такая строчка в резюме еще 10 лет кормить будет.
     
     
  • 4.88, Аноним (-), 22:10, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Мечтай. Такая строчка в резюме еще 10 лет кормить будет.

    Ну вот как рах тебя и вышибут из уже почти совсем оплаченной квартиры - чтобы джекпот был 100%!

     

  • 1.16, Аноним (16), 13:06, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Ну всё, теперь эту модель понавтыкают в техподдержку все кому не лень, и достучаться до живого оператора будет вообще невозможно :)
     
     
  • 2.17, сщта (?), 13:17, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    И так по 10 минут музыку слушаешь в ожидании. Кожаные мешки обгадились в который раз. Это чудо-юдо хоть со всеми вместе одновременно трещать сможет.
     
     
  • 3.31, Маск (?), 14:28, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Это еще вот зачем? Видимокарта и ее охлаждение - деньгов стоют!

    Так что СНАЧАЛА послушаешь о наших новых продуктах, минут на пять, потом немного музыки, это бесплатно (для нас, а твоего счета и не жаль) и, если, сволота кожанная, тебе все еще мало и ты не бросил трубку - вот ТОГДА - сможешь поговорить с искусственным идиотом.

     
  • 2.19, Chel (?), 13:19, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А смысл до него достукиваться? Чем он тебе из своего Улан-Удэ поможет?
     
  • 2.26, Anonim (??), 14:09, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Только когда оно станет работать на тостерах и пылесосах. Пока ей нужно вот это вот: "Для тестирования требуется GPU c большим объёмом памяти", кожанные мешки будут тупо дешевле на порядки, да-да. Проходили, знаем
     
     
  • 3.28, Аноним (24), 14:13, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    не будут — мешкам надо зряплату платить. Несколько зряплат как раз на карту хватит. А дальше зряплаты можно не платить.
     
     
  • 4.29, Anonim (??), 14:23, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >мешкам надо зряплату платить.

    А тот кластер инстансев с GPU для прокручивания того добра (на меньшем не заработает) у тебя будет бесплатный, ога. Почему до сих пор дворников роботов нет? Потому-что таджики дешевле роботов

     
     
  • 5.30, Anonim (??), 14:26, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >А тот кластер инстансев с GPU для прокручивания того добра

    Там еще толпу админов и разрабов нужно в этот кластер. Эффективный манагер мышкой в своем макбучеке работающий кластер энтот не накличит.

     
     
  • 6.34, Аноним (100), 14:58, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем DGX GH200 что-то помимо макбука?
     
     
  • 7.36, Аноним (100), 15:02, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    всего каких-то 24 стойки, кстати, для справки
     
  • 5.39, Аноним (39), 15:31, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Почему до сих пор дворников роботов нет? Потому-что таджики дешевле роботов.

    Потому что робота украдут, а тот, кто украдёт таджика — сам об этом крупно пожалеет.

     
  • 2.46, Аноним (45), 16:46, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    И так давно уже навтыкали роботов! Я так им и пишу: "отвали робот, позови человека!". Оказалось, это просто такой тупой человек, а не робот. :))))) Было немного неудобно. гггг
     

  • 1.18, Аноним (50), 13:18, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > 314 миллиардов параметров

    Облом. С моими 64 гигами памяти больше 70В не запустить.

     
     
  • 2.20, сщта (?), 13:19, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вот так так топовое профессиональное железо превращается в кор два дуба. Рекомендую Антикс.)
     
     
  • 3.23, Аноним (50), 13:26, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > топовое профессиональное железо превращается в кор два дуба.

    Топовым мой Ryzen 7 2700 был лет пять назад. А сейчас это просто калькулятор.

    > Рекомендую Антикс.)

    Больше зашла Fedora spin LXQt

     
     
  • 4.62, Аноним (-), 17:46, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Топовым мой Ryzen 7 2700 был лет пять назад. А сейчас это просто калькулятор.

    Мощно протроллил тех кто тут всерьез сидит с калькуляторов типа кор два дуба. И которые говорят что этого им хватает для всех задач.  А таких тут не мало.

     
     
  • 5.99, Мне хватает (?), 07:45, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    У меня rk3566 с 4гб оперативы и мне хватает, работает как терминал клиент фактически.
     
  • 2.48, Аноним (45), 16:49, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    почему только 64Gb? Разве венда не поддерживает терабайты ОЗУ? Подумаешь, немного посвопится на SSD!

    (для справки: Windows 10 Enterprise 64-Bit - 6TB )

     
  • 2.58, Аноним (53), 17:37, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Была публикация, что китайские ученые при решении некоторой задачи за счет оптимизации 100 тыс. уравнений свели к 4. Указанные в публикации требования считаю неудачным решением задачи.
     
     
  • 3.61, Аноним (-), 17:43, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Посчитай затраты на человеко-часы такоц оптимизации и на эквивалент в банальном умощнении железа. Вывод очевиден.
     
     
  • 4.105, Аноним (2), 09:16, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Придется поработать, да. Но есть один нюанс. Оптимизированная задача будет исполняться в любом смартфоне. А если воспользоваться предлагаемым экстенсивным путем, потребуется суперкомпьютер, что мы и наблюдаем.
     
     
  • 5.122, X86 (ok), 08:07, 21/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    400 гб видеопамяти - это не суперкомпьютер. Просто корпорациям не нужно жмотиться и давно уже продавать плашки памяти по 128 ГБ, видеокарты с 8 чипами GDDR6 по 16ГБ, к примеру. А не вот это вот жмотство, когда несколько поколений видеокарт практически не прирастает памятью
     
  • 3.73, beck (??), 18:38, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Году эдак в 1989-м, я, будучи студентотою на базе нпо машиностроение прилежно конспектировал, как тамошние монстры рассказывали про решение баллистических задач, обтекания и обгара изделия, тактики преодоления пво ауг как раз таким вот сведением сотен и и даже тысяч параметров в десяток.

    Не одна диссертация была написана.

    Китайцы видимо нашли эти дисеры и прочитали. 😁

     
     
  • 4.80, 1 (??), 19:23, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    ну не надо думать что в китае дураки, так помнится сша думали, когда после распада ссср китайцы посадили шпионский самолет сша, залетевший не туда. ну по уму анб надо было все переделывать (свою проприетарную ос для оборудования на самолете), но решили что китайцы не смогут разобраться. ну и прошло лет 10-15 или чуть больше и амеры с удивлением обнаружили китайцев у себя во внутренней сети анб, где китайцы чувствовали себя как дома. ну пришлось все переделывать, хотя надо было сразу это делать, после утраты кучи работающего оборудования на этом самолете.
     

  • 1.21, Аноним (24), 13:20, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Цензура есть?
     
     
  • 2.51, Аноним (45), 16:50, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Опять собираешься написать %%у%ем слово "мел"? :))
     
  • 2.60, Аноним (-), 17:40, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Установив модель на свой комп ты можешь делать с ней что хочешь. Естественно, в публичном доступе без цензуры оно не появится никогда. Не потому что авторы этого не хотят, а потому что их держат за йайца государство.
     
     
  • 3.67, Аноним (66), 18:00, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >а потому что их держат за йайца государство.

    Опечатка в слове "инвесторы"

     
     
  • 4.69, Аноним (-), 18:08, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Любое государство это «стационарный бандит». Инвесторы, как и любой крупный капитал- часть этого коллективного «бандита».
     
  • 3.68, Аноним (50), 18:00, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Мне AI сочиняет хвалебные поэмы про Ленина.
    Обожаю их читать.
    Даже иллюстрации нарисовал.
    Особенно мне нравится поэма про терраформирование Марса под руководством мудрого вождя.
     
     
  • 4.75, 1 (??), 19:09, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    поэму в студию!!!

    я хочу видеть этого человека!!! (с)

     
     
  • 5.76, Аноним (50), 19:15, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > поэму в студию!!!

    Я такое боюсь публиковать.
    Там такая трешевая тема и содержание. Вдруг это оскорбит чьи-то чувства?

    Вы такой контент можете сами нагенерировать для себя в каких угодно количествах.

     
     
  • 6.79, 1 (??), 19:19, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    да ладно, ну не сша, не закенселят
     
     
  • 7.87, товарищ майор (?), 21:21, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Лет десять дам ему всего, за пропаганду чегонельзяназывать.
     

  • 1.22, Аноним (24), 13:22, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ссылку добавьте https://huggingface.co/xai-org/grok-1
     
  • 1.41, Аноним (41), 16:11, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Для загрузки доступен готовый к применению архив с моделью, размером 296 ГБ (magnet)

    о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно были, помню! 500-ки вот не помню, были ли...

     
     
  • 2.43, Проыыфыс (?), 16:26, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно были,

    Если с ИДЕ винта грузить данные, то скорость генерации токенов будет просто волшебная


     
     
  • 3.44, Аноним (50), 16:37, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Главный вопрос жизни, вселенной и вообще?

    Через 10 лет ответ на третьем пне сгенерировался: "42!"

     
     
  • 4.74, 1 (??), 19:04, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ну так вроде 7 миллионов лет считалось в оригинале, крутой третий пень то оказывается проц))
     
  • 3.85, Alexey V. Pautov (?), 20:57, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    На IDE были даже терабайтники, правда мало. Причем на IDE133. 750 ГБ юзал лично. Еще точно помню были на 640 ГБ, тут я обалдел - это еще что за емкость такая? Почему их и запомнил.
     
     
  • 4.92, Михаил Сергеевич (?), 00:36, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    То были универсальные банки. Продавались в одном корпусе, как с IDE, так и с SATA контроллерами. Последние из могикан, крайне редкие и дорогие.
     
  • 2.49, Аноним (-), 16:49, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > о, как раз для местных сидельцев на третьем пне! 300 ГБ винты с ИДЕ точно
    > были, помню! 500-ки вот не помню, были ли...

    Дык возьми btrfs или bcachefs, набей веников в бигтауэр, и будет тебе новая пошаговая стратегия!

     
  • 2.59, Аноним (-), 17:38, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > для местных сидельцев на третьем пне

    Ты тоже будешь через несколько лет сидеть на каком-нибудь мак про м3, который к тому моменту устареет так же, как 3 пни сегодня. Запомни, молодость- это не твоя личная заслуга. Третьи пни в пересчете стоили раз в 5 дороже сегодняшних топовых маков. Человеку свойственно привязываться к вещам с возрастом.

     
  • 2.86, doorsfan (?), 21:04, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Были самсунги 500ки IDE, через меня проходили эти диски.
     
     
  • 3.90, Михаил Сергеевич (?), 00:34, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Эти банки были последними устройствами, которые поддерживали как IDE, так и SATA контроллеры. На тот момент это было нечто лютое и дикое. В период, когда использовался IDE, заполнить даже 20 гигов требовало значительных усилий.
     

  • 1.42, K_AHTOH (ok), 16:20, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Чет пустая какая то репа https://github.com/xai-org/grok-1/tree/main
     
     
  • 2.78, 1 (??), 19:17, 18/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    ну магнет есть на веса
     

  • 1.47, Аноним (-), 16:48, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Для загрузки доступен готовый к применению архив с
    > моделью, размером 296 ГБ

    Нихрена себе, это Элон Маск забэкапал свой мозг чтоли? :)

     
     
  • 2.94, Михаил Сергеевич (?), 00:44, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > свой мозг

    Всего лишь водна клетка человеческого организма с размером ДНК ~ 6 миллиардов оснований (что примерно соответствует размеру генома человека) содержится примерно 1.4 гига информации.

     

  • 1.56, Аноним (-), 17:31, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > 314 миллиардов параметров

    Представить даже боюсь какое железо для этого нужно, чтобы оно хотя бы просто шевелилось. Это явно не для простых смертных. Тут даже мои 128 гигов и купленная в рассрочку на 3 года 4090 будут ниочем.

     
     
  • 2.112, Аноним (7), 15:56, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://www.opennet.dev/opennews/art.shtml?num=59840
     

  • 1.63, Аноним (63), 17:46, 18/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Мудрое название для модели. Хайнлайн аплодирует!
     
     
  • 2.120, Проыыфыс (?), 07:27, 21/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Когда сказать нечего, но хочется блеснуть умом...
    Даже крохотная Mistral 7B модель способна генерировать более развернутые и осмысленные комментарии
     

  • 1.93, Михаил Сергеевич (?), 00:39, 19/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Чтоб это затестить, придётся арендовать майнинг ферму 🤪 Явно не для консьюмерского железа (даже топового).
     
  • 1.103, Аноним (103), 09:08, 19/03/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Читал, к лету 2023 завершат работу над GPT-5, говорили что это будет чуть ли не научный прорыв. А потом резко всё затихло. Упёрлись в недостаток вычислительной мощности или кто-то пригрозил пальцем?
     
     
  • 2.106, Аноним (50), 09:21, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Подозреваю, что модель есть, но нужно новое поколение железа, чтобы ее можно было запустить массово в продакшн.
     
  • 2.110, Аноним (100), 11:53, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Gpt-4 пока не впечатляет. Сносно по сравнению с gpt-3 и тем более gpt-2, но это инструмент ограниченного применения и не все пользователи это понимают. До тех пор, пока будет генерировать булшит в таких объёмах, технология малопригодна для чего-либо кроме низкопробных и некачественных развлечений.
     
     
  • 3.111, Аноним (50), 13:14, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Под узкозаточенные задачи ИИ может быть офигительно эффективным уже сейчас.
    А попытка создать ИИ общего назначения пока не впечатляет. Гора родила мышь.
    В общем, это инструмент для решения узкого круга задач. До тех пор пока не произойдет качественного прорыва.
     
     
  • 4.113, Аноним (-), 18:46, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Согласен. Модели на основе llama с несоизмеримо меньшим кол-вом параметров, но натренированные исключительно на, скажем, python, в программировании на... python превосходят GPT-4, которая как раз «общего назначения» (:
     
  • 3.114, Аноним (-), 18:54, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > генерировать булшит

    Это проблема непонимания контекста заданного тобою ввода. Например, пишешь «дай код hello world». Но на каком языке, с использованием каких инструментов, библиотек, фреймворков, для какой ОС, для какой архитектуры, консольное приложение, с псевдографикой, а может графическое на qt или вообще для macOS, а окошко какого размера, а где его размещать, а где надпись делать, а нужно ли кнопку завершения программы наносить на формочку, а где эту кнопку внутри формочки размещать. И так далее. Для тебя это очевидно, для нейронки - нет.

     
     
  • 4.115, Аноним (100), 23:15, 19/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, ты говоришь сгенерируй мне sql, а тебе в ответ код с малоприметными ошибками непредсказуемым образом меняющими логику. Но так просто субоптимально выдаст. Или вообще солжёт так, что не опознаешь.
     
     
  • 5.117, Аноним (117), 11:34, 20/03/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Живые программисты в таком же стиле работают. Так что производительность труда вырастет.
     
     
  • 6.118, Аноним (100), 14:39, 20/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Проблема в том, что там ошибки такие, которые здоровый человек не допустит никак. И когда живому программисту приходится разбираться, в чём проблема, ему требуется тратить времени никак не меньше сэкономленного.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру