Опубликован релиз Proxmox Virtual Environment 6.4, специализированного Linux-дистрибутива на базе Debian GNU/Linux, нацеленного на развертывание и обслуживание виртуальных серверов с использованием LXC и KVM, и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix Hypervisor. Размер установочного iso-образа 928 Мб...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=55053
Судя по "безопастной vnc консоле", spice окончательно всьо?
Ну почему? Хорошо работает и обновляется, просто нужно клиент ставить- веб клиент спайса не поддерживает никто нормально, растащили себе все только.
Хороший конкурент XCP-NG
Цитриксовское поделие и рядом не валялось. Собственно, его и начали пилить, потому как все начали валить на проксмокс с вмвари и xcp.
Бредни впопеннета, рулоны на вес.
Alf-F4, дырявый
Использую в продакшене на одном из самых посещаемых ресурсов в СНГ. 4 года - полёт нормальный. Один раз ломали совместимость старых бэкапов. в целом бесплатных альтернатив эта вещь не имеет. Ребята огромные молодцы, моё уважение. Скорость разработки и появления новых фич тоже впечатляет. Главное что бы они вдруг не решили изменять лицензию
И что же это за ресурс?
порнолаб, вроде ж, на Украине был?
Один из самых посещаемых в СНГ.
Пруф или локалхост
В свое время выбрал Прокс в том числе и за наличие возможной платной подписки, поскольку всегда надеешься, что твое личное, мелкоофисное и бесплатное в какой-то момент вырастет и потребует гарантий и аптаймов. Пока подпиской не воспользовался, но она более чем адекватная. Хотя иногда читаешь их форум или вики и думаешь: с такими ресурсами и ответами "стафа", в общем, и никакие подписки не нужны. Ребятам респект! Пока стоит на пяти серверах. Придет время, обязательно куплю подписку, чтобы поддержать. Надеюсь, осталось ждать недолго )
>> Пока стоит на пяти серверах.Почему-то подумалось про 3-х китов и черепаху. (Да, меня сегодня как-то глючит.)
>>> Пока стоит на пяти серверах.
> Почему-то подумалось про 3-х китов и черепаху. (Да, меня сегодня как-то глючит.)"а черепаха - на скотче!"
Кстати, ни у кого на виндовых гостевых машинах сеть не слетала после обновлений proxmox?
у меня такое было
А что такое "сеть слетала" - внезапно, винда находит "новый сетевой адаптер"?
Ага, с 5 версии началось и вроде до сих пор не исправили. Но это вроде только на если интел указать в настройках виртуалки. При других вариантах норм.
Сами они рекомендуют устанавливать сетевуху виртио.
> Ага, с 5 версии началось и вроде до сих пор не исправили.
> Но это вроде только на если интел указать в настройках виртуалки.
> При других вариантах норм.
> Сами они рекомендуют устанавливать сетевуху виртио.Так там других вариантов - простите, рыгалтек дремучий да вмваревский адаптер.
Еще интол Е1000 должен быть.
> Еще интол Е1000 должен быть.Так про него человек выше и написал :).
Собственно это и исправили:
Добавлена возможность прикрепления виртуальной машины к определённой версии QEMU.VMs (KVM/QEMU):
Support pinning a VM to a specific QEMU machine version.
Automatically pin VMs with Windows as OS type to the current QEMU machine on VM creation. This improves stability and guarantees that the hardware layout stays the same, even with newer QEMU versions.
Это было обновление qemu, когда поменялись адреса PCI.
Так вот и сделали чтобы больше не повторилось или я не прав?
Было дело, обновился QEMU и сетевушки определились как новые.
Мягко говоря не приятно.
Это из-за обновления qemu.
одним движением добавить новый влан на все хосты - по прежнему миссион импоссибиль?
Зависит от качества мозгов админа
> Зависит от качества мозгов админану да, разработчики ведь - без мозгов по определению. Зачем вам автоматизировать рутинные операции, давайте лучше новую пищалкоперделку запилим.
Разрабы ProxMox здесь не причём. Всё лечится правильной конфигурацией bridge. А для этого у админа должны быть мозги.
> Разрабы ProxMox здесь не причём. Всё лечится правильной конфигурацией bridge. А для
> этого у админа должны быть мозги.Если "правильная конфигурация" это разрешено все и всем - это не мозги, а их отсутствие.
> Если "правильная конфигурация" это разрешено все и всем - это не мозги, а их отсутствие.Системное администрирование явно не ваше. Здесь всё так: как сконфигурируешь, так и будет работать. Сделаешь хорошо, будет хорошо работать. Сделаешь плохо -- работать будет так себе.
У меня все работает. А вы мне поете песни о единственноправильной настройке свитча.
Потом выяснится, разумеется, что никогда в жизни ничего сложнее локалхоста не настраивали.
Вы пока успешно доказываете отсутствие у вас мозгов. Мантру про "правильную конфигурацию bridge" вы уже пропели, можете не продолжать.
я не силён в Proxmox, но похоже что это задача больше для SCM (навроде ansible)
Если bridge сконфигурирован правильно, то во время создания VM указывается нужный VLAN. И не нужно добавлять вручную каждый новый VLAN.
Добавить вроде подразумевается - добавление на уже работающие VM
Это не важно. Главное правильно сконфигурировать bridge.
Имеется в виду vlan-aware bridge вот и вся магия. Правда по нему доков я нашел мало, вручную настраивается через утилиту ip а не vconfig который не совместим с proxmox
Угу, сперва ставим меганавороченную систему управления виртуализацией, а потом - костылим атcocиблей. Все у вас так.
У вас есть пример добавления VLAN'ов в других системах виртуализации для лучшего понимания как это работает?
> У вас есть пример добавления VLAN'ов в других системах виртуализации для лучшего понимания как
> это работает?Ну так, как-то:
New-VirtualPortGroup [-Name] <String> [-VirtualSwitch] <VirtualSwitch> [-VLanId <Int32>] [-Server <VIServer[]>] [-WhatIf] [-Confirm] [<CommonParameters>]
Можешь, конечно, мышиком кликать, если не лень. В смысле - там тоже два клика, но дольше будет открываться все это щастье, чем ты кликать свою верную мышь.
Нет, по каждому из полсотни хостов в кластере кликать не надо.
И чем это лучше настройки vlan через ansible? У proxmox везде дебиан поэтому получается моноструктура, как и у vmware.>Нет, по каждому из полсотни хостов в кластере кликать не надо.
А ну в принципе диагноз ясен, не осилил ssh ключи.
> И чем это лучше настройки vlan через ansible?Тем что мне не надо два дня потрахаться чтоб за пять минут потом долететь.
Покажите одну строку добавляющую произвольный влан на все хосты разом. Ну или хотя бы три (тут за скобками оставлено добавление на физические адаптеры хостов).
Ах, да, не забудьте уместить туда же собственно установку отcocибли и собственноручное написание плейбука. Каким-то образом она не входит в дефолтную поставку pve и не конфигурится автомагически при добавлении нового хоста.Показаная мной команда на самом деле единственная, не требует никаких предварительных приседаний и танцев с граблями. И не позволяет ошибиться и испортить конфиг сразу и всем (максимум не тот влан добавит). Тем и отличаются продуманные решения от поделок зато6есплатно. Я, честно говоря, наделся что за шесть лет уже осилили.
Ну, конечно же, для фанатика шва6одки нет никакой разницы.
Собственно, а зачем вы проксмокс-то ставили, если не для этого? Поставили сто деби77ианов, ансиблем все настроили, вручную понаписав сто скриптов. А чо, можно же ж.
> А ну в принципе диагноз ясен, не осилил ssh ключи.Кстати, очень удобная фича атcocибли, да - ключи от всего все в одном месте, разумеется, с рутовыми правами, как же ж иначе. Радость для троянцев и вредителей всех сортов.
Внезапно, попасть на вмварьский хост вам тем скриптом не удастся в принципе. Нет, та учетка которая его запускает, туда ssh'ем не зайдет. Этот ssh для начала вообще там не запущен. Да, это можно сделать. И другой шибко специальной учеткой даже зайти потом, не забыв еще и файрвол поправить (да, тоже из коробки и тоже не требует ползать по хостам вручную настраивать). Правда, обычно низачем не нужно. Средства автоматизации для того и предназначены, чтоб мартышачьей работой не заниматься.
> Внезапно, попасть на вмварьский хост вам тем скриптом не удастся в принципе.
> Нет, та учетка которая его запускает, туда ssh'ем не зайдет. Этот
> ssh для начала вообще там не запущен. Да, это можно сделать.
> И другой шибко специальной учеткой даже зайти потом, не забыв еще
> и файрвол поправить (да, тоже из коробки и тоже не требует
> ползать по хостам вручную настраивать). Правда, обычно низачем не нужно. Средства
> автоматизации для того и предназначены, чтоб мартышачьей работой не заниматься.Смешной пользователь черного ящика что-то визжит про троянцев. Security through obscurity это называется. Достаточно наслушался ваших свинячих энтерпрайзных визгов. Так пишешь, словно для тебя это магия и протокола управления там совсем нет, в отличии от страшного ssh. Хотя о чем я, для вас убогих это именно магия.
SDN они пилят, будет скорее всего не раньше 7-й версии.
Может там для тебя будет что-то полезное: https://pve.proxmox.com/wiki/Software_Defined_Network
А пока жди и губой тряси.
это вы трясите. Мне-то зачем, я в очередной раз убедился что поделка на уровне палки-копалки, мне она больше неинтересна.Это как бы базовая фича для системы,претендующей на управлялку больше чем одним локалхостом.
И нет, sdn это совершенно не про вланы на виртуальном свитче.
таким ProxMox был лет десять назад. Сейчас норм. Хотя шаг влево или вправо от линии партии (разрабов) - сюрпизы обеспечены.
Осиль уже openvswitch
+1
Уж лучше oVirt / RHEV чем это.SDN из экспериментального не вышел. Там CEPH вместо программно определяемый стораджа. И они на полном серьезе предлагают в доках делать поверх него HCI-развертывание, когда в малом кластере объединены storage и compute.
Или использовать ZFS on Linux для этого. Оно вообще как нормально уже работает? Лол.Поддержка RDMA номинальная. При отсутствии SDN-контроллера ему требуется разделение RDMA сети хранения от сети данных. В общем, у них там 2010-й год не кончается.
Дальше, проблема проксмокса еще и в том что там KVM вместо гипервизора. А это вносит уйму технических ограничений. Его редко поддерживают другие инфраструктурные решения, особенно видно по бекапам, которые проксмокс пилит сам для себя. Это вообще одна из фишек KVM. Он вроде бы весь такой открытый, а по факту нужно обмазаться вендорами, чтобы его готовить, потому что стандартизации нет.
На нем очень дорого делать автоматизации доставки виртуальных рабочих столов. Сессионные терминальные службы на KVM работают особенно плохо, ну разве что амазоновский NICE DCV. Но он удобненько отстает от технического програсса на -цать лет. А если вспомнить про терминалы NX, то дешевле купить подписку на полное укомплектованное решение от Citrix, чем брать NX.
Гостевые драйверы просто ужасные!!! Видео там ускоряется только linux-linux. А если мы хотим нарезать vGPU и раздать его на виртуалки, то на KVM это может делать только oVirt. Банально даже те драйвера, которые есть у проксмокса для вендового гостя, это блин "неподписанные" клоносборки из oVirt. И никакая подписка на проксмокс вас не спасёт. Идите к Red Hat за правильными WHQL-дровишками для венды.
Опять же KVM и разделение ресурсов. KVM и OOM на хосте. KVM и аппаратное резервирование. Поддержка SR-IOV и проброс RDMA сетевок в виртуалки... где это всё?
Proxmox обычно появляется на предприятии тогда когда есть особо поехавший админ, который хочет работать с утра до вечера руками и получать ЗП за выполнение тонны рутинных операций, которые сам Proxmox выполнить не может. Да, спору нет, Proxmox лучше чем криво развернутая пиратская вмшмара, но как автоматизация он требует еще над собой еще и ансибла.
При росте инфраструктуры за 16 физических серверов в одном датацентре или при появлении второго датацентра proxmox просто мешает жить должен быть заменен на что угодно. oVirt единственное бесплатное что тащит большие размеры, но это опять KVM.
> Уж лучше oVirt / RHEV чем это.Басни неасилятора. Толк с передёргиванием...
> Там CEPH вместо программно определяемый стораджа.
CEPH и есть SDS, не бзди.
>И они на полном серьезе предлагают в доках делать поверх него HCI-развертывание, когда в малом кластере объединены storage и compute.
Не все имеют в запазухе бюджеты на кровавый инрыпрайз (далее КИ). И эпитет "малом" тоже вычеркнем - просто в кластере. А так открой для себя термин "гиперконвернентность" и начни уже понимать HCI как оно есть, а не как оно тебе хочется.
>Или использовать ZFS on Linux для этого. Оно вообще как нормально уже работает? Лол.
Нормально оно работает и 5 лет назад тоже нормально работало.
>Дальше, проблема проксмокса еще и в том что там KVM вместо гипервизора.Это не проблема, проблема это только у повёрнутых на КИ, а KVM - гипервизор здорового человека.
Опус про "ужасные драйверы" под ваши винды в виртуалках - это не KVM, претензия, а к долбоящемрам, по прежнему не замечающих что linux давно mainstream. И потому долбоящеры вымрут.
> Опять же KVM и разделение ресурсов.
Всё работает. Что не так?
> KVM и OOM на хосте.
Всё работает. Что не так?
>KVM и аппаратное резервирование.
Что сказать-то хотел? Что за "аппаратное резервирование" - нет такой хрени в природе. Есть ОС и драйверы, которые умеют в hot-[un]plug.
>Поддержка SR-IOV и проброс RDMA сетевок в виртуалки... где это всё?
Там же где и раньше - в BIOS и в драйверах.
И и опус про "поехавший админ" себе поглубже запихай в /dev/null. И ansbile это инструмент автоматизации, который применяется везде где функционала не хватает или он не допилен. С твоей вмварой или овиртом ansible так-же востребован как и с proxmox. Так что, в своём уравнении можешь сократить ansbile или вынести за скобки.>При росте инфраструктуры за 16 физических серверов в одном датацентре или при появлении второго датацентра proxmox просто мешает жить должен быть заменен на что угодно.
Мешает он жить только, помешанному на КИ инрырпрайз одмину и поехавшему от сейлзов. Для здорового человека - proxmox отлично закрывает целый ворох задач контейнеризации/виртуализации и с минимальными затратами.
> Уж лучше oVirt / RHEV чем это.сорта одного и того же ж...
> Там CEPH вместо программно определяемый стораджа.
а что, еще что-то есть? (Нет, МНЕ можете не объяснять про кривонахлобученную недофс поверх блокстора поверх трэш-базенки в raw partition - типичная индусоподелка под присмотром копчоных манагеров. Вы мне про альтернативы расскажите. Если они, конечно, существуют.)
> Или использовать ZFS on Linux для этого.
ну тут хоть технология приличная, хоть и испоганена лап4..й реализацией.
Правда, поверх какие-то доморощенные ужасы для синхронизации, на которые тоже глаза б мои не глядели. Ну а опять же - а у кого лучше?
> Поддержка RDMA номинальная.
если б еще и работала
> При отсутствии SDN-контроллера ему требуется разделение RDMA сети хранения от сети данных.
что тут не так?
Я ее всегда разделял, требуется или благое пожелание - мне нахрен не нужны сетевые проблемы вперемешку с проблемами хранилки.> Дальше, проблема проксмокса еще и в том что там KVM вместо гипервизора.
а что, у вас еще что-то есть?
> На нем очень дорого делать автоматизации доставки виртуальных рабочих столов.
как бы не то чтобы не единственное, а очень вообще очень странное предназначение для проксмоксы. Зачем вы пытаетесь скрещивать ежа с ужом?
То же и с vgpu - "но нахрена?"
> Proxmox обычно появляется на предприятии тогда когда есть особо поехавший админ, который хочет
обычно такого нанимает особо поехавшее начальство - чтоб денег никому не платить. Ему в том числе.
Но он очень горд что "осилил впопенвсвитч" (как это решает проблему добавить новый влан на весь кластер - его спрашивать бесполезно, поскольку "осилил" - apt install сделал на своем целом одном локалхосте, чтоб денег никому не платить, одновременно виртуализация всей подвальной лавки)> работать с утра до вечера руками и получать ЗП за выполнение тонны рутинных операций,
ну можно еще с утра до вечера скрипты для атсосибли писать, а чо, тоже позволяет почувствовать себя умным и незаменимым. Правда, потом, когда "при помощи ноги" место освобождают, выясняется что таких самоучек без мотора - на каждой мак-кассе.
> Да, спору нет, Proxmox лучше чем криво развернутая пиратская вмшмара
фиг знает - как что там можно развернуть криво, так и чем особо лучше ( я за все время ничего особо полезного от факта подписки не получил - правда, не очень и старался. Комьюнити-сайт не в счет, он-то подписок не требует, не редхат же ж какой с пйэволом на документацию и комменты к ней.)
Навоз потом выгребать по-моему проще с пиратской вмвари - там хотя бы особых атсосибельных магий не будет. Ниасилит такой. А тот кто осилит, знает, почему не нужно.
Я, кстати, буквально на днях вентилировал цены - 600 тыщ небольшой кластер стоит. сфера, четыре гипервизора в комплекте, но без сети и sds (и без горизонта, конечно). Т.е. меньше чем пол-года платить зарплату самоучке без мотора удастся на эти же деньги.
> и способного выступить в роли замены таких продуктов, как VMware vSphere, Microsoft Hyper-V и Citrix Hypervisor.Полнейшее г.. Не заменит вообще никак. Глючит, виснет , тормозит.
Ок, так и запишем. вмваря глючит, гиперв виснет, а цитрикс тормозит. Спасибо что предупредили.
Живой миграции LXC-контейнеров как не было так и нет?
Живая миграция?! Шутишь? Ты вообще знаешь как это работает?Для организации бесшовной миграции тебе нужно
а) Кластер (в традиционном смысле этого слова)
Несколько физических серверов (от 3-х) должно быть объединено в единый кластер с менеджментом ресурсов оборудования, сценариями для промоутинга (переноса роли с мастера на слейв), и 1-4 отказоустойчивыми сетями которые могут объединиться в одну программно определяюмую сеть, а могут быть и разделены на:
- сеть данных для виртуалок
- сеть данных для управления хостом
- хартбит/кластерная сеть (желательно лосслес, кластерный приоритет в PFC)
- сеть стораджа (лосслесс с соответствующим приоритетом в PFC )
б) "Кластерное хранилище"
Сторадж на этом кластере должен быть единым для всех узлов и работать в мастер-слейв режиме.
Это может быть любой файловый сторадж с thin-provisioning. Это может быть кластеризованный раздел LVM, это может быть физика на FC (если вы продолжаете жить в предыдущем десятилетии). Причем если сторадж гиперконвергентный, вам нужен трипл-миррор по дискам в кластере и сам сторадж тоже будет кластерной ролью. Точнее его файловая точка входа.Если вы производите живую миграцию, это означает, что виртуальная машина/контейнер меняет узел своего обитания. И вот у вас есть:
1. ОЗУ
2. Своп ВМ
3. Диск
Живая миграция предполагает дамп ОЗУ в виртуальную память и перенос метеданных сервиса с подъемом на другом узле. Соответствено п.2 и п.3 это файлы на сторадже. И вот он-то и должен быть настроен правильно.Не понятно зачем я это все рассказываю в теме про проксмокс... к нему всё описанное не имеет никакого отношения.
К чему этот опус? Для VM в ProxMox прекрасно работает живая миграция при наличии общего хранилища.
А для CT не работает, вроде как ждут допиливания CRIU, но это было давно, как сейчас дела обстоят - не в курсе.
Живая миграция и без общего хранилища работает, нужен лишь ZFS.
Вы абсолютно не в курсе вообще о чем пишите. В старом Proxmox, в котором были OpenVZ контейнеры - живая миграция OpenVZ контейнеров отлично работала.
После перехода Proxmox на LXC контейнеры живая миграция перестала работать.
Недавно была новость что в LXC контейнерах наконец то сделали живую миграция, жду не дождусь когда это добавят в Proxmox.Сейчас когда в proxmox LXC контейнер мигрируешь, то он останавливается и перезапускается на другой ноде.
Если у вас хранилище не общее, а например ZFS, то сначала инкрементная синхронизация на другую ноду, а потом останов LXC контенера и перезапуск на другой ноде. (Причем в случае ZFS был случай, когда что то пошло не так и я лишился LXC контейнера. Пропал сам конфигурационный файл с описанием LXC контейнера. Пришлось конфигурационный файл вручную вытаскивать с бэкапа. Но это отношение не имеет к этому.)
Пока нет, увы.