Вопрос он нового новичка. Даже не знаю как ворос то задать 
План такой Home asisstant, Frigate ему отдельный диск, Backup HA не хочу хранить только в гугле, фото архив, для архивирования два диска 2х4ТБю Праграмная часть сервера на NVME.
Начинать от Proxmox и смотьреть куда?
-
Можно начать с этого О сборке: зачем она ? на чем основана? что дает? и видеоинструкция тут
На выходе получите Proxmox в качестве гипервизора и в нем runtpi для приложений -
Далее, установить в Proxmox виртуалку HomeAssistant по видео от AlexKvazis
-
Диски прокинуть в сервисы по видео от админа
-
В качестве более сложного и альтернативного пути можно почитать вот эту тему: Выбор сервера. Truenas или
1 лайк
Оказалось не так всё прото. Proxmox диски видет, а Truenas нет. Где про начальные настройки proxmox мультик есть или хелп штудировать.
Вопрос второй. При установке труенас обезательно привязка SATA контролера, а то мне сервер подвис
Я не использовал по полной, но установил себе ProxMenux, в котором есть tui функционал пробрасывания дисков в VM
я делал так
- Выполняем следующую команду
lsblk -o NAME,SIZE,TYPE,MODEL,SERIAL,MOUNTPOINTS | grep -v -E 'part|lvm' | awk 'NR==1{print $0" DEVICE-ID(S)"}NR>1{dev=$1;printf $0" ";system("find /dev/disk/by-id -lname \"*"dev"\" -printf \" %p\"");print "";}'
получаем примерно такой вывод
sdf 2,7T disk WDC WD3000F9YZ-09N20L0 WD-WCC131858953 /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131858953 /dev/disk/by-id/wwn-0x50014ee25f4ea8ff
sdg 2,7T disk WDC WD3000F9YZ-09N20L0 WD-WCC131868819 /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131868819 /dev/disk/by-id/usb-WDC_WD30_00F9YZ-09N20_000000123AE8-0:0 /dev/disk/by-id/wwn-0x50014ee2b4a43246
sdh 2,7T disk WDC WD3000F9YZ-09N20L0 WD-WCC130981492 /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC130981492 /dev/disk/by-id/wwn-0x50014ee208eeeb1a
- Останавливаем виртуалку
qm shutdown 102
Добавляем диски вот так в /etc/pve/qemu-server/102.conf
scsi2: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC130981492,backup=0,replicate=0,serial=WD-WCC130981492
scsi3: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131858953,backup=0,replicate=0,serial=WD-WCC131858953
scsi4: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131868819,backup=0,replicate=0,serial=WD-WCC131868819
serial надо передавать обязательно, truenas использует его для идентификации диска, если не передать серийник, или передать неправильный, то будет либо ругаться, что несколько дисков с одним серийником или даже потрет данные
- после включения виртуалки PVE должен обновить записи, добавив размер
scsi2: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC130981492,backup=0,replicate=0,serial=WD-WCC130981492,size=2930266584K
scsi3: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131858953,backup=0,replicate=0,serial=WD-WCC131858953,size=2930266584K
scsi4: /dev/disk/by-id/ata-WDC_WD3000F9YZ-09N20L0_WD-WCC131868819,backup=0,replicate=0,serial=WD-WCC131868819,size=2930266584K
-
Заходим в TrueNas в Storage и видим, что есть новые диски
-
Опционально нажимаем Disks и очищаем диск
-
Собираем пул
Ок. Спасибо посмотрю. А то в всех видеоуроках показывает как установить proxmox, потом следующая установка какого нибудь софта но там уже есть подсоединины диски, фоматированы разделы итд
Почти всё получилось, но немогу зайти в трунас из вне может чего не знаю. Пробовал и Netbird и Cloudflare открывается окно лога где усер и пасворд, нексткоуд , прохмох открыыаю. Узер оставлен дефолтный. Пасворд менял пока не как не пускает.
Опа… Это мне надо… Правильно я понимаю, что это полноценный проброс дисков в ВМ и виртуалка получает полноценный доступ к дискам?
Можно считать это аналогом схемы “подключить диски к RAID констроллеру в режиме хаба и пробросить контроллер через PCI Passthrough”?
Вот тут можно почитать еще обсуждение, я там в конце еще приложил тесты сравнительные.
Полноценным пробросом диска считать не получится т.к.
- Не работает S.M.A.R.T. внутри виртуалки, но я все равно при помощи scrutiny собираю и обрабатываю данные
- При отключении физического диска виртуалка перестанет загружаться и надо будет удалять его из конфига
- Производительность немного ниже (у меня на жестких дисках, как оказалось, разница не заметна)
В целом, с точки зрения использования диска, да это аналог PCI Passthrough, но чуть менее удобный т.к. приходится подключать подисково, условно, если посыпался raid контроллер, то с HBA контроллером воткнули новый диск, перенесли данные на него, вытянули старый диск и все, то тут надо их хоста пробросить новый диск, потом в виртуалке работаем с ним аналогичным образом, потом удаляем диск из виртуалки.
Меня просто также беспокоит история с падением основной ОС гипервизора.
Если у меня пробрасывается PCI контроллер, то я уверен, что при отвале SSD с гипервизором я за короткое время накатываю новый гипервизор, восстанавливаю бэкап ВМ с NAS и цепляю также PCI контроллер в новую/восстановленную ВМ. ВМ даже не поймёт, что что-то было не так.
А в случае проброса дисков, который описываете вы? Условно, если я переустановлю гипервизор и попробую снова пробросить диски в том же порядке к вм… Всё норм будет с данными? Ничего не завязано на ОС гипервизора?
Прошу прощения, если вопросы примитивные, но действительно вопрос волнует, всё же вопрос отказоустойчивости…
Бэкапы спасают, плюс кластерного/ой PVE как раз таки в том, что конфигурация VM/CT сторраджей хранится на всех нодах и в случае падения хостовой ОС достаточно ввести в кластер новый узел. У меня эта конфигурация еще и бэкапируется в PBS
Диски идентифицируются не по порядку, а по серийнику, поэтому я и указывал serial=WD-WCC130981492
В моем случае диски были сначала в одном USB боксе, потом переехали в другой и частично в третий.
Потом я частично перенес их на контроллер и truenas даже не ругнулся.
Просто удалил строчку из конфига VM и вставил диск в проброшенный контроллер.
При пробросе диска есть крутой лайфхак: можно пробрасывать не весь диск, а отдельно разделы.
Например, truenas работает с отдельными дисками и это правильно, но у меня есть один SSD диск, который я хочу использовать в качестве кеша для 2х пулов
Я беру диск на хосте и создаю на нем 2 раздела, а далее прокидываю их в виртуалку
scsi5: /dev/disk/by-id/ata-NT-512_2242_0029030000066-part1,backup=0,serial=CACHE_DATA,size=256G,ssd=1
scsi6: /dev/disk/by-id/ata-NT-512_2242_0029030000066-part2,backup=0,serial=CACHE_BACKUPS,size=256G,ssd=1
И в TrueNAS вижу 2 независимых диска, которые добавляю в 2 разных пула