Подскажите, пожалуйста, насколько надёжно пробрасывать в VM Truenas диск, а не HBA контролер?
До этого никаким NAS не пользовался. Да и сейчас есть сомнения в его необходимости. Но развиваться нужно - хочу попробовать. На данный момент жду новый мини ПК. Проверить пока не могу, но на 99% уверен, что в нем 1 HBA-контроллер. Насколько я понимаю - пробрасывать нужно именно контролер, так как при пробросе диска создаётся слой абстракции, из-за которого хранение данных ненадёжно (если нет - поправьте). Всего в мини ПК 2 диска. Один будет под хост PVE, второй под хранение данных. Зеркало сделать не получится, та и я не планировал. Регулярно делаю бекапы на отдельный диск и в облако
Почти все сервисы (кроме Opnsense) будут крутится в LXC + Docker (спасибо Роману за очень подробные посты по этому вопросу)
Насколько такая конструкция жизнеспособна? Стоит ли пробовать или проброс диска без контролёра затея плохая?
Я думаю, что этой троице стоит доверять больше, чем мне
Еще можно посмотреть это видео и послушать, что они говорят т.к. там не пробрасывают диски, что-то бегло рассказывают (может как будет время посмотрю внимательно)
Ну и у кого-то из последних 2х (если не ошибаюсь), было видео со сравнением скоростей через HBA и диск, но это искать надо
У меня проблем не было с пробросом дисков (ну только если бокс , то и пробрасывается как ), но можно из коробки в коробку перетыкивать диски, менять контроллер и он нормально запускается без необходимости внесения правок в конфиги
Из явных косяков
Невозможность smart мониторинга в truenas, я обошел это при помощи scrutiny
В truenas есть управление шпинделем, естественно не пробрасывается
Без физического диска truenas не загрузится, смена диска (при замене) потребует правки конфигов виртуалкки. Т.е. это явно сложнее и менее надежно в плане запуска виртуалки (я про то, что truenas может запустить пул без диска, а PVE не запустит вообще truenas без 1 из 10 дисков, даже если у вас останется 3 пула полностью “здоровых”
В IOPS/скорости пока не могу сделать сравнение т.к. нет возможности проверить оба варианта на одном железе
То есть если диск “выходит с чата” - я не смогу стартануть VM? Поможет ли в этом случае подключение какого-то Virtio диска и удаление проьрошенного из VM?
Разве слой абстракции не означает, что нет необходимости в IOMMU? Все работает через драйвер PVE? Мне казалось что драйвер PVE и есть слой абстракции
Можно просто удалить диск из конфига, при старте VM truenas покажет, что пул деградировал (при наличии еще дисков), я так залил данные на диск, потом отсоединил диск и удалил его из конфига vm
Однозначно добавляет, вопрос в том сколько именно.
У меня есть JMB585 m.2 адаптер на другом минике, хочу найти время перенести на него truenas, воткнуть туда 5 дисков своих и прогнать тесты с пробросом отдельных дисков и pci-e платы
Тут видно, что тендения доволно стабильная, слева ступенька это был сломан сбор статистики и значение не менялось.
Момент, когда график начал быстрее расти произошел в момент переключения диска с USM MassStorrage VIA чипа на USB UAS ASM1166, что
Левая отбивка, не помню, что это было, или сломался проброс порта или проверка ZFS пула проходила, там что-то в районе 2х дней было т.е. параллельно и верификация данных проходила и раздача нагрузочной программой.
Синяя отбивка это переключение с USB ASM1166 на USB RTL9210b
Правая зеленая отбивка это переключение с USB RTL9210b на m.2ASM1166
Слева от зеленой линии диск был подключен по USB и проброшен в TrueNAS как самостоятельный диск, а справа PCI-E контроллер проброшен полностью в виртуалку и с диском работает TrueNAS самостоятельно.
Какой вывод можно сделать?
Переход с USB MassSrorrage на UAS реально имбовый, переход с USB диска, проброшенного в виртуалку на проброс PCI контроллера дает минимальный прирост производительности (я в ТГ скидывал числа, у меня пока получилось 2 тестовых замера 460ГБ в сутки до и ровно 460ГБ в сутки после, пару дней еще погоняю, попытаюсь таки построить график изменения)
Ну и обратное умозаключение: PVE реально крут, добавление виртуализации диска не приводит к каким-то катастрофическим или даже реально ощутимым просадкам, думаю, что по итогу выйдет 1-3%, что является стандартом для паравиртуализации.
, то и пробрасывается как 
