А вот и видео подоспело, которое я очень сильно ждал, это прям круть крутая (надеюсь, пока еще не пробовал переезд)
Вот тут я пописывал различные протоколы подключения сетевых шар с TrueNAS
В TrueNAS 25.10 появилась поддержка NVMEoF это новый промышленный протокол передачи блочных устройств на скоростях, близких с NVME (что следует из названия)
Ранее, мы изпользовали iSCSI, это тоже неплохой протокол, но он разрабатывался для скоростных HDD дисков, но все-же жестких дисков и имеет достаточно большие накладные расходы по сравнению с NVMEoF (но не такие большие как у SMB и NFS)
NVMEoF разрабатывался уже с учетом современных носителей информации с десятками тысяч вместо сотен IOPS, позволяет подключать полки с дисками при помощи оптических кабелей и прочей высокопроизводительной физики, но в TrueNAS Community есть поддержка только обычных Ethernet сетей, что нам и надо.
На видео показано, как
- Создать NVME-oF шару в TrueNAS
- При помощи скрипта (скрипт добавил ниже) получить блочное устройство на PVE хосте
- Добавить ZFS хранилище поверх этого блочного устройства
- Создать LXC контейнер с rootfs на этом ZFS хранилище
bash -c "$(curl -fsSL https://raw.githubusercontent.com/serversathome/ServersatHome/main/nvme-of.sh)"
Пока что есть один вопрос с которым я не разобрался: Можно ли использовать это хранилище как общее (shared=1) т.е. подключить к нескольким нодам, а потом мигрировать виртуалки без перезагрузки и переноса диска?
Ранее мои попытки разобраться в данном вопросе не увенчались успехом (скорее нет, чем да), а с новым скриптом есть возможность быстро попробовать и проверить на деле как это работает.
Дисклеймер
Инструкция предоставляется как есть, я не являюсь ни автором скрипта ни разработчиком этой инструкции, тем более, что поддержка NVMEoF в TrueNAS пока что является экспериментальной.
Поэтому
- Делайте все на свой страх и риск, разберитесь в технологии и скриптах, чтобы понимать весь процесс и способы исправления
- Делайте резервные копии
- Не используйте это в продакшине с высокими требованиями по надежности