На вкус и цвет все фломастеры разные, как говорится, но вот мое мелкое ИМХО
- Принципиально разницы между 8 и 9 PVE нет, но если добавлять диски и диски же “приземлять” в самом PVE, то да есть смысл взять 9ку, но это будет ОЧЕНЬ ОПАСНЫЙ переезд, в идеале перенести данные на внешнее хранилище и пересоздать рейд с нуля, а не по одному диску
- В идеале поднять на виртуалке стенд и выполнить на нем все операции т.к. есть шанс на проде что-то сделать не так и потерять все данные
- В целом, можно диски закинуть в пул Proxmox, но мне нравится идея с поднятием в proxmox виртуалки с truenas, причем, можно в 1 порт m2 воткнуть m2 → sata переходник (например, типа такого) и пробросить его как PCI устройство в truenas и в нем уже собрать пул, а в truenas рашить по NFS и iSCSI. Просто в truenas много функционала по работе с ZFS и шарами вынесено в веб интерфейс, в PVE я не уверен, что можно добавить special vdev без консоли.
- Ну и еще раз подумать над вариантом сбора рейда в truenas или proxmox, судя по описанной схеме Вам проще будет 2 вариант, но с шарингом хранилища между виртуалками могут быть проблемы и надо будет ковырять ручками, например, если поднять jellyfin для библиотеки и отдельно контейнер в qbittorrent и чтобы они работали с одним датасетом
- По поводу вариантов проброса видеокарты я писал тут, но сейчас с этим вообще нет проблем, если использовать LXC, то новый синтаксис позволяет вообще черз веб морду пробросить устройство
- ПО поводу m.2 кеша я сейчас сам в процессе изучения вопроса и подбора железа, но он может дать хорошие результаты, но надо добавлять special vdev в ZFS, а оно имеет несколько особенностей
5.1. Добавить можно, удалить потом уже нельзя
5.2. Потеря special vdev приводит к потере всех данных, надо ставить как минимум 2 ssd в зеркало, например, можно либо в 2 м2 вставить по nvme или в один оставшийся m.2 вставить sata переходник и в него уже SATA диски в зеркало
5.3. Размер надо сразу расчитывать, мне gpt написал скрипт для подсчета размера этого диска - OS можно поставить куда угодно, можно и на рейд, но с развалившимся рейдом не получится стартануть proxmox, но тут хватит и SATA SSD на 64ГБ за 1000р т.к. нагрузка на него минимальная, ну или 2 по 64 в зеркале для железобетонной надежности, а потом уже после установки PVE подключить диски и собрать отдельный пул под виртуалки и данные
- С учетом jellyfin и immich, я бы ставил драйвера видеокарты на хост, jelyfin и immich ставил в контейнеры и пробрасывал видеокарту в них
