Продолжая тему TrueNAS или Proxmox чтобы много раз не отвечать напишу сюда
Если подключаем диски в Proxmox и далее примонтированные папки подключаем к контейнерам и виртуалкам
Плюсы
- Максимальная производительность
- С использованием ZFS можем легко хранить как диски для виртуалок, так и файлы
- Минимальные накладные расходы
- Мониторинг и управление прямо из Proxmox
Минусы
- Версия ZFS может быть ниже, чему специализированных решений, функций тоже меньше
- Управление через веб интерфейс только базовое
- Шарингом файлов по сети надо заниматься самостоятельно, с другой стороны, у нас есть runtpi
- О крутых фишках можно только мечтать
Поднимаем виртуалку с TrueNAS и пробрасываем диски в нее
Плюсы
- Все самые крутые фишки есть и доступны через веб интерфейс
- Удобно, если используете больше 1 сервера
- Можно бэкапировать и разворачивать truenas целиком
- Скорее всего, консоль вам вообще не понадобится, все можно сделать в веб админке, с крутой работой в Proxmox без консоли не обойтись
Минусы
- Больше оверхед, особенно по оперативной памяти, т.к. truenas и ZFS любит оперативку кушать
- Ниже производительность за счет виртуализации и отсутствия прямого доступа к данным на диске. В Proxmox надо будет диски подключать по сети, путь и виртуальной
- Надо пробрасывать диски, что не очень удобно по одному делать, в идеале отдельный PCI-E контроллер, который пробрасывается в виртуалку, а в него уже ставляются диски
- В TrueNAS есть куча дополнительного и дублирующего функционала, который позволяет в принципе отказаться от Proxmox и реализовать его функции прямо в truenas
Ну и что лично мне очень понравилось в TrueNAS
Дашборд, который позволяет оценить в режиме реального времени состояние NAS
Крутой визард создания пула, сложный, но если разобраться в теме, то все становится очень удобно
Удобный просмотр и управление датасетами zvolами
Возможность просмотра работы с дисками в режиме реального времени
Сразу работаем с шарами с несколькими протоколами шаринга
Целый раздел Data Protection
Который позволяет настроить
- Бэкапирование данных в сервис-коллаборацию Storj и TrueNAS
- Проверку целостности датасетов по расписанию
- Резервное копирование в облака и из облаков
- Создание снепшотов данных
- Rsync таски копирования данных на удаленные сервера и с удаленных серверов
- Репликацию ZFS снепшотов
- S.M.A.R.T. Тесты дисков
Недавно вышел новый сервис TrueNAS Connect, который позволяет просматривать информацию и получать уведомления ото всех ваших TrueNAS серверов
Какие у нас есть варианты проброса содержимого диска из TrueNAS в Proxmox
Блочный сетевой протокол это когда клиент получает “сырой” диск и создает файловую систему на своей стороне, например, это блочное устройство можно пробросить в виртуалку в качестве диска и ОС внутри сама отформатирует его под себя, по сети будут ходить только блоки физических данных
Тут мы получаем максимальную производительность, но ниже гибкость и потенциальные проблемы с множественным доступом
Файловый протокол это когда на стороне сервера создается файловая система, а клиенту предоставляется доступ к файлу на ней, при этом с точки зрения протокола файловая система значения не имеет, по сети будут ходить блоки данных файлов и полные пути к этим файлам.
Тут мы получаем максимальную гибкость, возможность множественного доступа к одним файлам, даже мультипротокольный доступ, но ценой снижения производительности
| Протокол | Тип шары | Для чего | Комментарий | Сложность настройки |
|---|---|---|---|---|
| NFS | Файловая | - ISO образы и диски для импорта - шаблоны LXC - Пользовательские файлы типа фоток и видео - Бэкапы |
Классический метод для Linux систем, минус в том, что с большой долей вероятности мы получим проблемы с правами, поэтому, надо расчитывать на то, что правовой модели у нас не будет - мы шарим каталог и говорим, что все потребители будут работать под одним пользователем, лично я намучался с ID пользователей и так и не смог решить эту проблему Часто аутентификации нет (но можно включить) и защита происходит по IP клиента Можно хостить и диски виртуалок, но произодительность будет ужасная |
Низкая |
| SMB | Файловая | - ISO образы и диски для импорта - шаблоны LXC - Пользовательские файлы типа фоток и видео - Бэкапы |
Классический метод для Windows систем, при монтировании на клиенте можно указать логин и пароль пользователя, под которым будет монтироваться ФС Я не особо любитель, но работает Можно хостить и диски виртуалок, но произодительность будет ужасная |
Чуть выше низкой |
| ZFS over iSCSI | Блочная | - Диски виртуальных маши | Требуется установка расширения в Proxmox и настройки API+SSH для доступа в TrueNAS, но зато будет создаваться диск виртуальной машины прямо в TrueNAS с тонким провижинингом и всеми фишками управления, в Proxmox можно мигрировать виртуалки без перезагрузки | Высокая |
| LVM over iSCSI | Блочная | - Корневая система LXC контейнеров - Диски виртуальных маши |
Типа ZFS over iSCSI, только LVM, подходит для LXC контейнеров, минус в том, то тонкий провижининг работает только в TrueNAS, со стороны Proxmox создается “толстый LVM” с резервированием места под весь диск (фактически он занимает меньше места в TrueNAS) и в целом есть какие-то квоты, в отличие от ZFS Thin-LVM у меня так и не получилось завести, даже с ковырянием в операционной системе |
Средняя |
| XXX over NVME-oF | Блочная | - Корневая система LXC контейнеров - Диски виртуальных маши |
Пока не ковырял, в TrueNAS 25.10 появится этот протокол, он намного производительней, нежели iSCSI, но прямой поддержки его со стороны Proxmox нет, надо настраивать руками и могут быть проблемы с тонким провижинингом | Очень высокая |