Дорожная карта по архитектуре очередной homelab'ы новичка.

0. Основная Вопросы новичков
1

Всем привет. Какое-то время назад, воодушевленный идеей самохостинга, прикупил себе железку. Попробовал различные приложения, решения и инструменты. Столкнулся с парой проблем и впал в ступор - что делать? Хочу начать с нуля и настроить систему уже с каким-то осознанием как и что в ней работает и как этот зоопарк обслуживать дальше.

Какими ресурсами обладаю:

  • Роутер keenetic viva

  • миниПК на проце AMD ryzen 7730u

  • 64Gb RAM

  • nvme 2Tb

  • sata ssd 480Gb

  • NAS - Qnap 8Tb

  • Портативный SSD Sandisk для фоток из путешествий (скидываем на него фотки с телефонов)

  • Yandex.disk (забит на 99%)

  • VPS сервер с белым адресом для доступа домой

Что хочу от системы?

  1. Доступ отовсюду.
  2. Хранение фоток (Immich)
  3. База знаний/заметки (выбираю)
  4. Хранение разных документов, но с доступом из любого установленного сервиса хомлабы.
  5. Отдельная песочница под изучение новых приложений и сервисов с возможностью выноса понравившегося сервиса. (Runtipi и пр.)

У меня есть несколько волнующих меня вопросов. В этом посте про организацию хранения.

  1. Как правильно распределить ресурсы хранения?

Исторически у меня есть Yandex.disk на 1,4Tb который уже почти забился. Он синхронизируется с NAS, соответственно там сейчас огромная папочка с фотками со своей структурой папок. Эта папка Яндекс.Диска смонтирована к миниПК по видео «Матрешка папок». На мини ПК, на хосте, стоит клиент Яндекс/диска и грузит фотки в монтированную папку. Я вручную запускаю NAS и клиента ЯД раз в неделю для синхронизации. В большинстве случаев NAS выключен, чтобы экономить свой ресурс и не шумел.

На Мини ПК сейчас только nvme и на нем установлен Proxmox. При установке системы, я общий объем распределил 100Gb под систему и остальное оставил невостребованным, предполагая что буду выделять доп. место под хранение сервисов из этой неразмеченной области. На днях столкнулся с проблемой, что объем 100ГБ чем-то забился и система стала ругаться на недостатки места. Выключила пару докеров, и в итоге они у меня поломались. Контейнеры потерялись при попытке почистить систему от мусора, а все данные в этих контейнерах я не знаю где. Изначально я устанавливал докер-контейнеры «по умолчанию» и контейнеры хранились где-то. Затем в видео на ютюбе авторы упоминали, что хранят контейнеры в определенных папках своих систем, базы данных для этих сервисах в других папках и тд. И я тоже создал в аналогичных местах папки и стал производить установку в эти папки.

Расскажите, пожалуйста, как безопаснее и надежнее организовать структуру хранения?

Докупил SSD 480GB в миниПК для переустановки на него системы, а nvme 2Tb планирую выделить под хранение данных.

Чтобы можно было:

  1. Бэкапить необходимые данные на NAS и «глазами» это можно было бы проконтролировать
  2. Производить какие-то манипуляции с переустановкой/обновлением сервисов в LXS или Docker не затрагивая данные

3. Скопировать и перенести контейнеры из одной системы в другую. (С данными или без данных)

4. Быстренько увеличивать выделенные ресурсы под требовательную систему и прочее.

5. Можно ли организовать «гибридное хранение» аналогичное Fusiondrive на macOS (SSD+HDD)?
Хочу востребованные данные, например свежие фотки/видео, хранить на nvme миниПК, а редко используемый контент отправлять на NAS, при этом чтобы они все отображались в каталогах, как положено (альбомы, дата съёмки…).

6. Есть ли удобные self-host сервисы с GUI для создания каких-то автоматизаций на сервере?

  • По расписанию отправить WoL на NAS для включения.
  • Когда и какие папки перенести с мини пк на NAS?
  • Какие папки и когда забэкапить?
  • Если подключил внешний SSD, то фотки разобрать по сценарию…
    Плюс хочется видеть логи с исполнением этих сценариев.
    Например: Внешний SSD экспортировал данные в каталог фотографии - я получил уведомление: «фотки загружены», внешний ssd очистился.

Ну и хочу отказаться от оплаты 1Tb Yandex.disk (старые фотки не синхронизировать с ЯД, оставить их только на NAS), под временные документы и обмен с внешним миром использовать накопившиеся акциями 400ГБ

2

купить 2 одинаковых диска по 2тб под zfs raid 1, подключить их как отдельный пул для виртуалок

прокс поставить на 1 или 2 ссд по 128гиг, сделать там пул под хранение исо образов, а для виртуалок выпилить совсем

плохая идея, юзай пбс

не знаю, что там с макос, в виндовсе подключить сетевые папки по протоколу cifs, любой нас это может

что за сервисы такие?

разные действия делаются разными методами, гуй для этого не нужен

автоматизация разная бывает, бекап делается автоматом в проксе, один раз настроил и забыл

зависит от способностей софта, обычно такое скриптами делают
система как-то должна определять, что подключен конкретный диск и надо запустить конкретный скрипт
я понятия не имею, как это в линупсе делается, для виндовса есть прога и там есть как раз функция переноса данных на диск усб, прога платная

можно такое на питоне написать или может уже кто-то написал

3

К сожалению, в данной конфигурации так не получится. Возможно когда-нить в будущем. Сейчас в моем мини ПК есть только один слот m2 и один слот sata.

у меня есть sata ssd на 480Гб - планировал на него поставить proxmox и хранить необходимые данные для работы базы данных и каталоги.
Что значит “Создать пул под хранение iso образов“ ? это шаблонные ОС для создания lxs-контейнеров?

Что такое пбс?

Я хочу примонтировать диски с NAS к структуре папок на Proxmox, чтобы свежие данные хранились на nvme, а старые редкоиспользуемые на NAS. В FusionDrive это операционка сама как-то делает: Часто используемые файлы хранить на ssd, а редко используемые перетаскивает на hdd

Программеры все могут, а я новичек, потому и спрашиваю про софт с GUI, чтобы в графическом интерфейсе можно было бы указать какие-то правила для автоматизации и там же следить за результатом.

4

я тоже все откладывал переезд на новый компутер и вот на прошлой неделе или на эторй даже внезапно сдох хваленый самсунг на терабайт, который и год не отработал
хорошо хоть данные не пропали
ты конечно можеш хранить и на одном, но…
вот и у меня настал тот день, когда сдох первый диск за 25 лет и не китаец какой, а хваленый самсунг, причем он сидел на радиаторе с термотрубкой, а не просто был воткнут

можеш поставить
у меня тоже есть какой-то самсунг сата на 512 и вроде бы у него тоже что-то с записью, но на новом компутере уже нет сата портов, а через усб адаптер прога самсунговская не видит диск, ибо не каждый адаптер передает смарт данные и все такое

и контейнеров в том числе

ты можеш его примонтировать к проксу как пул, но в пуле хранятся только диски виртуальных машин, данные напрямую ты не сможеш хранить
это тебе надо монтировать шары напрямую в какой-то контейнер, хотя наверное можно сначала примонтировать шару к проксу, а потом смонтировать ее в контейнер, но я пока так не делал

у меня есть контейнер на 300 гигов со своим софтом, пхп, бд, веб сервер - все там внутри

нет никакого универсального софта с гуем для автоматизаций

есть автоматизации развертывания контейнеров, машин в гипервизоре - делается одним софтом
есть настройка систем и софта уже в виртуальной машине - делается другим софтом и тоже без гуя, пишутся специальные файлы-инструкции

есть автоматизация с гуем, но ты можеш автоматизировать только то, для чего есть готовые блоки и коннекторы

для написания скрипта можно использовать нейросеть какую, gemini неплохо делает, смотри мою тему и что я делал при помощи нее
есть еще одна тема, я там скрипт на баше делал в чатике гпт

5

Коротко: Terraform — про инфраструктуру, Ansible — про конфигурацию и управление состоянием серверов. Ниже — подробнее и на примерах.

Основная разница

Критерий Terraform Ansible
Тип Infrastructure as Code (IaC) Configuration Management
Что делает Создаёт и изменяет инфраструктуру Настраивает уже существующие серверы
Подход Декларативный Декларативный (с элементами процедурного)
State (состояние) Есть state-файл Нет state-файла
Агент Не нужен Не нужен
Типичные объекты VM, сети, LB, IAM, Kubernetes пакеты, сервисы, конфиги, users
Основное применение Cloud / DC OS / приложения

Terraform — «что должно быть»

Используется для:

  • создания VM, VPC, подсетей

  • Kubernetes-кластеров

  • Load Balancer, DNS, IAM

  • ресурсов в AWS, GCP, Azure, Yandex Cloud и др.

Пример:

resource "aws_instance" "web" {
  ami           = "ami-123"
  instance_type = "t3.micro"
}

:backhand_index_pointing_right: Terraform сам решает, что создать, изменить или удалить, сравнивая код со state-файлом.

Ansible — «что делать на сервере»

Используется для:

  • установки пакетов

  • настройки nginx, postgres, docker

  • деплоя приложений

  • управления пользователями и ключами

Пример:

- hosts: web
  tasks:
    - name: Install nginx
      apt:
        name: nginx
        state: present

:backhand_index_pointing_right: Ansible выполняет шаги последовательно, без знания глобального состояния инфраструктуры.

Когда что использовать

Terraform — если нужно:

:white_check_mark: Поднять инфраструктуру с нуля

:white_check_mark: Управлять cloud-ресурсами

:white_check_mark: Иметь контроль изменений (plan/apply)

:white_check_mark: Удалять ресурсы корректно

Ansible — если нужно:

:white_check_mark: Настроить ОС и ПО

:white_check_mark: Делать конфигурацию серверов

:white_check_mark: Обновлять приложения

:white_check_mark: Работать с bare metal / VM

Используют ли их вместе? Да, почти всегда

Типичный workflow:

  1. Terraform

    • создаёт VM, сети, LB

  2. Ansible

    • настраивает VM (nginx, docker, app)
Terraform → Ansible → Production

Короткая аналогия

  • Terraform — архитектор (проектирует и строит дом :building_construction:)

  • Ansible — инженер и отделка (проводка, мебель :hammer_and_wrench:)