Домашняя лаба @KRom

02. Сервера cамохостят
1

Поздавляю самохостеров с ДР проекта и выкладываю описание свой лабы, фотки постараюсь чуть позже накидать еще

Железо

Роутер: Mikrotik RB4011iGS+5HacQ2HnD-IN
Коммутаторы:

  • SKS8310-8X
  • SKS3200-8E2X
  • SKS3200-8E1X-P
  • SKS3200-4E2X
  • SKS3200-5E2X

WiFi:

  • Mikrotik RB4011iGS+5HacQ2HnD-IN
  • MikroTik cAP ac
  • Mikrotik hAP ac

Мини ПК:

  • SOYO M2 Air - N4000, 6GB RAM, 64GB EMMC + 256 SSD
  • SZBOX S1 MINI PC N150, 16GB RAM, 512NVME
  • ZBOX Ryzen 7 - AMD Ryzen 7 5825U, 64GB RAM, 2TB NVME, Coral TPU
  • GMKTec G3 Plus - N150, 32GB RAM, 512 SSD
  • GMKTec G3 - N100, 16GB RAM, 512 SSD, Coral TPU
  • BMAX B2 - N4000, 8GB RAM, 256 SATA
  • BMAX B2 - N3060, 4GB RAM

SBC:

  • NanoPi Fire 3
  • NanoPi M4V2
  • Orange Pi Zero 3 4GB

Накопители:

  • HDD 3,4TB x4
  • HDD 6TB x2
  • HDD 1TB x1
  • SSD 256, 512 - россыпь

ИБП:

  • WalleCube W150
  • IPPON Smart 1000

Корпус для дисков:

image
image298×259 20.3 KB

По частям

Сеть

image
image3465×1938 452 KB

  • Ядро сети состовляют Mikrotik Роутер + SKS8310-8X, между ними DAC 10Г (как и у всего SKS8310-8X)
  • Перед роутером 2 коммутатора SKS3200-4E2X для агрегации и коммутации (см. ниже зачем)
  • Имеется подключение к 2м провайдерам, они подключаются к вводному коммутатору в щитке на ЛП, он же обмазан грозозащитой
  • Для резервирования роутера имеется возможность завернуть провайдерский трафик и всю сеть на софтовый роутер на одном из мини ПК (пока до конца не настроил, но это Mikrotik CHR в виртуалке)
  • Почему так много коммутаторов?
    • Изначально было микротика 2, но один на 24 порта, сейчас он готовится уйти на авито, вместо него россыпь китайских
    • Коммутаторы имеют разное назначение и расположение, например, POE для точек доступа и прочего оборудования, серверные, для ТВ и т.д.
    • Есть шкаф, сверху роутер, снизу оборудование, раньше был жгут кабелей и думал завести патч-панель, но для каждого нового устройства тянуть кабель стало напряжно, поэтому, кинул 10G DAC кабель и прикрутил коммутатор внизу, рядом с оборудованием
    • Мелкие коммутаторы стоят дешево, много вариантов, питание 12В и малый ток, большие найти сложнее (я так понимаю, что в том числе связано с наличием дешевых реалтековских чипов) и они значительно дороже + имеют питание 220В, а мне это не сильно подходит
  • По программной части сети
    • VLAN для сегментирования сети
    • MTU 9000 для сети с NAS и между PVE нодами
    • VRRP для отказоустойчивых адресов
    • КВН для доступа извне
    • Port Knocking для некоторых вещей из интернета
  • DNS: Technitium DNS + Mikrotik DNS faillover
  • WiFi: Mikrotik CapsMAN и 4 точки доступа

Железная часть

  • Оборудование распихано по полкам и шкафам
  • NAS пока что в формате корпуса, в котором стоит Мини ПК с адаптером

Питание

  • Частично переведено все на 24/12 и POE питание
  • Все заведено на 2 ИБП, но хочу сделать прям нормально
    • ИБП на рабочее место
    • 24В питание и ИБП для основной лабы, точек доступа, оборудования, распиханого по квартире (у меня в штукатурке сотни метров проводов слаботочки)
    • 12В ИБП для критически важного оборудования
    • Инвертор на освещение (не совсем хоумлаба, но все равно)

Программная часть

Пытался строить с учетом уровней критичности

Кластер Proxmox VE 9
В кластер еще добавлено Qdevice

image
image1322×784 69 KB

В нем развернуто все, и NAS и бэкапы, сейчас даже панель управления умным домом внутри PVE
Программная схема сети такая
image
image2120×1712 329 KB

NAS

  • TrueNAS Community В виртуалке PVE
  • 7 HDD Дисков
  • 4 SSD диска
  • Полезный объем 15ТБ, в процессе расширения до 17ТБ
  • NFS, iSCSI, NVMEoF для серверов и рабочей станции
  • SMB для остальных клиентов
  • Syncthing для P2P синхронизации
  • Частично зеркалируется в облако

Бекапы

  • Proxmox Backup Server для контейнеров и виртуалок, а также в качестве некого подобия TimeMachine для компа и остальных железок
  • TrueNAS для HomeAssistant
  • TrueNAS шара для скидывания всякого мусора
  • Надо освободить диск и организовать холодное бэкапирование, но об этом ниже

Программные компоненты

  • SSO: Authentik
  • Управление приложениями: Komodo
  • Reverse Proxy: Traefik
  • Управление TLS сертификатами: тут
  • Ansible и Terrform: Semaphore UI
  • Git: Forgejo
  • Фотографии: Immich
  • Мониторинг и логи: Victoria Logs, Victoria Metrics, Grafana
  • Облачные файлы: Cloudreve Pro
  • Мониторинг доступности: Uptime Kuma
  • Умный Дом: Home Assistant, с него же управление и дашборды всем, начинал делать HMI
  • Автоматизации: Node-RED
  • Инвентаризация сети: NetBox
  • Безопасность: CrowdSec
  • Обмен файлами: Qbittorrent
  • Аудиокниги: Audiobookshelf
  • Видео и Музыка: JellyFin
  • Карточки заметок: Anchor
  • Закладки: karakeep
  • Видеонаблючение: Frigate
  • Почта: stalwart (полноценная электронная почта для сервисов и не только)
  • Заметки: Obsidian (плагины) синхронизация через Obsidian Live Sync , публикация заметок в интернете Obsidian Share Note
  • Работа с документами: Paperless-ngx
  • Менеджер паролей: VaultWarden
  • Таск трекер: Vikunja
  • PXE Boot: Пробовал https://bootimus.com/, но так и не довел до конца

Для чего использую

  1. Замена облачных сервисов в для чебурнета (для судного дня есть прямое подключение к MeshCore сети)
  2. Что-то по работе для не особо критичных вещей
  3. Лабинг, петпроетинг, откработка навыков

Планы на будущее

  1. Освободить HDD и на основе слабого миника сделать холодное хранилище на основе PBS (PBS + ZFS snapshots)
  2. Поставить в системник MiniTX материнку и сделать PVE ноду для NAS на нем
  3. А потом выкинуть слабые миники из кластера
  4. Добавить локальный ИИ узел
  5. Добавить 24В ИБП на 105Ач и полностью перевести всю инфрастуртуру на него
  6. Добавить одноплатник к роутеру на OpenWRT сами знаете для чего
  7. Выкинуть Mikrotik Wifi и перейти на Omada
  8. Развернуть сервис для
    1. Библиотеки электронных книг
    2. Музыки, сейчас есть Music Assistant и JellyFin, может что-то специализированное
    3. Уведомлений т.к. уведомления в ТГ работают плохо
1 лайк