Моя история домашнего сервера

Делюсь больше не конфигурацией сервера, а скорее историей тому как это все развивалось и к чему я пришел :slight_smile:

Для тех кому лень читать, не осуждаю, вот текущая конфигурация:
Корпус: Fractal Design Define XL R2
Плата: Huananzhi X10X99-16D
CPU: Intel Xeon E5-2680 v4 x2
RAM: 128 Gb DDR4 2400Mhz
SSD: NVMe WD RED SN700 1TB
HDD: Seagate Ironwolf 4Tb ST4000VN008 x3, WD RED 4TB WD40EFRX для бекапов
БП: Cooler Master MWE Bronze V2 650W
Гипервизор: VMware ESXi 8.0u3

Букв будет много, за ошибки прошу прощения.

Этап 1.

Спойлер

Итак, началось все в 2018 году, а тот момент я уже несколько лет работал в тех. поддержке крупной компании, но уже ближе к системному администрированию и как-то так вышло, что в один момент я унал о существовании такой штуки как plex (не узнавал раньше наверное просто по тому, что не было такой потребности), такого корпуса как Fractal Design Node 304 в который влезает аж 6 HDD, так же у меня было нажито какое-то количество списанного железа в виде процессора i3 6100, пару планок ddr4 по 8 гб, старый БП и по сути оставалось приобрести только корпус и пару HDD. Изначальцо цель была собрать сетевое хранилище, в целом так и было, ни виртуалок, ни TrueNAS, ни docker.
Была докуплена самая дешевая на тот момент плата ASUS H110I-PLUS, пара новых WD RED по 4 Тб (до сих пор живы и используются), NVMe SSD под систему и так же у меня была пара десктопных HDD по 500 гб.
Сказано сделано - сервер был собран, установлена чистая Ubuntu Server, на него samba, plex и transmission.
Уже позже я само собой узнал о существовании и TrueNAS и много о чем еще, но текущая конфигурация выполняла мои задачи и переустнановка с перенастройкой системы в мои планы не вписывалась.
Работает, не трогай (с) из этого принципа исходят все мои решения которые могут показаться не оптимальными, где-то не верными и можно сделать лучше, но считаю это частью развития, просто возвращаться чтобы оптимизировать уже работающий сервис всегда тяжело, так что если знаете как сделать лучше, делайте сразу, потому что нет ничего более постоянного чем временное, не делайте как я :slight_smile:

С програмной точки зрения все было примитивно, обуславливалось это тем, что по сути это было первое мое ± близкое знакомство с *nix системой (опыт с vps на данный момент не уитывается), да и до сих пор так сложилось что я Windows администратор, не бейте сильно.

За сетевку отвечал сначала стареньеий Mikrotik RB951G-2HnD, который позже был заменен на hAP ac2, так же родителям в другом городе был куплен hAP ac и между ними был поднят туннель, чтобы можно было помочь с ПК и тд, если потребуется без всяких тимвиверов и тд.
Таким образом еще началось мое более тесное изучение сетей и знакомство с Mikrotik в частности.

По мере погружения в администрирование я начал свое знакомство с Zabbix, на тот момент еще 4 версии, был развернут Apache, MySQL и собственной Zabbix прямо на NAS, какое-то время это так поработало, был сделан логичный вывод что мониторить надо снаружи и Zabbix как и сервер для туннеля переместился на VPS, который уже несколько лет был развернут и там работал сервер TeamSpeak3 (к слову жив до сих пор)
± в таком состоянии все это жило и работало где-то до конца 21 года, в программной части кардинально ничего не менялось, что-то добавлялось/удалялось в целом не существенно.

Вот примерно так это все выглядело:

Данный NAS пережил со мной два переезда (жилье съемное, так что по месту и коммуникациям всегда есть какие-то ограничения)

Этап 2.

Спойлер

В какой-то момент я понял что NAS по ресурсам становится тесноватым, этим моментом наверное было открытие для себя libvirt и в целом тесное знакомство с виртуализацией, внутри был развернут Windows Server 2016, с целью взять под контроль обновления и поднять сервер WSUS, все было поднято и прекрасно работало еще примерно пол года.
Изучая возможности апгрейда я открываю для себя китайские платы и дешевые Xeon, их потенциальную ненадежность я само собой осознавал (что в моем случае в целом не подтвердилось до сих пор), идея про какой-то апгрейд текущего NAS была отвергнута и куплена плата Huananzhi F8-D + 2 шт Intel Xeon E5-2666 v3 и 64 Гб DDR4 памяти (позже добавил еще 64), корпус подрос до Fractal Design Define XL R2, выбирался по принципу вмещения платы EATX и 8 HDD, так как текущий БП не имел отдельно 2 по 4-pin питания под процессор он был заменен на не дорогой Cooler Master MWE Bronze V2 650W.
Какое-то время перед окончательным перемещением систем с этим я игрался и тестировал разные ОС на открытом стенде, стабильность и тд.
Беспокоила меня температура VRM, потому что 135 ватт TDP процессора для данной платы были болью, ничего лучше чем приклеить на теплопроводящий клей еще железных радиаторов я не придумал, но это сработало, температура с обратной стороны платы упала с 75 до 45 градусов:

Началось перемещение систем с NAS, из которого были вынуты диски, а сам он со всем остальным железом отправился на Авито, может быть благодаря нему кто-то тоже занялся самохостингом :slight_smile:

Нашел фото с процесса сборки:

С программной стороны перемещение выполнялось не совсем обычное, а уже на гипервизор и нет это был не Proxmox, так как момент пересборки я работал уже системным администратором в другой еще более крупной компании, использовал соответственно с чем работал - VMware ESXi, версию 6.7 так как в нее можно было без проблем интегрировать драйверы для сетевых карт Realtek чипы которых китайцы ставят везде где только могут.
Та система которая была установлена на голое железо NAS была перенесена в виртуальную среду, Windows Server с WSUS который работал под libvirt тоже конвертирован и запущен уже как отдельная ВМ.

В дальнейшем с точки зрения железа каких-то сильных изменений не было, был докуплен еще один HDD на 4 Тб, уже не WD, а Seagate Ironwolf, простенький sata контроллер для пробрасывания его напрямую в ВМ, NVMe WD Red 1TB под сами виртуалки, еще 1 m2 SSD использовался тоже для виртуалок, просто чтобы как говорится не хранить яйца в одной корзине.
К слову о надежности китайских плат, за 3 года у данного сервера было всего три перезагрузки 2 из них плановые для чистки, одна по питанию, потому что я молодец и ИБП нет, просто потому что как-то избаловало меня хорошее электричество и за все это время на этой квартире был только один перебой электроэнергии, к слову кушало это все из розетки 190-210 ватт в простое.
Разумно ли такое потребление? Конечно нет. Стоило ли оно того? Однозначно да, для меня как администратора этот сервер выполнял и до сих пор выполняет отличную платформу для обучения/изучения/тестирования практически всего чего можно и придет в голову, да и не только для меня, в целом давал доступ и коллегам и друзьям :slight_smile:
Так же сервер был выселен из основной комнаты на кухню под стол, шум конечно не сильный, но по сравнению с прошлым уже слышим особенно ночью, а так же даже будучи на сьемной квартире прокинуты в плинтусе два кабеля, так как маршрутизатор находится рядом с основным ПК.

По программной реализации спустя год регулярный набор ВМ пришел к такому виду:
Ubuntu:
Сервер приложений - plex и apache, так же коллектор логов Adiscon LogAnalyzer
Серер БД - MySQL, Postgresql
Файловый сервер - да, до сих пор просто samba и transmission :slight_smile:
Сервер для сетевых сервисов: на него проброшены некоторые сетевые порты, Apache Guacamole, бэкдор для резервного входа в домашнюю сеть (активируется если основные точки входа недоступны), и некоторые другие сетевые сервисы

Windows Server:
Сервер контроллера домена: внутренний DNS, WSUS, AD CS (letsencrypt использую только для публичных сервисов), СРК Veeam Backup (избыточно, но исторически так сложилось и я с ней работал, мне удобно и да, я знаю что не рекомендуется ставить СРК на контроллер домена)
Сервер приложений - WebApp, сервер 1С, PowerBI, небольшой сервер Minecraft под виндой да, а что вы мне сделаете)
Сервер БД MS SQL - полностью изолирован от всех сегментов сети и интернета в том числе, используется для тестирования, как сервер для PowerBI и 1С, доступ открывается только для порта БД
Терминальный сервер - для для друзей и коллег, на него можно зайти из интернета используя Guacamole с LDAP авторизацией, умеет во вложенную виртуализацию в виде Hyper-V, изолирован от основной домашней сети в которой находятся серверы на Ubuntu, имеет доступ в интернет через прокси.

Прочее:
pfSense - для сегментации сети ВМ используя vSwitch
TrueNAS - разворачивался с целью потестировать, в итоге сейчас выполняет задачу прокинуть физический диск с помощью iSCSI в ВМ с Veeam Backup, чтобы бекапы хранились без виртуальных дисков.

Так же после перемещение на виртуализацию домашних сервисов, VPS тоже переместился на другого хостера, с европейского на российский, на нем развернулся PiHole + Unbound для форвардинга внутренних доменных имен, доступный только через туннель, Zabbix развернутый в 2018 успешно переехал и обновлен до 6.0, туннель стал использовать немного другой протокол и теперь основная его задача обьеденить сети дома у родителей и мою, так же все сервисы развернутые на моей виртуализации и VPS доступны бесшовно из сети родителей, включая домен, Mikrotik hAP ac2 и обычный hAP ac у родителей были обновлены до RB5009 у меня и hAP ax2 у родителей.

Этап 3.

Спойлер

В целом с момента запуска виртуализации в 2022 году меня все устраивало, все работало стабильно, не зависало и было хорошо.
Но меня всегда беспокоили несколько моментов:

  • У данной платы не было функции включения после потери питания, а WOL отрабатывал как-то слишком уж не стабильно
  • Чипы сетевых карт Realtek блокировали возможность обновить ESXi до 7 или 8 версии, так как там отсутствует возможность нормально интегрировать драйверы
  • Невозможность нормальной диагностики железа в случае поломки, без перемещения к монитору и вот это вот все
  • Отсутствие каких-либо датчиков и возможности мониторинга температур, оборотов куллеров и тд
  • Скорость сети ограничена 2х1гб/с
    Все эти пункты можно обьеденить в один - общая сомнительная надежность системы даже не смотря на аптаймы больше года.
    За это время я рассматривал всякие разные платы на 2011-3, смотрел и в сторону двухпроцессорных Lenovo и в сторону Supermicro X10dri, но в итоге на апгрейд я решился совершенно случайно, на маркетплейсе в рекомендациях заметил очередное поделие от китайцев Huananzhi X10X99-16D, ценник на нее был в два раза выше того, за который я покупал текущий хуанан, от части думаю на это повлияла экономическая ситуация но и в целом она явно должна быть дороже по ряду причин:
  • Сеть 2х2,5гб/с на чипах от Intel
  • Присутствует встроенная графика, а значит минус видеокарта и минус энергопотребление
  • Полноценный BMC, внезапно, от китайцев не ожидал, но оно работает
    Эти три фактора стали для меня решающими, в мае этого года плата была куплена в комплекте с двумя Intel Xeon E5-2680 v4, уже зная приколы китайцев с охлаждением VRM заранее у умельцев на Авито были заказаны усиленные радиаторы, чтобы не колхозить как прошлый раз.

Каких-то внезапностей в процессе замены платы не возникло, ESXi был обновлен до 8 версии и переехал с флешки на SSD, потому что прошлая 6.7 версия была установлена на флешке которая уже периодически отваливалась, но это не влияло на работу потому что система по факту живет в оперативной памяти после загрузки, но могла не подняться после выключения.
Все ВМ после запуска включились как будто ничего не изменилось, проблем замечено не было.

Как итог после апгрейда я получил полноценный BMC, полный удаленный контроль над железом и температурами, сеть 2х2,5гб/с, дополнительный слот NVMe, 2 порта U2 для серверных SSD, а так же снижение общего энергопотребления из за снижения TDP процессоров и отключения видеокарты за ненадобностью, теперь с текущей постоянной нагрузкой потребление 105-130 ватт против 210 в среднем у прошлой конфигурации и этот результат меня вполне устраивает :slight_smile:

Из ближайших апгрейдов планируется наконец-то покупка ИБП и возможно покупка U2 диска для использования под БД и еще одного NVMe под виртуалки, чтобы все не было на одном диске.

Оптимально? Да нет конечно) Есть что оптимизировать, урезать, использовать ресурсы более разумно, но это уже совсем другая история.
Почему не Proxmox? Потому что, просто потому что, нет причин. На текущий момент уже исторически так сложилось.
Где докер? А вот нету) Благодаря этому ресурсу теперь буду внеднять потихоньку, потому что заметил несколько интересных для себя вещей для домашней сети, но докеризировать все подряд я все таки не хочу.
Вот такой вот путь :slight_smile:

P.S. Если кому-то интересны дополнительные аспекты, готов ответить на любые вопросы.
По поводу вопросов лицензирования всего что перечислено, оставим это на моей совести. Будем считать что везде используются ознакомительные версии.

5 лайков

это ты зря, я давно уже юзаю

поставили в конторе свой сервер, теперь соединение моментальное и бесплатно, платные только всякие авторизации и книга клиентов, но и бесплатной версии даже в большой конторе за глаза хватает

:weary_cat:

так Esxi уже все вроде, зачем он нужен в 2025?

у меня был такой Fujitsu PRIMERGY TX1310 M1: заказать на сайте, технические характеристики, обзор


2 блока питания
8х2.5" сас диска
рейд контроллер
2 встроеные карты + 2 дополнительные
1 порт для управления

на самой плате еще было 2 порта сата по 4 порта в каждом и место в корпусе для 3.5" дисков

еще там стример должен быть, но у меня не было, но процессор один всего

если воткнуть 8 ссд, то потреблял бы он в простое порядка 70вт и еле слышно было вентиляторы

памяти было 32 гига, но можно было бы купить и 64 и вроде до 128 можно, плата фуджитсу сименс, сделана в гермашке

сейчас они копейки стоят, 100-200 евров

линейка Fujitsu PRIMERGY TX1330 M1 или м3, башенные сервера

На данный момент в таком нет потребности, чистый RDP без дополнительных действий на стороне клиента закрывает потребность, но штука выглядит интересной :slight_smile:

Ну что значит все, ну купил их бродком и купил, 8.0u3 актуальная версия, обновления выходят, все современный ОС поддерживает, не вижу явных причин для себя его менять, когда завершат поддержку 2011-3 сокета, что скоро обещают, тогда и буду думать)
Для меня важен Veeam Backup, у него очень хорошая и удобная интеграция с ESXi и прям вот совсем недавно как раз появилась поддержка Proxmox, как дойдут руки потестирую и если меня все устроит, буду рассматривать переход на него, может даже отпишусь о результатах, вдруг кому пригодиться данная информация.

Подобное я рассматривал еще до покупки первой платы, но пришел к нескольким выводам:
Это все слишком проприетарно, не стоит забывать что сервер домашний, в случае выхода из строя платы/сас диска/рейд контроллера, найти замену может стать реальной проблемой, зачем усложнять?

Про рейд контроллеры в домашнем использовании даже есть история от коллеги, который приобрел себе, все настроил, а контроллер взял и сломался через пол года, а другой контроллер почему-то его рейд собирать обратно по какой-то причине отказался и встал выбор, ждать такой же контроллер два месяца или грохнуть данные, так зачем себя потенциально ставить перед таким выбором?

Посыл такой, что должна быть возможность заменить компонент быстро и не переплатив.
2 блока питания для дома тоже вопрос зачем, контур питания в квартире все равно один.
Вот как дополнительный сервер будь у меня стойка и потребность, я бы рассмотрел, как основной, скорее нет чем да :slight_smile:

Вот стример штука интересная, но пока на какой-нибудь LTO-6 ценники все еще кусачие, но для холодного хранения это конечно идеальный вариант.

так все, халявной то версии больше нет, если ты только юзаеш крякнутую
и если у тебя в конторе это еще юзают

тоже юзали, сервер загнулся внезапно, а никто не знает, как восстанавливать
ну разобрались потихоньку, но решили отказаться от hyper-v + veam, как раз купили новый сервер и я на него прокс поставил, вытащили мы из бекапа .vhdx, сконвертировал я их в qcow2, создал виртуальные машины и запустил, а там как раз бухгалтерский софт был, вся заняло где-то полдня что ли

proxmox backup server бесплатный, можно на любом хламе сделать, что мы и сделали из того дохлого сервера, который заглючил непонятно по какой причине, но теперь работает норм

заодно я узнал, что асус оказывается делает серверные платы :roll_eyes:

ну замена платы на обычную, рейд там обычный адаптек, легко можно купить, а лучше юзать zfs, плату обычную на любом процессоре можно воткнуть, сата кабель надо будет только купить, который обычные сата штекера на sff штекер для бекплейта

но чтобы плата сдохла - это очень надо постараться
у меня в конторе стопка серверов середины нулевых лежит с ддр2 - даже блоки питания работают, скоро все у утиль пойдет

в разных контроллерах алгоритмы избыточной инфы и распределения ее по дискам разные, поэтому лучше брать 2 одинаковых сразу, это если в конторе

дома оно не нужно, лучше купить диски для бекапа

у нас тоже рейд5 заглючил на интеловской плате, причем 2 одинаковых сервера и разница в 3 дня что ли была
так что никогда не юзай intel rapid storage как 5й рейд, а лучше 5й рейд вообще не юзать по возможности

ну если их 2, то не обязательно их 2 в розетку совать, один как раз запасной :laughing:

4го поколения вполне себе норм цена, фотки хранить хватит и его

у тебя опасения возникли как раз на почве китайских плат из гавна и палок, нормальные серверные платы очень надежные, только башенные формат не так распространен как стоечный, но минус стойки в шумных вентиляторах, зато стоят вообще копейки (меньше 100 евров с ддр3)

Вот я тоже такого собрал монстра- а теперь сижу и думаю, куда его деть-то)) ведь все почти тоже самое умешается в коробке 10*10 миника на райзене. а для шары отдельно хдд сетевой нас.
Продать? ну счс все завалено китайцами - а хранить место мало))

Ну тут нужно изначально было понимать, зачем он собирался)
Чтобы не задавать себе вопросы куда его деть, нужно идти по нарастающей потребности, сначала миник на райзене, а потом уже чудище двухголовое :slight_smile:

Все с чего то начинали. У меня осталась мат плата с первого наса и накопитель с системой freenas какой то из первых версий.



у меня xpen на таком )) неплохо для начала.

Меня немного другой вопрос мучает - где взять компактный и малошумный Nas для 4 дисков hdd. Убрал и забыл что там 300-400Tb. на антресолях.

Сейчас такие модели на рынке уже есть..

https://www.ozon.ru/product/aoostar-mini-pk-aoostar-wtr-pro-s-4-h-otsekami-nas-amd-ryzen-7-5825u-ram-otsutstvuet-amd-radeon-1791058652/?at=lRt6WgVvJTQQnkO8hQ20gGSAX3L3GhwR3g0I6KMlK

1 лайк

+1 то, что надо. огромное спс

Вот такие корпуса под Mini-ITX есть, может уже попадались конечно, но скину на всякий случай, знакомый собирал в таком, полет нормальный :slight_smile:

дешево и сердито? нужно 400tb под Revit server :nerd_face: :jack_o_lantern: