Хотелось 2.5/10 G сеть, у меня был микротик 1Г, по цене которого взял 3 китайских свитча.
В целом, данная тема была достаточно хорошо проработана в теме управляемые свитчи для наших лаб
- Фирменные коммутаторы за дешево это лютый БУ с EOL и с низкой производительностью, а я хотел минимум 2.5Г
- Фирменные современные и быстрые управляемые коммутаторы очень дорогие - тот же CRS310-8G+2S+IN на озоне сейчас от 15к, средний ценник в районе 25к, SKS3200-8E2X 6к, а если что-то более объемное, то ценник что там, что там улетает просто в космос - прямая замена мне бы от микротов подошла CRS326-4C+20G+2Q+RM за 100к, но это без POE
- Неуправляемое прям не хочется, есть всякие Tenda, Dlink, но нет, спасибо
Поэтому, попробовал китай и в целом в формате дешево и сердито мне зашло, не скажу, что все устраивает, но за эти деньги с этой производительностью сети собрать вообще не вариант.
Я не прикладывал распределение по узлам, но есть 3 группы узлов
-
Мощная группа из 1 узла (через годик может сделаю 2) - вычислительные задачи, там 64 Гб оперативки хватает - тут крутятся основные, но не критичные для инфраструктуры сервисы и то, что потребляет много ресурсов, нагрузка не постоянная
-
N100/150 - я бы сказал, что базовый минимум лабы, тут я рассматривал разделение обязанностей и минимизацию влияния сервисов друг на друга
- Умный дом, Authentik, Uptime Kuma - отдельный миник на отдельном ИБП, минимум периферии и минимум лабинга в плане ковыряния - тут важна стабильность. Нагрузка стабильная и прогнозируемая
- NAS, Торрентокачалка, Медиараздавалка - ресурсы тоже прогнозируемые, подключены диски и все тут крутится вокруг дисков, паяти в целом, хватает.
- NVR - Frigate во время распознавания лиц неплохо так потребляет ресурсы, постоянно работает видеокартой, пишет по сети, когда он работал на 1 группе, то прям заметно подъедал проц, сейчас может молотить сколько захочет в рамках своих 4 ядер
-
Мусор (что-то куплено лет 6 назад, что-то куплено год-два, но выяснилось, что не тянет 2 группу и переведено в 3), тут мелкие сервисы + обслуживание кластера + распределенные ноды, например,
- на одной стоит принт и скан сервер (ну и стоит на полке) рядом с ними + подключил тач скрин с панелью управлением светом, статусами кластера (и надо добавить сетевые интерфейсы еще) и интерфейсом печати и сканирования
- на одной стоит принт и скан сервер (ну и стоит на полке) рядом с ними + подключил тач скрин с панелью управлением светом, статусами кластера (и надо добавить сетевые интерфейсы еще) и интерфейсом печати и сканирования
-
другой находится к прихожей и подключен с ИБП и прочей периферии + еще один тач интерфейс
Но тут я думаю убрать его и вернуть 2 одноплатника
- Для холодных бекапов - тут ресурсов много не надо - принимать снимки и сбрасывать их на диск
В итоге мелкие ноды сильно не нагрузишь, оперативки и проца маловато, но со своими задачами справляется
Ну и 2 плюса данного подхода по сравнению с 1 узлом на 32 ядра и 128Гб оперативки
- Кластеризация, пусть не HA сервисов, но как минимум L7 избранных и самого PVE
- В миниках не так много интерфейсов, а так у меня где-то M2->SATA адаптеры, где-то NVME диски, где-то M2. Google Coral
По миникам примерно выработал такой подход (в тг группе обсуждалось)
| CPU | RAM GB |
|---|---|
| 1-2 | 8 |
| 4 | 16-32 |
| 8+ | 64+ |
Соответственно, набор сервисов и задач для слабых и средних узлов постоянный, новое разворачиваю на мощных
Памяти докинуть сложно, но можно, например, N100/150 до 32 ГБ, но мне сейчас хватает 16, а 32 на NASе где 16 выделено под TrueNAS
Чисто игрался, через iSCSI и NVMEoF грузил.
Поскольку, миники и они ограничены по интерфейсам, то взял USB NVME кейсы, планировал в них воткнуть отдельные накопители и собрать Linstor хранилище как раз таки для HA, но…
- Надо было собрать стойку для стекирования и охлажения миников
- Наступил день Д и час Ч и мой предполагаемый бюджет на накопители вырос в 4-5 раз
Но в планах все еще есть развернуть