управляемые свитчи для наших лаб

Железо
21

такая же херня - купили в том гоуд новый сервер, а там 2 порта по 10 гбит медных :rofl:
чего с ними делать теперь :man_shrugging:

хочу взять теперь новые свитчи ubiquiti, но там вроде нет медных 10г портов и придется еще брать отдельно сетевую карту с сфп и аос или модули на 10г, кабель вроде есть еще оптический в запасе

22

Братья сетевики, подскажите с двумя вопросами. Есть Mikrotik с DHCP-сервером и к нему по кабелю подключен гигабитный switch в который уже заходит вся локалка.

  1. Если заменю switch на 2.5 Гб/с то смогут ли устройства в локалке между собой работать на 2.5 или нужно менять еще и роутер?
  2. При выключении роутера локалка встает из-за недоступности DHCP-сервера, поможет ли замена switch’а на управляемый?
23

да, если они находятся в одном l2 сегменте сети (т.е. обычная lan сеть без vlan и прочего, условно, все имеют адрес в подсети 192.168.0.0/24 с роутером 192.168.0.1), что и является одной из ключевых задач свитча

нет, поможет только если DHCP убрать в роутере и перенести в функции свитча, но это не правильно и используется только в больших сетях

что можно сделать:

  1. повысить время аренды адреса от 2х недель до месяца, у меня 2 недели для локалки, 4 недели для IOT сети и 1 час для гостевой
  2. назначать статические IP адреса
  3. перенести DHCP сервер на отдельную железку или группу железок, например, adguard и pi hole могут dhcp сервер, можно поднять ферму active directory наконец
  4. Реализовать файловер для роутера, например, поставить 2 роутера с VRRP и механизмом обмена динамической конфирацией
1 лайк
24

Доброго времени суток. У меня тоже есть плата серверная с 2мя 10Гбит портами и задумался какой программный роутер подобрать. И у меня возник вопрос я как-то замечу сеть на 2,5 или 10 Гбит или я где-то буду во что-то упираться?

25

зависит от того, что делать будеш
если у тебя только одна плата на 10 гбит, то 10 гбит останутся бесполезные
ну а разница между 1 и 2.5 ровнов в 2.5 раза

если гигабайт заливается секунд за 10, то на 2.5гбит он зальется за 5 секунд, это при том, что у тебя есть еще устройства с 2.5 портами и скорости дисков как минимум дают 250 мегабайт в секунду

если ты собрался кластер делать, то нужны другие платы с 10 гбит портами и соединить напрямую

софтовый роутер на 10 гбит сильно нагружает процессор, поэтому дальше все ззависит от процессора

чем больше правил - тем больше нагрузка + количество соединений тцп от клиентов в сети, если ты делаеш рабочий роутер, а не тесты в лабе

26

То есть все будет упираться в жесткий диск, сейчас у меня стоят Сатовские, но планирую поставить и Sas.

Обычный сервер (качалка, файловый сервер, БД и по мелочи) + для работы ставлю ВМ с виндой и на них разные софты.

27

ну особой скорости не будет, 200 на большин не рваных файлах можно получить

так тут нет никаких функций роутера, локальный трафик бегает через свитч, если это просто дома, то там не нужны виланы и маршрутизация между ними, посему нагрузки на роутер никакой не будет

она будет, если будеш качать с инторнета или раздавать и если у тебя внешний канал хотя бы гигабит будет, но современный роутер на арм процессоре не так-то просто нагрузить даже на гигабитном канале, а тем более серверный процессор х86

28
  1. Для начала стоит нарисовать сеть
    У меня получилось примерно так (фиолетовый роутер, красные свитчи, синие и бирюзовые (хо какой цвет) конечное оборудование, зеленые точки доступа)
    Сеть
    Сеть3180×1685 286 KB
  2. Далее смотрим на потоки данных
    2.1. Как уже написал @kalobyte - связь в одном сегменте сети идет через свитчи, а между сегментами как правило, через роутер. Это значит, что даже в рамках отдельного vlanа у меня внизу кластер PVE, то трафик между узлами ходит только через свитч, а если между разными сегментами или интернет, то уже идет через роутер.
    2.2. Далее мы смотрим на весь путь трафика - отправитель, кабельная линия, свитчи, потребитель
  3. Берем условную задачу заливки видео с компа на сервер (допустим, вы говорите по 10G сеть)
    3.1 На компе должен быть сетевой интерфейс на скорости 10G
    3.2. Он подключается в свитч в 10G порт
    3.3. Свитч соединяется с другим свитчем на 10G скорости
    3.4. В конечном свитче подключение идет в 10G порт
    3.5. Этот кабель подключается в 10G порт на сервере
  4. А теперь мы отрисовываем еще задачи, например
    4.1. Запись видеопотока с камер
    4.2. Просмотр фотографий с видеохостинга локального
    4.3. Бекапирование виртуалок
    4.4. Просмотр видео в на телефоне через wifi
  5. Берем для каждого подпункта из 4 пункта поток и отрисовваем его как показано в 3 пункте, и все это накладываем друг на друга с неким коэффециентом (оператор на самом деле точно так подключает 100 квартир в доме на скорости ДО 1Г оптическим кабелем на скорости 10-40Г , но никак не 100Г)
  6. Смотрим тонкие места, на основе этих потоков, например, на моей схеме центральный свитч полностью 10G с SFP портами и подключается к другим свитчам тоже на скорости 10G, конечные устройства на скорости 1/2.5G, планирую повышать до 10G скорость для пары узлов, в основном NAS и комп, ну т.е. на текущей скорости, если
    6.1. Плойка качает с интернета
    6.2. ТВ смотрит рип с NAS
    6.3. Я с телефона смотрю видео c Rutube
    6.4. И одновременно заливаю фотки в фотогалерею
    6.5. И т.д У меня условные 8 потребителей на скорости 1G подключаются к корневому свитчу DAC кабелем на 10G, 10G DAC кабель идет на роутер и на свитч проксмокса, то эти 8 потребителей на крайнем правом свитче все равно не могут упереться в скорость интерконнекта между остальными свитчками и роутером
    6.5. На роутере интернет 1G, а линк роутера с локалкой 10G это значит, что я могу заливать видео на Youtube и при этом у меня на руитинг еще остается 9G
  7. Далее оптимизируем, схему, если это надо
    7.1. Можем добавить отдельный свитч, например, для связи узлов кластера между собой, чтобы трафик ходил максимально быстро
    7.2. Можем добавить агрегацию линий,например, соединить сервер не 1 кабелем, а 2мя, ну или 2 свитча между собой тоже несколькими линиями (но тут есть нюансы)
    7.3. Если надо, то повышаем скорость какого-то линка, например, NAS одновременно может обслуживать несколько потребителей, если у вас условно на нем 10G, а на всех клиентах по 1/2.5G, то понятно, что каждый клиент будет иметь максимальную скорость для себя, а NAS будет отдавать несколько потоков по 1/2.5/5G в общий линк 10G
    7.4. Если схема проще и есть 10G NAS и 1G комп + пару телефонов на 2.4ГГц, то понятно, что профита в 10G интерфейсе не будет и все будет упираться в конечных потребителей
  8. Далее прорабатываем программную составляющую сети
    8.1. 10G мало какой роутер может прокачать, мой микротик почти за 33 тысячи в ДНС заявляет, что может, нооооо, надо очень постараться с тюнингом правил, поэтому стараемся не нагружать его, соответственно стараемся максимальный трафик гонять в одном L3 сегменте, не перекачивая между разными
    8.2. Можно выделить отдельный L3 сегмент или физический или vlan с jumbo frame, у меня MTU 9000 дал прирост по передаче больших файлов процентов 5 даже без тюнинга NFS, а он еще процентов 5 должен дать минимум
  9. Дальше смотрите на программно-аппаратную составляющую вашу систему, понятно, что 1 HDD диск на 1 TB никак не сможет утилизировать возможности сети, которые вы заложили в предыдущих 8 пунктах
    9.1. Я начал тюнить traefik под такие скорости и грешным делом даже думал уйти с него
    9.2. Тюнил NFS и MTU как раз для снижения количества служебнного тарфика, который надо обрабатывать и пересылать
    9.3. Докидываем оперативки для arc кеша, ставим SAS диски вместо SATA, добавляем SSD кеш в ZFS пул
    9.4. Учитываем характер нагрузки, например, худшее, что может быть для дисков и NAS это торренты - куча произвольных чтений по всему диску, которые невозможно закешировать, а IOPS убивает всю производительность, а вот если вы залили ISO образ и устанаваливаете с него операционку или по iscsi крутите виртуалку на 50-100ГБ, то вполне вероятно, что SSD и RAM кеш позволит выдавать 10G скорости при слабых HDD дисках т.к. все и так будет лежать в оперативке или SSD кеше
    9.4. У меня диски не большие, но есть отдельный HDD для торрентов, отдельные рейды для бекапов и основных данных, это позволяет как раз таки одновременно качать фильм на один диск и загружать ISO образ на другой + незаметно в фоне еще выполнять регламентные задания по бекапированию (на данный момент PBS сообщает о 443 бекапах) и тут 1G сети уже мало
    9.4. Если каких-то данных не очень много, но нужна высокая скорость доступа, то рассмотрите локальное SSD хранение, например, у меня NVME накопители в PVE кластере, а HDD рейд монтируется точечно для хранения больного количества данных. Нампример, тот же immich для поиска и каталогизации фоток спокойно живет на 20-30ГБ nvme накопителя.
    9.5. в ряде случаев можно убрать дополнительные слои абстракции, например в докере network_mode: host прописать, может отказаться от докера, например, торрентокачалка у меня в lxc контейнере с alpine linux и без докера (qbittorrent-nox в alpine edge всегда в актуальной версии)
    9.6. Тюнить сетевой стек, буферы и т.д. секас с модулями ядра и sysctl в помощь
    9.7. Может потребуется покупка серверных сетевых карточек вместо встройки или дешевых PCI-E, я до этого еще не дошел, но есть видел тесты, где многопоток на интеле хорошо работает как с точки зрения сетевой карточки, так и загрузки центрального процессора
    9.8. Если используется кластер, то минимизируем обмен данными по сети, например, у меня миник с Truenas крутит в себе еще и qbittorrent и jellyfin и PBS и borg как раз таки, чтобы лишний трафик не качать по сети а держать в рамках виртуальной сети внутри гипервизора
  10. Проводите нагрузочное тестирование, находите тонкие места и правите их, можете в процессе откатиться на 1 шаг и все переделать или ковыряетесь в 9

Итого

  1. Задача комплексная и однозначного ответа дать нельзя, ну т.е. если вы раздаете торренты с одного HDD диска на скорости 10G, то тут сложно что-то предложить и скорее всего будет упираться в скорость самого диска, но в других задачах можно оптимизировать и постараться выжать больше, чем есть на старте (напрмиер, под медию я понял, что 16ГБ оперативки мне не хватает и недавно поставил 32ГБ и стало прям лучше)
  2. Ну после этого понятно, почему я городил такую схему и даже в новой версии, которую не успел залить на форум у меня еще и authentication proxy кластеризируется и крутится в одном docker compose с traefik на каждом сервере
  3. Управляемые свитчи однозначно полезны, как минимум для мониторинга того, что происходит, ну и даже MTU поднять легко можно с выделением vlan
  4. Сегментирование сети вообще это первое, что будут делать сетевые инженеры, т.е. L2 сегмент на 1000 компов и на 3-4 офиса в один прекрасный день просто упадет, DMZ в целом тоже рулит, но надо понимать, что это будет снижать нагрузки по мультикасту, что хорошо, но повышать нагрузку на роутер, а в домашней сети сегментирование больше для безопасности, например, выделить гостевой wifi, камеры, IOT сеть умного дома, DMZ в целом ок, но, 10G будет очень дорого стоить
  5. Ну и в продолжение предыдущего пункта если я выбираю между быстрым китайским свитчем на 2.5G меди и фирменным, как тут выше описывался но на 1G. то я выберу первое
  6. Сейчас в принципе отказался от фирменных свитчей, да, роутер должен быть хороший, но L3 свитчи с dot1x, voice vlan и прочими фишками дома не особо нужны
  7. Ну и тесты и тюнинг, потом еще раз тесты, потом тюнинг. Высокие скорости требуют оптимизации и глубоких знаний сетей и операционок, нельзя просто воткнуть крутую сетевушку и получить профит во всем
9 лайков
29

Великолепно :clap:
Вам бы книги писать :slight_smile:

30

По размыслив над вашей схемой пришел к выводу что достаточно 1 входа и 1 выхода Т.Е. в моем случае будет что-то типа GPON → роутер( OPNsense) 10Gb → Свич 10Gb. К свичу подключаю сервер и ПК(+сетевая на 10Gb). И в сязи с этим у меня возникает вопрос при таком подключении можно ли в полной мере реализовать OPNsense в плане гибкой маршрутизации: установки сервиса на 3 буквы, + у меня есть НА и хочется поиграться с камерами их я так понимаю можно подключить к свичу по проще через основой свич 10Gb, + хочу какие-то сервисы вывести наружу(это под вопросом), к BMC и главным мордам проксмокса вывести отдельную подсеть.

31

я с OPNsense не работал, но данная схема является базовой, в том числе для OPNsense. При желании на LAN интерфейсе OPNsense добавляются vlan для сегментирования сети.

32

ставь опенсенс в гипервизор, там можеш делать маршрутизацию между виртуалками

гпон модуль втыкаеш в свитч, делаеш отдельный вилан для него и заводиш на ван интерфейс виртуального роутера

33

Вот же любители все заворачивать на один свитч. У человека железка с 2мя 10Г интерфейами, смысл ему gpon заводить через внутренний свитч? там даже есть шанс, что в виртуалку с OPNsence можно прокинуть весь сетевой интерфейс без мостов

Ну и опять же, а нужен роутер в гипервизоре, хотя, это удобно, конечно.

34

а можно этот один порт отделить и прокинуть в виртуалку?
я читал, что не все карты это могут или драйверы

можно и в карту воткнуть

а зачем отдельная железка, если гипервизор будет работать круглосуточно
виртуальный роутер удобней

35

Я больше предпочитаю что бы не которые ресурсы были не зависимые.

36

Вот видеообзор китайкого управляемого свитча от ProHomelab

Единственное, что обзор рекламный (не в плане качества, а в плане продавана), покупать его смысла не вижу (да простит меня ProHomelab), т.к. там типа европейский продавец и покупка в ручном виде по завышенным ценам.

А эти же железки продаются на Алике с доставкой с московского склада, например, вот этот же от xikestor, а если отслеживать скидки, то во время выхода этого видео я находил за 5015р ± несколько рублей.

37
38

Вот еще свитч один вышел, как раз для хомлабы

39

У меня два SKS8310-8X. Думал с помощью модулей сделать из них универсальный коммутатор, но обнаружилась небольшая проблема. DAC кабели 10G работают отлично, модули 2,5G под медь работают отлично, а вот модули 1G под медь на одном коммутаторе работают только в 5 портах из восьми, а на другом вообще ни в одном порту не работают. А так за те копейки, сколько они стоят, хорошие коммутаторы, да и OpenWRT можно прошить, если захочется маршрутизации с маскарадингом. Можешь на своём проверить работоспособность модулей 1G?

40

Посмотрел, у меня там пока 2.5г работает, как приедет новый свитч смогу поиграться с подключением SFP модулей.

У меня есть 1 старый на 1Г медный модуль, могу на нем проверить, но даже если отложить тот факт, что как-то жалко пихать в 10Г Свитч 1Г медь, то 2.5Г модули сейчас за 929р продаются

Ну чисто из спортивного интереса смогу в 2х портах проверить старый модуль, но все равно не могу понять зачем пихать сюда 1Г модули? Может тогда купить за 5 тыр чисто медный свитч?