Сейчас стоят 3х1166, порты заняты не все, но в целом портов 16 надо в итоге.
На матплате есть 2 варианта куда воткнуть: 1 x PCIe 4.0 (в режиме x4), 1 x PCIe 4.0 (в режиме x16), слоты полноразмерные оба, разница только в количестве разведённых линий. PVE9, прокидывания всего контроллера в виртуалку не будет.
Ищется вариант за вменяемые деньги чтобы заменить этот колхоз на 1 платку. Из хотелок - PCIe 4.0 в режиме x4 по итоговой скорости вполне устроит. Никаких аппаратных райдов тоже не надо, чистый HBA, остальное ZFS разрулит. Варианты китаемонстров где на одну плату напихали 2-3 чипа 1166/585 тоже мимо.
Что выбрали в итоге?
В итоге куплен LSI 9400-16i, горячий (без вентилятора более 50 градусов даже в простое без дисков). Удалось заколхозить тонкий (15мм по высоте) вентилятор на штатный радиатор (у меня это самый нижний слот на плате, по размеру еле влезло по высоте до дна корпуса, на дне штатная перфорация уже есть), воткнут в х1 слот, полёт нормальный. Модель выбрана из-за нормальной поддержки SSD дисков. Скорость мои задачи закрывает. Никакого проброса в виртуалки нет, как оно там будет работать даже не тестил за ненадобностью. Массивы ZFS проброшены в LXC контейнеры штатными средствами прокса. Из плюсов - кабели сата более тонкие, чуть получше стало с вентиляцией внутри корпуса. Перешит в IT режим, пара часов плясок с поисками прошивки и всё получилось. SMART дисков в прокс прилетает нормально.
Доброго времени суток!
Господа, не нашел подходящей темы, пишу здесь. Админ, если есть подходящая прошу перекинуть.
Есть 2 mini-PC от разных производителей но по “кишкам” однояйцевые братья, один из них от GenMashin на 7430U, (второго производителя сейчас не вспомню) с двумя разъемами под nvme накопители.
Суть проблемы: при установке второго накопителя или платы расширения под sata на чипе JMB585 перестаёт работать lan порт. При чем миник можно разбудить по WOL, можно из консоли дать команду активировать и загорается диод, но порт остается “глух и нем”, как не принимает пакеты, так и сам не отдаёт ничего.
Подозреваю что нужно ковырять настройки биос, но где и что смотреть не знаю. Прошу подсказать тех, кто может сталкивался с подобным и использует подобные платы или второй накопитель в минике.
Добавлю сюда кратенькую выжимку из тг чата по теме выбора SATA контроллеров:
LSI и подобные взрослые контроллеры имеют ряд особенностей, которые надо знать при выборе:
- Запуск подключённых дисков по очереди, позволяет не насиловать БП огромными пусковыми токами и снизить общие требования к мощности БП.
- Обязательная прошивка свежей версией ПО, с интернет-магазинов приезжают как правило с очень древними прошивками.
- Адекватное прокидывание всего контроллера вместе с дисками в виртуальную машину типа TrueNAS (привет любителям 1166 и их страданиям с прокидыванием контроллера).
- Кабели SATA-SATA вам как правило не подойдут, выгоднее сразу заказывать комплект с кабелями типа SFF-8643 - 4 SATA (или другими, смотрите доку на ваш контроллер). Заказывать кабели отдельно выйдет дороже.
- Контроллеры греются. Нет, не так. ГРЕЮТСЯ!!! В простое без охлажения и нагрузки легко можно получить ожоги от радиатора. Поэтому заранее думайте как вы это будете охлаждать в вашем случае.
- Самое вкусное - цена. Если до 6 портов ещё можно смотреть на 575/585/116х и прочие расширители портов, то в случае надобности более 6 портов становится дешевле брать LSI, цена за порт становится дешевле.
- Ограничение скорости. Если у вас много дисков - упрётесь в пропускную способность платы типа 575/585/1166, они как правило умеют использовать только 1-2 линии PCI-E. У промышленных контроллеров сразу х8 линий. При этом если вы их воткнёте в х1 слот они так же будут работать, только упираться будут уже в скорость слота. На практике 9400 у меня воткнут в PCI-E х1 3.0, скорость примерно 1 Гигабайт/с но под мои задачи этого достаточно, так и было задумано.
- Про тонкие кабели для SATA уже писал тут выше, но повторюсь - удобнее в прокладке, чем стандартные SATA.
- Есть переходники для подключения к таким контроллерам и NVME, это уже на ваш выбор.
Вот это интересно как реализуется и настраивается, он то питание не подает непосредственно на диски.
Вот тут даже интересно стало, не слышал про проблемы с прокидыванием
Ну вот тут минус данных контроллеров, у меня миник текущий NASовский меньше потребляет чем один только контроллер
| HBA | Типичное потребление |
|---|---|
| LSI 9300-16i | около 27 Вт |
| LSI 9305-16i | около 16,2 Вт |
| LSI 9400-16i | 11,95 Вт |
Тут на самом деле, ситуация напоминает зеоны: дешевые LSI 9300, но они греются и старые, LSI 9400-16i современней, но цена в 2 раза больше, ну и эти контроллеры уже EOL
На сайте производителя прошивки уже убрали из каталога да и сами карты скрыли, мне GPT прямую ссылку скинул, а те, что на reddit были уже не работают
Это несомненный плюс данных контроллеров. 575/585/1166 ради экономии ограничивают 1 линией.
Обидно за контроллер, с таким же успехом можно было и 575/585/1166 воткнуть
При наличии обвязки можно подключать еще и SAS диски на скорости в 2 раза больше
А вот тут ниже сравнительная таблица
Сравнительная таблица
| Характеристика | 9300-16i | 9305-16i | 9400-16i |
|---|---|---|---|
| Поколение | Старое | Новее | Новее, Tri-Mode |
| Контроллер | 2 × SAS3008 | SAS3224 | SAS3416 |
| Интерфейс PCIe | 3.0 x8 | 3.0 x8 | 3.1 x8 |
| SAS | 12 Гбит/с | 12 Гбит/с | 12 Гбит/с |
| SATA | 6 Гбит/с | 6 Гбит/с | 6 Гбит/с |
| NVMe | Нет | Нет | Да |
| Внутренние порты | 16 | 16 | 16 |
| Разъёмы | 4 × SFF-8643 | 4 × SFF-8643 | 4 × SFF-8643 |
| Типичное потребление | 26,9 Вт | 16,2 Вт | 11,95 Вт |
| Дополнительное питание | Есть разъём на плате | Не требуется | Не требуется |
| IT mode | Да | Да | Да |
| Для TrueNAS/ZFS | Да | Да | Да |
ИИшка кратенько пересказала официальную доку LSI:
Контроллеры LSI (ныне Broadcom / Avago) производят последовательный запуск подключенных накопителей с помощью технологии, которая называется Staggered Spin-Up (SSU).
Эта функция необходима для того, чтобы избежать перегрузки блока питания сервера. В момент включения жесткого диска его стартовый ток (для раскрутки шпинделя) может в 2–4 раза превышать потребление в режиме ожидания. Если запустить десятки дисков одновременно, сработает защита БП по току.
Последовательный запуск на контроллерах LSI реализуется на аппаратном и программном уровнях следующим образом:
1. Физический механизм: управление по шине (SAS/SATA)
Способ управления зависит от типа интерфейса подключенного диска:
- Для SAS-дисков: Контроллер использует стандартные команды протокола SCSI. При подаче питания диски изначально находятся в состоянии «скрытого» ожидания (команда
NOT READY). Контроллер поочередно посылает на каждый диск командуSTART STOP UNITс флагом запуска. Диск начинает раскручиваться только после получения этой команды. - Для SATA-дисков: Используется управление через сигнальные линии интерфейса. Контроллер удерживает диск от старта, управляя состоянием линии
Phy(физического уровня). Пока контроллер не инициализирует конкретный SATA-порт и не снимет блокировку, диск не начнет раскрутку.
2. Временные задержки (Тайминги)
Процесс управляется микропрограммой (Firmware) контроллера. В настройках BIOS/UEFI контроллера (LSI Storage Authority, Avago MegaRAID Configuration Utility) существуют два ключевых параметра, которые определяют логику запуска:
- Staggered Spin-Up Count (Количество одновременно запускаемых дисков): Указывает, сколько дисков контроллер может «поджигать» одновременно в одной группе. Обычно это значение по умолчанию равно 1, 2 или 4 дискам.
- Staggered Spin-Up Delay (Задержка запуска): Интервал времени в миллисекундах или секундах между запусками групп дисков. Как правило, стандартная задержка составляет от 1 до 6 секунд (этого времени достаточно, чтобы первая группа дисков вышла на рабочие обороты и снизила потребление тока).
3. Алгоритм работы при включении сервера
- Подача питания: Включается сервер, питание подается на бэкплейн (корзину) и контроллер. Диски получают питание, но их шпиндели не вращаются (или вращаются на минимальных сервисных оборотах, если это разрешено прошивкой).
- Опрос топологии: Контроллер инициализируется и сканирует порты/экспандеры, определяя, какие диски подключены.
- Поэтапный запуск: Контроллер берет первую группу дисков (согласно настройке Count), отправляет им сигнал на старт. Начинается отсчет таймера (Delay).
- Ожидание и переход к следующей группе: Как только таймер истекает (или контроллер получает подтверждение от дисков, что они готовы), контроллер дает команду на запуск следующей группы.
- Завершение инициализации: Процесс повторяется, пока все диски не будут раскручены. Только после этого контроллер переходит к сборке RAID-массивов и передает управление загрузчику операционной системы.
Если вы хотите изменить эти параметры или у вас возникают проблемы с долгим стартом сервера, вы можете настроить параметры Spinup Delay и Spinup Drive Count в меню конфигурации контроллера (Ctrl+R при загрузке или через веб-интерфейс LSA).
Если вы смотрите на эти контроллеры - вы из размеров миника выросли))) Добро пожаловать в корпуса побольше (от SFF до Full Tower). А потом до стойки дома рукой подать)))
Ага, у меня древний LSI 2008 на 8 портов (вроде такой, не помню уже точно), купленный в 2015 году, работает, современным Proxmox подхватывается из коробки. Проблема только в прошивках может быть, но при желании найти можно. Мы ж для себя для дома собираем, а не ЦОД) Так что самый важный критерий цена за порт, а остальное технически решаемо.
Почему? Мне надо было много портов, изначально хотел на x4 посадить, но там внезапно нарисовалась вторая видимокарта, а разницу в работе я реально не увижу. По сетке 500Мбайт/с прокачивает массив в обе стороны, задача решена. Скраб пролетает ночами, даже не смотрю за ним.
За сравнительную таблицу спасибо, я её пропустил в чате.