Truenas: примеры low power сборок строго с ECC

сначала официальной документации…

Minimum Hardware Requirements: |2-Core Intel 64-Bit or AMD x86_64 processor|8 GB memory|16 GB SSD boot device|Two identically-sized devices for a single storage pool|

We do not recommend installing TrueNAS on a single disk or striped pool unless you have a good reason to do so - означает загрузку с зеркала ssd, что означает

В Memory, CPU, and Network Considerations ### Memory Sizing: TrueNAS has higher memory requirements … is vital to maintaining peak performance. You should have 8 GB of RAM for basic TrueNAS operations with up to eight drives. … plan to use at least 16 GB of RAM for good performance and 32 GB or more for optimal performance. … * Add the suggested 5 GB per TB of storage for deduplication that depends on an in-RAM deduplication table…

Если коротко: то надо 32 ГБ ОЗУ, чтобы ТруНАС летал для небольших хранилищ. И сверху Add the suggested 5 GB per TB of storage for deduplication that depends on an in-RAM deduplication table…
Короче 64 Гб ОЗУ :slight_smile:

### Error Correcting Code Memory

Electrical or magnetic interference inside a computer system can cause a spontaneous flip of a single bit of RAM to the opposite state, resulting in a memory error. … … To summarize the lengthy, Internet-wide debate on whether to use error-correcting code (ECC) system memory with OpenZFS and TrueNAS, most users strongly recommend ECC RAM as another data integrity defense. However:…

Короче: ТруНАС разработчики СТРОГО рекомендуют использовать ECC.

### Central Processing Unit (CPU) Selection

Choosing ECC RAM limits your CPU and motherboard options, but that can be beneficial. Intel® limits ECC RAM support to workstation and server motherboards. The 13th generation of their consumer CPUs, such as the Core i5 and i7, support ECC as long as they are paired with a workstation motherboard chipset, such as the W680. Refer to Intel ARK for a full list of Intel CPUs with ECC support.

Предлагают рассмотреть следующие факторы: :

  • An underpowered CPU могут привести к проблеме bottleneck т к OpenZFS очень хорошая файловая система, много сжимает и шифрует данные (иногда) и еще ей надо проверять контрольные суммы .
  • если у вас мало но ядра крутые в CPU то у вас будет best for SMB-only workloads because of Samba, … .
  • а если все ядра крутые в CPU то тут и о виртуализации вам можно подумать и шифровании.
  • РЕКОМЕНДУЮТСЯ CPU северные… т к у них и с power и с ECC - окЭЙ.
  • A Xeon E5 CPU (or similar) is recommended for software-encrypted pools.
  • An Intel Ivy Bridge CPU or later is recommended for virtual machine use.

Еще надо помнить про режим VT-d/AMD-Vi иначе не будет у вас ничего работать нормально и видюху с сетевухой не прокините…

AMD CPUs are becoming more popular thanks to the Ryzen and EPYC (Naples/Rome) lines. Support for these platforms is limited on FreeBSD and, by extension, TrueNAS 13. However, Linux has more support, and TrueNAS 24.10 should work with AMD CPUs without issue.

Теперь ближе к теме…выбор небольшой…но он есть:

  1. Идеал - Power efficient with ECC: Intel Atom C3000 (RDIMM) series, но их ставили только в серверные проф.платы… БУ будет стоить больше 20 тыр и их крайне мало. Можно также такие атомы найти в китайских безыентиляторных изделиях. Огромный плюс в том, что тут по возрослому - 1-2 10 ГБ сетевых порта и еще несколько 2,5 Гб… дисков несолько десятков
  2. Intel Xeon-D ( RDIMM) or Xeon E (UDIMM) - тут больше жрет в 1,5 раза…но в целом то же, только серверые платы…дорого даже на бу и выбора нет… новые стоят под 50…100 тыр

Выбирать потреюбление более 45 Вт у проца - не вижу смысла, у меня Зеон на 10 ядер имеет TDP 55 Вт. Поэтому - до 35 Вт еще кое-ка…
и…пока только реальным к покупке нашел Intel Core i3-9100T
(обязательно с индексом Т).
К нему надо подбирать только те мат.платы, которые поддерживают ECC

1 лайк

У меня есть офигительная история про 64ГБ ОЗУ

Знаю такую историю: для тех у кого память не ECC - много памяти только вредит :slight_smile:

Еще хорошие новости: Intel Enables ECC Memory on Consumer Alder Lake CPUs | Tom's Hardware

Но есть и недостаток в такой новости - процессоры 12го поколения поддерживают ECC память все… Но только на чипсете W680…
Так..надо аккуратно смотреть модель проца интел…если с К, то наверно не держит ECC: Intel W680 DDR5 and ECC Reporting | ServeTheHome Forums

И еще растройство с w680 - пока нахожу за 55 тыр и выше https://www.dns-shop.ru/product/edb0a124ca1ced20/materinskaa-plata-asus-pro-ws-w680m-ace-se/

Нет, на одном проекте раз в пару недель разработчики ко мне приходили и показывали рекомендуемые характеристики для БД на Амазоне, там тоже 32 или типа того рекомендовано было, а у нас 4 или 8, причем, это случалось аккурат после очередной задачи по выборке данных.
В итоге я отправлял их оптимизировать запросы и о чудо, вместо 20 секунд, запрос начинал отрабатывать 50мс.

Через пару недель ситуация повторялась…

БД, ктати, была несколько ГБ размером, явно не для 32Г оперативки

Это не то :slight_smile: во-первых, наврятли вы сможете послать разработчиков трунаса и ЗФС оптимизировать. Во вторых пишут эти разработчики ссылаясь на архитектуру решений в зфс…другими словами, если у вас нет памяти, то зачем тогда зфс…

Ну тут скорее про то, что рекомендации, наверное, даются для ентерпрайзных решений

  • 4x 1G Base-T
  • 2x 10G Base-T
  • FC 2 x 32 Gb
  • Max Throughput 2 GByte/s – 8 GByte/s
  • DRAM Per Controller 64 GB - 128 GB / 128 GB - 256 GB / 256 GB
  • Max Drives Supported 72 / 114 /114

Это когда у вас несколько десятков виртуалок по iSCSI работают, какой-нить бекап на сотню ТБ и еще по NFS монтируются PVCшниые волюмы в K8S

Когда дома truenas используется для хранения фоточек, бекапчиков, киношечек и прочего, и вы читаете тему про китайские свитчи 2.5Г, то рекомендации по ZFS будут несколько скромнее тех, которые рекомендует вендор своим коммерческим клиентам.

Те же домашние NAS synology/gnap/ugreen редко имеют больше 4ГБ оперативки, но не все используют ZFS, некоторые еще и btrfs и даже ext4

1 лайк

Вот интересный вариант кодпинули Материнская плата Supermicro X10SDV-4C-TLN2F (Mini-ITX, BGA1667, 4 DIMM) [MBD-X10SDV-4C-TLN2F] купить в Москве, Санкт-Петербурге с доставкой по России - цены

Тип Б/У
Парт.№ MBD-X10SDV-4C-TLN2F
Форм фактор Mini-ITX
Сокет материнской платы FCBGA1667
Чипсет System on Chip
Кол-во процессоров 1
Процессор Intel Xeon D-1521
Кол-во DIMM 4
Наличие IPMI IPMI 2.0
Встроенная сетевая карта System on Chip
Встроенный RAID контроллер SoC контроллер для 6 SATA3 (6 Gbps) порты; RAID 0,1,5,10
Слоты M2(NGFF) 1x PCIe 3.0 x4
Максимальный объем оперативной памяти: 128GB Registered ECC RDIMM
Кол-во портов PCI-E X16: 1
Версия PCI-E: 3.0

БУ и непонятно сколько в наличии, но это SuperMicro, а это вам не всякие хуняняджи

Видео про сборку NASа на плате с установкой debian с самонасом
Из минусов

  • 45Вт TDP, но есть за 54700 на C3758
  • Процу скоро уже будет 10 лет, еще Broadwell архитектура
  • При этом на 4.5% мощнее N100/150
  • Нет встроенного видео, для установки ОС используется BMC (2D Video Graphic Adapter with PCIe bus interface)

этих продавцов много раз за сегодня просматривал. Цены не то чтобы срдение, скорее высокие.
вот за 36 тыс.руб. уже готовый мини-ПК, да еще и бесшумный: https://www.ozon.ru/product/qotom-mini-pk-intel-atom-c3758r-ram-8-gb-ssd-128-gb-intel-graphics-chernyy-matovyy-1759382105/?at=16tL3KLGvCYw9PpYSBv3k0jU9vvoQvcYo2VgPfO27YM6

на сайте этого же Qotom есть отдельные платы и цена 22 тыс руб…хотя и не супермайкро…вы что так уцепились то - мини-ПК хотуб ожин есть фирменный и не не китайских самодельных платах?

кроме этого, D-1541 - древнее Atom C3000 серии, поэтому нафиг

а в целом идею Pentium d-15xx и Atom C3xxxx - уже отбросил. Причина - цена высокая за такую древность. Ставили только в серверные продукты и в разные промышленные изделия.
Как раз вам можно обратить внимание, кажется там 12 Вольтовый вход.

таак… найти исполнение миниПК или франкештейнов-процессоров на базе мобильных Ryzen 7 PRO 6850U пока не удается…

находится только xeon наверно для ноутов типа Xeon W-1290TE и аналогичные Процессор Intel Xeon W-10885M будет разгоняться до 5,3 ГГц

но все что более менее в серверном исполнении стоит даже китайское не адекватно https://aliexpress.ru/item/1005007840231114.html?sku_id=12000042436367680&spm=a2g2w.productlist.search_results.0.3e396b434VceB2

Если не ошибаюсь, то Intel из выпускали для Mac Pro

Ну я бы не сказал, что стоит неадекватно, по сравнению с супермикро по цене за попугай очень неплохо стоит, на самом деле.
Я сравнил его с моим десктопным по синтетике и получилось даже мощнее моей ряженки, по цене у меня мать + проц 26К выходят.

Тут же имеем

  • Типа энергоэффективность, которую надо реально замерять т.к. у меня по документам 65Вт, по факту 130-140Вт если крутить до отсечки
  • ECC память, но распаяна ли она на материнке?
  • Скорее всего, 1Г сеть, но как написано, там PCI-E gen 4, сейчас начали выходить pci-e x1 сетевушки китайские, можно еще за 6-8к проапгрейдить
  • Есть ли вообще какая-то документация по плате? На алике только фотки и пометка “Теперь эта материнская плата будет поставляться только со старым и маленьким радиатором VRM.”

Если не смущает, что это все та же хуананжи с ненулевой вероятностью, что через год что-то в ней отвалится, что никакой документации и надо будет осваивать методом научного тыка, то

И можно получить очень тихий и мощный NAS/сервер

Но нижний pci-e порт gen 3 или 4?

высота строго ограничена, 100 мм…желательно 90 мм для корпуса…корпус то есть :slight_smile:

хуананжи и т п можно брать после обзоров и выяснения всего, я своим вариантом доволен, можно ничего не менять и не покупать

по этой серии плат есть обратная связь:

на коробке к плате написано, что “non-ecc”… придется видео смотреть…посмотрел:

  1. потребление без дискретной карты - до 150 Вт под нагрузкой, потом обрезает до 100 Вт … но на экране рисует паспортные 45 Вт :slight_smile: короче… этих мутантов делают под игры и разгон…не пойдет.
  2. также у мужика ECC память не запустилась вообще…

уэтой конторы есть прямо под NAS, есть прямо под NAS но уже процы без заявку на экономию…там вообще бомба:

  1. Reddit — Сердце сети
  2. https://www.youtube.com/watch?v=wo5VwQFK1GU
  3. а тут интересная есть вставка обзорщика… типа барахолки с комплектующими :slight_smile: https://www.youtube.com/watch?v=l7Tyv-0hj6A

Итого: брать не буду…мутанты не для тихого НАСа :slight_smile: с ECC

1 лайк

вот он, красавец: Intel Xeon E3-1240L v5 Specs | TechPowerUp CPU Database
Reddit — Сердце сети

грусть в том, что все равно нужна видюха, а этой все равно + 10…30 Вт

ну и наверно последнее, что стоит проверить - это сокет AM4…там вроде много должно быть…главное чтобы вопросы цены опять не остановил:

  1. AMD Ryzen 7 PRO 5750GE Specs | TechPowerUp CPU Database - не нашел в продаже
  2. AMD Ryzen 7 PRO 4750GE Specs | TechPowerUp CPU Database - нет в продаже, только один продавец на али за 16 тыс руб…
  3. AMD Ryzen 5 PRO 5650GE Specs | TechPowerUp CPU Database
  4. 4655GE
    короче… нет рязаней в наличии по 35 Вт и с ECC, только в неттопах продают :slight_smile:

Очень специфичные требования. Типа и на Х сесть и рыбку съесть

поднимаем планку по цене:

AMD Ryzen 5 PRO 5655GE OEM - https://www.dns-shop.ru/product/536cf58d2ed8d582/processor-amd-ryzen-5-pro-5655ge-oem/

12 тыс руб…

Процессор Intel Core i5-11400T OEM - https://www.dns-shop.ru/product/5086bcd3dee8d582/processor-intel-core-i5-11400t-oem/

15 тыс руб…

а к ним еще память , наверно, дорогая…а материнскач плата для Интела с ECC какие-то единичные модели…

НАПОМНЮ мнение официальное TrueNAS: Error Correcting Code Memory

Electrical or magnetic interference inside a computer system can cause a spontaneous flip of a single bit of RAM to the opposite state, resulting in a memory error. … … To summarize the lengthy, Internet-wide debate on whether to use error-correcting code (ECC) system memory with OpenZFS and TrueNAS, most users strongly recommend ECC RAM as another data integrity defense. However:…

Короче: ТруНАС разработчики СТРОГО рекомендуют использовать ECC.

и… вариант с TDP процессора 55 Вт у меня уже есть…наверно NAS все таки хорошо получить более экономный…потому что видеокарта дискретная еще отъедает…

так что кто хочет TrueNAS и пробует без ECC … проблема тлько в ценах и доступности в текщий момент комплектующих…

Так… Выясняется, что встроенные igpu AMD не так сильны в кодировании, как интел…
Маятник качнулся в сторону Intel CPU With Ecc Support - TechBloat

Но в любом случае ценовой фактор также придется учитывать… ,nvidia типа p620 стоят около 5 тыс руб, а типа t1000 - 10 тыс руб… Но нужен ценный слот…который хотелось бы приберечь…

ге ставят только в минипк, их нет в рознице