Здрасте, помогите подобрать видеокарту для сервера.
Цели:
запуск LLM
работа с ffmpeg (jellyfin, frigate)
Критерии для отбора
ПО, совместим ли с Linux, можно ли прокинуть в контейнер
кол-во видеопамяти хотелось бы не меньше 12гб а чем больше тем лучше
производительность
цена
Я знаком только с Nvidia но они запредельно дорогие либо с малым запасом памяти, плюс самые убогие драйвера для Линукс, а для работы в контейнере даже специально припоны ставят, мол покупай Тесла.
Поэтому надеюсь тут есть знатоки амд или Intel слышал у них с этим по лучше но не шарю
На этот раз обойдемся бел лонгридов, т.к. и сказать больше нечего.
Ладно, ладно, чуть распишу:
ffmpeg (jellyfin) - у меня первый работает на встройке n100 и на встройке AMD 5825U - этой производительности хватает за глаза
ffmpeg (frigate) - на этом же железе на AMD работает нормально (ну или не точно), на intel сыпется
ffmpeg в принципе - не знаю, как на топовом железе, но еще год назад видеокодер красных был просто ужасен, я пробовал встройку (хваленую) на AMD, потом новую AMD, из недорогих, потом Nvidia 2060 super БУшку взял, в итоге в видеокодировании результат намного лучше, как в davinci resolve так и в OBS, специально искал тесты кодеров сопоставимых видеокарт и там отставание красных по FPS было чуть ли не на порядок + заметно ниже качество.
LLM - все тесты, что я видел под LLM и Linux были на nvidia, все тесты топовых видюх без линукса тоже показывали лучшие результаты у Nvidia по соотношению колиество токенов в секунду на доллар
Проприетарные драйвера + софт, имхо у зеленых лучше, у меня получилось запустить некоторое подобие nvidia broadcast под Linux, у AMD этого нет даже под Windows
Nvidia единственная, которая позволяет нарезать видеокарту на виртуальные для использования в виртуалках - дока
Красные для игр, зеленые для работы
Я бы посмотрел в сторону современных процов от AMD которые AI, но только бы посмотрел, честно, не знаю что они могут.
А так, по мотивам LLM и прочее можно накостылить и будет работать на AMD и народ пишет, что можно запускать бОльшие модели за счет бОльшего количества VRAM за эти деньги, но сколько токенов будет выдавать в секунду? И вся ИИ в первую очередь разрабатывается под Nvidia, а во вторую уже под другие платформы
Интел на уровне встройки мне не зашли, есть у них что-то современное в дискретном исполнении?
Китайские видюхи недавно начали появляться и они вроде показывают неплохие результаты за свои деньги, но вопрос в совместимости и драйверах, скорее всего останетесь один на один с этой видюхой и ее проблемами
Забавно, у меня на сервере стоит 1060 и каждое подключение ее в контейнер это боль болючая и кажется только jellyfin с ней все таки начал работать, встройки на проце нет о чем постоянно жалею. В общем после этого на зеленых поставил крест. Но возможно зря.
Для LLM понятно что 10xx совсем не подходят так что даже не пробывал.
Если я правильно вас понял то мне подойдет какая-нибудь б/у Тесла или rtx 30хх/4хх.
Спасибо.
Если кто еще пробывал amd Intel или каких-нибудь китайцев опишите свой опыт плиз
Как я уже написал, для jellyfin, immich и frigate хватает и встройки. Я даже до проблем с интернетом пробовал в парке смотреть джона уика 3, он у меня на 80ГБ вроде, полный фарш, так вот скорости хватало на то, чтобы перекодировать на лету с 4к на 1080, упаковывать это все в WG на роутере и смотреть с телефона, где jellyfin работает через WG туннель.
Для LLM у меня 2060 Super на 8ГБ и я пробовал запустить nvidia-llama3-chatqa-1.5-8b, qwen 2.5-coder, deepseek-r1-qwen3-8b и могу сказать только то, что все это локально работает просто ужасно.
Под мое железо подумываю через годик взять бу 4070 ti super, но могу сказать, что для полноценного LLM даже этого мало. Более или менее примлемые результаты, соизмеримые с облачным бесплатным deepseek можно получить только на 5080-5090 а стоит оно того? Поэтому выпишите задачи, которые хотите от ИИ и далее посмотрите тесты на ютюбе + учитывайте, что видеокарты с 16ГБ оперативки контекст не особо то и держат, у меня 8Гб не хватало для того, чтобы рассказать сказку на 50 слов
Встройки у меня нет поэтому по любому придется jellyfin на GPU переводить, на проце работает нормально , но можно же лучше.
В по llm хочется иметь постоянно запущенную модель для кодинга, и может всяк мелочёвку для узких задачь, на моем компе стоит 4070 ti.
Ей конкретно памяти не хватает 12 гб мало для нормальной LLM.
Вот и думаю может есть какое-то решение по дешевле по слабее но с нормальной памятью а кроме зеленых ни каких карт и не знаю.
В поисках вариантов установить драйвера на Proxmox для моей AMD RX 550 2GB понял, что наличие опенсорсных драйверов на видекарты AMD по факту в 2025 году уже является не гарантией работоспобности видеокарт в Линуксе…а гарантией глюков и низкой производительности?
подбираю сейчас аналог lowprofile видеокарты для ffmpeg -сценария использования… в данной ветке прочитал про техногологию NVIDIA vGPU и понимаю, что это краеугольная фича, чтобы не заниматься всякими пробросами и обеспечить использования мощности GPU не только в proxmox LXC, но и в любой виртуалке. Правильно ли я рассуждаю?
The following consumer/not-vGPU-qualified NVIDIA GPUs can be used with vGPU:
Most GPUs from the Maxwell 2.0 generation (GTX 9xx, Quadro Mxxxx, Tesla Mxx) EXCEPT the GTX 970
All GPUs from the Pascal generation (GTX 10xx, Quadro Pxxxx, Tesla Pxx)
All GPUs from the Turing generation (GTX 16xx, RTX 20xx, Txxxx)
Note: There is not a strict list for supported consumer cards, however you could check out the [Successful setups channel at …]…).
Starting from driver version 17.0, Pascal and earlier require additional patches, see […) for more!
If you have GPUs from the Ampere and Ada Lovelace generation, you are out of luck, unless you have a vGPU qualified card from like the A5000 or RTX 6000 Ada. If you have one of those cards, please consult the [NVIDIA documentation] for help with setting it up.
!!! THIS MEANS THAT YOUR RTX 30XX or 40XX WILL NOT WORK** !!!**
На хабре была статья про хакинг быловых видюх, там в драйвере рашито ограничение, но при попытке обойти его выяснилось, что увеличение количества потоков приводит к снижению итоговой производительности т.к. видеокарта имеет на аппаратном уровне крупные “видеоядра”, которых в бытовых видеокартах меньше и при увеличении количества потоков происходит выстраивание в очередь этих потоков на одно видеоядро
Пока получается, что вариант nvidia quadra t1000 - вполне кандидат , low profile, tdp - 50 Вт вроде…и архитектураTuring и цена бу в пределах 10 (4 Гб ОЗ)…15 (8 Гб ОЗУ)…тыс руб
Учитывая, что у меня материнка толькл с pci 3.0 и старым zeon … Наверняка 4 Гб ОЗУ мне хватит…
тааак …выясняется: T1000 с плохим охладом, гудящей турбиной и лучше смотреть на 1650 lowprofile…
а самое интересное…выясняется, что vGPU формально требует скачивания "…лицензии официально недоступные в России( или hacker’s design для обхода лицензирования nvidia …).
Radeon Pro V620 является единственной потребительской видеокартой, которая все еще поддерживает технологию AMD MxGPU. Скорее всего, в будущем AMD уберет это решение из списка поддерживаемых GPU, заменив Radeon Pro V620 на более современные профессиональные ускорители или оставив поддержку только для графических ускорителей корпоративного уровня. устаревшие GPU Radeon Pro V620 MxGPU для рабочих станций подойдут только для виртуализации графики
… NVIDIA vGPU — это программная виртуализация, работающая на уровне драйвера. Она требует обязательного приобретения дорогостоящих лицензий NVIDIA vGPU. *
NVIDIA MIG — это аппаратное разделение вычислительного ядра GPU на изолированные экземпляры (инстансы). Лицензии на саму технологию MIG не требуются, так как она интегрирована в архитектуру GPU на уровне компонентов.
AMD MxGPU — это аппаратное разделение GPU на уровне PCIe через стандарт SR-IOV. Как и MIG, технология MxGPU не требует никаких дополнительных лицензий на использование.
таак, а что тогда с лицензированием nvidia? в интернетах что-то пишут “про локальный способ лицензирования”…но практический вопрос - какие ритуалы мне надо будет совершить , кроме инструкции на сайте Проксмокс, чтобы nvidia vGPU заработал у меня в РФ?
Но у Вас есть шанс купить MI300X (минимальная, из тех, что нашел в наличии из списка поддерживаемых в статье) за 6 лямов и написать статью тут, я даже не гляда лайк поставлю.
А вот этот репозиторий смотрели?
Смущает, правда, что последний коммит был 4 года назад
Какое то не веселое вездк чтиво про vgpu…как то все больше хочется забить на виртуализацию gpu и просто те сервисы ( jellyfin, frigate), которые требуют gpu ставить на отдельных proxmox lxc…
Я так и поступил, тем более, что в самохостинге особого смысла в виртуалках нет. А за стоимость АМДшкной видющи с аппаратным vGPU можно собрать сервер с эпиком на 100500 pci линий и пачку 4060 под каждый сервис воткнуть.
А “на сейчас”, чтобы порекомендовали из GPU, учитывая, что проц у меня зенон v4, шина PCI толькл v3?
Может закостылить текущую amd rx 550 2 Gb? Или купить не дорого типа nvidia p620?
тут такое дело…на просторах маркет плейсах присутствуют бу Видеокарта Видеокарта Nvidia Tesla K80 24Gb GDDR5 PCIe 3.0 300w 24 ГБ (nvidia tesla k80) - по 10 тыр. Мне - не надо, но может кому-то…
- 
понял, что наличие опенсорсных драйверов на видекарты AMD по факту в 2025 году уже является не гарантией работоспобности видеокарт в Линуксе…а гарантией глюков и низкой производительности?
