# LLM на Proxmox. Как лучше ставить? **URL:** \ **Category:** AI | ML | CV\ **Tags:** llm\ **Created:** [03.Август.2025 05:07:57 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646 "2025-08-03T05:07:57Z")\ **Posts on this page:** 6\ **Page:** 1
**Author:** ![Amofess](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/amofess/32/826_2.png) [@Amofess](https://forum.samohosting.ru/u/Amofess)\ **Post date:** [03.Август.2025 05:07:57 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/1 "2025-08-03T05:07:57Z")
Как лучше ставить нейронку на Proxmox? Докер контейнер? Виртуалка? ---
**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\ **Post date:** [03.Август.2025 07:20:52 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/2 "2025-08-03T07:20:52Z")
А чем LLM отличается от других сервисов? Отличия и подходы к разворачиванию тут уже кучу раз обсуждали ---
**Author:** ![nab0y](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/nab0y/32/184_2.png) [@nab0y](https://forum.samohosting.ru/u/nab0y)\ **Post date:** [03.Август.2025 07:53:30 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/3 "2025-08-03T07:53:30Z")
Доступом к видеокарте, как минимум. ---
**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\ **Post date:** [03.Август.2025 11:10:29 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/4 "2025-08-03T11:10:29Z")
> [@nab0y](#): > > Доступом к видеокарте, как минимум Ну тут обычно рекомендуют поднимать VM, пробрасывать видеокарту как PCI устройство и включать галку make primary GPU ![image](https://forum.samohosting.ru/uploads/default/original/1X/7823eaab7b3861e331cca3f503fbdd146cb7565f.png) Можно почитать ещё [wiki](https://pve.proxmox.com/wiki/PCI_Passthrough) Как я уже [писал ранее](https://forum.samohosting.ru/t/lxc-vs-vm-dlya-dokera-i-ne-tolko/488), VM работает лучше, функциональность выше, но потребляет больше ресурсов. Если стоит задача просто поднять одну виртуалку и загнать туда LLM, то в рамках требований самих LLM оверхед гостевой ОС будет не так заметен по сравнению с основной задачей. Ну и надо учитывать тот факт, что шарить видеокарту между VM можно только для серверных NVidia и то количество виртуальных GPU ограничено, с LXC можно шарить одну видеокарту между несколькими контейнерами, у меня так jellyfin и frigate работают т.к. - LXC шарит верхнеуровневое устройство в `/dev/dri` соответственно, драйвера должны быть на хосте (т.к. LXC, Docker и пр. это просто обертка над cgroups) - VM пробрасывает PCI интерфейс и драйвера, низкоуровневая работа с карточкой логатся на гостевую ОС Первое, по сути, является разграничением прав, второе полноценной паравиртуализацией, с которой современные гипервизоры справляются очень хорошо ---
**Author:** ![Amofess](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/amofess/32/826_2.png) [@Amofess](https://forum.samohosting.ru/u/Amofess)\ **Post date:** [03.Август.2025 17:28:19 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/5 "2025-08-03T17:28:19Z")
Я правильно понимаю, что расшарив свою P102-100 в одну VM я не смогу использовать в другой VM/LXC (одновременно имею в виду)? ---
**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\ **Post date:** [03.Август.2025 18:58:24 UTC](https://forum.samohosting.ru/t/llm-na-proxmox-kak-luchshe-stavit/646/6 "2025-08-03T18:58:24Z")
- LXC можно переиспользовать в нескольких контейнерах одновременно - VM устройство удаляеться из хоста вплоть до невозможности вывода консоли и передается полностью и эксклюзивно в виртуалку, при попытке запуска другой виртуалки с этой же видеокартой получите ошибку