Как лучше ставить нейронку на Proxmox? Докер контейнер? Виртуалка?
1 лайк
А чем LLM отличается от других сервисов? Отличия и подходы к разворачиванию тут уже кучу раз обсуждали
Доступом к видеокарте, как минимум.
Ну тут обычно рекомендуют поднимать VM, пробрасывать видеокарту как PCI устройство и включать галку make primary GPU
Можно почитать ещё wiki
Как я уже писал ранее, VM работает лучше, функциональность выше, но потребляет больше ресурсов. Если стоит задача просто поднять одну виртуалку и загнать туда LLM, то в рамках требований самих LLM оверхед гостевой ОС будет не так заметен по сравнению с основной задачей.
Ну и надо учитывать тот факт, что шарить видеокарту между VM можно только для серверных NVidia и то количество виртуальных GPU ограничено, с LXC можно шарить одну видеокарту между несколькими контейнерами, у меня так jellyfin и frigate работают
т.к.
- LXC шарит верхнеуровневое устройство в
/dev/driсоответственно, драйвера должны быть на хосте (т.к. LXC, Docker и пр. это просто обертка над cgroups) - VM пробрасывает PCI интерфейс и драйвера, низкоуровневая работа с карточкой логатся на гостевую ОС
Первое, по сути, является разграничением прав, второе полноценной паравиртуализацией, с которой современные гипервизоры справляются очень хорошо
3 лайка
Я правильно понимаю, что расшарив свою P102-100 в одну VM я не смогу использовать в другой VM/LXC (одновременно имею в виду)?
- LXC можно переиспользовать в нескольких контейнерах одновременно
- VM устройство удаляеться из хоста вплоть до невозможности вывода консоли и передается полностью и эксклюзивно в виртуалку, при попытке запуска другой виртуалки с этой же видеокартой получите ошибку
1 лайк