Ну тут обычно рекомендуют поднимать VM, пробрасывать видеокарту как PCI устройство и включать галку make primary GPU
Можно почитать ещё wiki
Как я уже писал ранее, VM работает лучше, функциональность выше, но потребляет больше ресурсов. Если стоит задача просто поднять одну виртуалку и загнать туда LLM, то в рамках требований самих LLM оверхед гостевой ОС будет не так заметен по сравнению с основной задачей.
Ну и надо учитывать тот факт, что шарить видеокарту между VM можно только для серверных NVidia и то количество виртуальных GPU ограничено, с LXC можно шарить одну видеокарту между несколькими контейнерами, у меня так jellyfin и frigate работают
т.к.
- LXC шарит верхнеуровневое устройство в
/dev/driсоответственно, драйвера должны быть на хосте (т.к. LXC, Docker и пр. это просто обертка над cgroups) - VM пробрасывает PCI интерфейс и драйвера, низкоуровневая работа с карточкой логатся на гостевую ОС
Первое, по сути, является разграничением прав, второе полноценной паравиртуализацией, с которой современные гипервизоры справляются очень хорошо