Самохостятам привет!
Что такое прокси тут знают многие/
Но сегодня мы поговорим про совсем другой прокси.
Прокси для Ваших ЛЛМ - LiteLLM
Для чего нужен LiteLLM
AI Gateway
Proxy
-
load-balancing \ балансировщик
(запрос → свободный\менеее загруженый ollama server) -
routing \ роутинг
(сложность запроса → авто выбор тяжелая\легкая модель) -
fallback \ откат к запасной модели в случае сбоя\отказа
полезные заметки
“return_raw_model_name”: true, - возвращать имя модели, которую выбрал роутер
Тумблеры в OpenWebUI:
Admin → Settings → Interface → выключить
- «Follow-up Generation» (ENABLE_FOLLOW_UP_GENERATION) - «Tags Generation» (ENABLE_TAGS_GENERATION)
- «Title Generation» (если заголовок не нужен)
Либо те же env в compose OpenWebUI:
ENABLE_FOLLOW_UP_GENERATION: "false" ENABLE_TAGS_GENERATION: "false"
ENABLE_TITLE_GENERATION: "false"
Полезные параметры для оллама сервера
sudo systemctl edit ollama.service
sudo systemctl restart ollama.service
[Service]
Environment="OLLAMA_IGPU_ENABLE=1"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KEEP_ALIVE=30m"




