admin
1
Самохостятам привет!
Что такое прокси тут знают многие/
Но сегодня мы поговорим про совсем другой прокси.
Прокси для Ваших ЛЛМ - LiteLLM
Для чего нужен LiteLLM
AI Gateway
-
единый endpoint для всех облачных провайдеров
-
управление доступами\лимитами
-
логирование\кеширование
Proxy
-
load-balancing \ балансировщик
(запрос → свободный\менеее загруженый ollama server)
-
routing \ роутинг
(сложность запроса → авто выбор тяжелая\легкая модель)
-
fallback \ откат к запасной модели в случае сбоя\отказа
полезные заметки
“return_raw_model_name”: true, - возвращать имя модели, которую выбрал роутер
