LiteLLM - AI Gateway & Proxy. Прокси для ваших ЛЛМ.

Самохостятам привет!

Что такое прокси тут знают многие/
Но сегодня мы поговорим про совсем другой прокси.
Прокси для Ваших ЛЛМ - LiteLLM


Для чего нужен LiteLLM

AI Gateway

  • единый endpoint для всех облачных провайдеров

  • управление доступами\лимитами

  • логирование\кеширование

Proxy

  • load-balancing \ балансировщик

    (запрос → свободный\менеее загруженый ollama server)
  • routing \ роутинг

    (сложность запроса → авто выбор тяжелая\легкая модель)
  • fallback \ откат к запасной модели в случае сбоя\отказа

полезные заметки

“return_raw_model_name”: true, - возвращать имя модели, которую выбрал роутер


     Тумблеры в OpenWebUI: 
Admin → Settings → Interface → выключить                                                                                                                                                                                                                                                                                                                                                     
     - «Follow-up Generation» (ENABLE_FOLLOW_UP_GENERATION)                                                                                                                                                            - «Tags Generation» (ENABLE_TAGS_GENERATION)                                                                                                                                                                 
     - «Title Generation» (если заголовок не нужен) 
                                                                                                                                                                                                                                                                                                                                                                                
     Либо те же env в compose OpenWebUI:                                                                                                                                                                                                                                                                                              
     ENABLE_FOLLOW_UP_GENERATION: "false"                                                                                                                                                                            ENABLE_TAGS_GENERATION: "false"                                                                                                                                                                              
     ENABLE_TITLE_GENERATION: "false"

Полезные параметры для оллама сервера
sudo systemctl edit ollama.service
sudo systemctl restart ollama.service

[Service]
Environment="OLLAMA_IGPU_ENABLE=1"
Environment="OLLAMA_MAX_LOADED_MODELS=2"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KEEP_ALIVE=30m"

ну я раньше использовал 9router что бы бесплатно 200 баксов получить на api к claude sonnet ,сейчас из бесплатного там вот


Vertex дает 300 долларов api на 90 дней

плюс он тоже прокси ллмок и там можно делать мульти-аккаунтинг с http/s прокси

Ещё ребята и в чатах и в комментариях посоветовали посмотреть на

Вижу что выше уже есть, но скажу по опыту что лучше поставь OmniRoute. он проще для личного использования, хорошо работает с Codex, Claude, Cursor и тд., умеет переключаться между провайдерами и аккаунтами, делать fallback при лимитах и даёт один общий API-эндпоинт для всех клиентов. LiteLLM мощнее как инфраструктурный API-gateway, но для обычного локального AI-стека он, на мой взгляд, избыточен. еще OmniRoute гораздо моложе и агрессивнее развивается, для меня это тоже плюс.

всем привет, писал под видео но тут продублирую:

наверное не совсем по теме, но посоветуйте как лучше всего сделать две вещи, но для начала исходные:
есть сервер (32 озу, старая gpu), есть проплаченный КВН, есть подписка на клод
1 случай: стало лень постоянно открывать клод под КВН, хочу либо через консоль без КВН ходить к нему (идеально на локальной машине а не remote ssh путь), либо даже иметь веб-морду с чатиком.
2 случай: хочется поделится с родственниками этой подпиской, наверное самое простое - хочу тг бота или также собственную веб-морду

Знаю про gluetun, читал немного про LiteLLM и OmniRoute но насколько я понял при обычной авторизации клода в них - есть шанс похерить подписку.

Может кто-то уже решил подобную проблему, заранее спасибо!

Есть у китайцев deepseek 4.1 flash. Цены на токены вполне демократичные, но у них есть часы “двойной оплаты”. Вот выжимка от гугла:

Временные окна «двойной оплаты» (Peak Hours)

Пиковые часы наступают с понедельника по пятницу в два интервала:

  1. 01:00 – 04:00 UTC (по Москве: 04:00 – 07:00)
  2. 06:00 – 10:00 UTC (по Москве: 09:00 – 13:00)
    Все остальные часы в будни, а также выходные дни (суббота и воскресенье) и официальные китайские праздники полностью тарифицируются по стандартному (дешевому) тарифу Off-Peak.

Собственно в тему видео - понятно: настраивайте в LiteLLM подключение, указывайте что в эти часы запрещено ходить в дипсик.

Может чуть не в тему, но всё же. У меня есть две учетки для кодекса. Чтоб не мучатся с переключением между учетками есть такое GitHub - Soju06/codex-lb: Codex/ChatGPT multiple account load balancer & proxy with usage tracking, dashboard, and OpenCode-compatible endpoints · GitHub. В нём подключаю эти учетки, в codex-cli указываю подключение через развернутый codex-lb. Он сам автоматически раскидывает запросы между учетками, следит за лимитами и т.п.

Сейчас перешел на omniroute он круче 9router . дает много аналитики если что-то сломалось

codex-lb прикольная штука,а под клод нет такого?

Я на омнироут сижу, раньше пробовал разное. Решил актуализировать и запросил краткую сравнительную таблицу по функциональным возможностям подобных продуктов - возможно кому-то будет полезно. Там довольно широкая таблица, вставьте в любой маркдаун редактор, будет удобнее смотреть.

Сравнительная таблица функциональных возможностей OmniRoute, 9Router, LiteLLM и близких аналогов выглядит следующим образом.

| Функциональность | OmniRoute | 9Router | LiteLLM | OpenRouter | Portkey | Bifrost | Pangolin (AI Gateway) |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| **Тип** | Самостоятельный, open-source | Самостоятельный, open-source | Самостоятельный, open-source | SaaS (облачный) | SaaS / самост. (Enterprise) | Самостоятельный, open-source | Самостоятельный, с identity-контролем |
| **Ключевая философия** | Максимум фич, автоматизация и экономия токенов для coding-агентов | Простой и надёжный роутинг для coding-агентов, focus on free tiers | Надёжный и проверенный SDK/прокси для разработчиков (Python-centric) | Удобный единый API к сотням моделей без самостоятельного хостинга | Enterprise-шлюз с акцентом на governance, guardrails и безопасность | Скоростной и простой шлюз с UI, ориентированный на разработчиков | Identity-aware шлюз (управление доступом через существующую инфраструктуру) |
| **Основное позиционирование** | Полный superset над 9Router  | Форк/предшественник OmniRoute, лёгкая альтернатива  | Промышленный стандарт для унификации вызовов LLM  | Удобный маркетплейс моделей с единым биллингом | Корпоративный контроль доступа и безопасности LLM  | Высокая производительность и простота настройки  | Единая точка контроля доступа к LLM в рамках существующей инфраструктуры  |
| **Количество провайдеров** | 329+ (из них 155 free/no-auth)  | ~60  | ~100+  | ~50+  | ~30  | Не раскрыто, но поддерживает основных (OpenAI, Anthropic, Bedrock и др.)  | Зависит от настройки, поддерживает self-hosted и основных провайдеров  |
| **Стратегии роутинга и fallback** | **19 стратегий**, включая Fusion (parallel panel + judge synthesis), Tier 1/2/3 fallback (subscription→cheap→free)  | Простой **3-tier fallback** (Subscription → Cheap → Free)  | Priority-based fallback, load balancing  | Tier-based fallback  | Weighted routing, автоматические retries  | Автоматический retry, fallback, load balancing  | Роутинг по identity, бюджетам и политикам  |
| **Сжатие токенов (Token Compression)** | **Да, 12-движковый пайплайн** (RTK + Caveman + LLMLingua-2 и др.), снижение на 15–95%  | Да, RTK + Caveman (снижение ~20–65%)  | Нет  | Нет | Нет | Нет | Нет |
| **MCP (Model Context Protocol)** | **Да, встроенный MCP-сервер** (110 инструментов, 33 scope)  | Нет  | **Да, MCP Gateway** (в SDK и прокси)  | Нет | **Да, MCP Gateway** (корпоративный контроль)  | Нет | Нет |
| **A2A (Agent-to-Agent)** | **Да, JSON-RPC 2.0** (6 навыков)  | Нет | **Да, в SDK и прокси**  | Нет | Нет | Нет | Нет |
| **Встроенная память (Memory)** | **Да**, FTS5 + векторный поиск (Qdrant)  | Нет | Нет | Нет | Нет | Нет | Нет |
| **Guardrails / Безопасность** | Да (PII, injection и др.)  | Нет информации | Да (через callback-и)  | Нет | **Да, 40+ встроенных guardrails**  | Нет информации | **Да, identity-aware access control** (бюджеты, роли, аудит)  |
| **Кэширование** | Семантическое кэширование  | Нет | Нет | Нет | Нет | Нет | Нет |
| **Self-hosted / SaaS** | Self-hosted  | Self-hosted  | Self-hosted  | SaaS  | Оба варианта (SaaS / Enterprise self-hosted)  | Self-hosted  | Self-hosted (protocol-aware resource)  |
| **Язык / Стек** | TypeScript (порт с Go)  | TypeScript  | Python  | SaaS | TypeScript (Node.js)  | Go (высокопроизводительный)  | Go (часть Pangolin platform)  |

### 🔥 Киллер-фичи

**OmniRoute**
*   **Fusion-роутинг**: Параллельный опрос нескольких моделей с последующим выбором лучшего ответа («судьёй») .
*   **Контекстный релей (Context Relay)**: Сохранение непрерывности сессии при ротации аккаунтов в середине диалога через генерацию handoff-резюме .
*   **Сверхглубокое сжатие**: Комбинация RTK + Caveman даёт **~89% экономии** на tool-heavy сессиях (git diff, grep и т.д.) .
*   **Огромная экосистема**: 329+ провайдеров, 110 MCP-инструментов и встроенная память с векторным поиском — уникальный набор для self-hosted роутера .

**LiteLLM**
*   **Промышленный стандарт**: Самая зрелая и широко используемая библиотека/прокси с огромным сообществом и предсказуемым поведением .
*   **Прозрачность и observability**: Отличная интеграция с системами логирования (MLflow, Langfuse и др.) и трекинг расходов «из коробки» .

**Portkey**
*   **Enterprise Guardrails**: 40+ готовых правил безопасности (PII, инъекции, контент-фильтры) с возможностью настройки на уровне запросов .
*   **MCP Gateway с identity forwarding**: Централизованное управление доступом к MCP-серверам с прокидыванием личности пользователя .

**Pangolin AI Gateway**
*   **Identity-aware доступ**: Шлюз встроен в платформу Pangolin, что позволяет выдавать доступ к моделям не по API-ключам, а по существующим пользователям/ролям, автоматически применяя бюджеты и аудит .

**9Router**
*   **Простота и надёжность**: Максимально простая настройка fallback (подписка → дешёвые → бесплатные) и фокус на стабильности длительных сессий (например, Codex) .

Если вам нужно детальнее разобрать какую-то из них под конкретную задачу (например, только для работы с Claude Code или только для enterprise-безопасности), я могу разложить подробнее.

Лично я для себя выделил следующие отличия Omniroute от LiteLLM

  • LiteLLM это entrprise продукт с SSO, разграничением доступа, конфигурацией в коде и упором на безопасность, но у меня он в несколько раз больше ест ресурсов, чем OmniRoute
  • Omniroute это больше про то, чтобы подключить 100500 бесплатных провайдеров и автоматически переключаться между ними при исчерпании кредитов, основные фишки работают, но чуть глубже капнуть и начинаются проблемы.

Я пробовал в OmniRoute включать сжатие, память, MCP, не знаю как у остальных, но у меня все это работало крайне плохо и выдавало случайные проблемы в случайный момент времени, например,

  • Тул возвращает 10 элементов, а omniroute его обрезает 7 элементами, уменьшение размера 1 элемента массива не влияет на точку обрезки.
  • Чатовые модели работают нормально, при подключении собственных embedding и reranking моделей он не отдает им аутентификационный токен, а при автоматическом импорте моделей распознает их как чатовые и обращается к ним по чатовой апишке
  • MCP возвращает целую кучу инструментов, даже неработающий obsidian, который не настроен и ненастраивается
  • Крайне сложная и нестабильная настройка таймаутов
  • До сих пор периодически вылазит на больших сессиях ошибка длинного тула, сессия ломается, но переключение модели в агенте на апстрим помогает и закончить задачу получается нормально

И это я сжатие использовал несколько дней всего, что вылезет я за неделю я даже представить не могу

Клодом не пользуюсь, поэтому не искал. Но коллега подсказал такое: GitHub - Alishahryar1/free-claude-code: Use Claude Code, Codex, VSCode, Pi, and OpenCode (and 6 other harnesses) for free (1.3B+ free tokens) from your terminal, app, IDE, or phone, and now from the browser with native browser sessions (multi-harness + multi-model) like OpenClaw (voice supported + ToS friendly) · GitHub может подойдёт?

[UPDATE 23/10] ВАЖНО!

Вредонос в v1.107.0. Останови сервис и проверь версию
Детали => Blog | LiteLLM

Спасибо за сообщение Александру Олейникову