# LiteLLM - AI Gateway & Proxy. Прокси для ваших ЛЛМ.

**URL:** <https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007>\
**Category:** AI | ML | CV\
**Created:** [05.Октябрь.2026 17:59:13 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007 "2026-10-05T17:59:13Z")\
**Posts on this page:** 12\
**Page:** 1

<div class="post-metadata">

**Author:** ![admin](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/admin/32/4_2.png) [@admin](https://forum.samohosting.ru/u/admin)\
**Post date:** [05.Октябрь.2026 17:59:13 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/1 "2026-10-05T17:59:13Z")

</div>

Самохостятам привет!

Что такое прокси тут знают многие/  
Но сегодня мы поговорим про совсем другой прокси.  
Прокси для Ваших ЛЛМ - LiteLLM

[![](https://forum.samohosting.ru/uploads/default/original/2X/c/c00da4d9dd18600c4a1faccbad723ad6329c3734.jpeg "LiteLLM - ПРОКСИ ДЛЯ ТВОИХ LLM! ЗАЧЕМ? И ЧТО ОН ДАЕТ?") ](https://www.youtube.com/watch?v=CAsn4g-mGdo)

 ![LiteLLM](https://forum.samohosting.ru/uploads/default/original/2X/3/3ca98098e393d344bbc41971c7e82c0843d2046b.png)

> **[GitHub - BerriAI/litellm: The fastest, litest AI Gateway. Rust core with...](https://github.com/BerriAI/litellm)**
>
> The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging \[Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM\]

> **[LiteLLM — Open-Source AI Gateway & LLM Proxy](https://www.litellm.ai/)**
>
> Put your full AI stack behind one key. Track and cap LLM spend, route to the right model, and self-host anywhere — even air-gapped. 140+ providers, 1,892 models, 53K+ GitHub stars.

* * *

> # Для чего нужен LiteLLM

## AI Gateway

- 
### единый endpoint для всех облачных провайдеров
- 
### управление доступами\лимитами
- 
### логирование\кеширование

## Proxy

- 
### load-balancing \ балансировщик
(запрос → свободный\менеее загруженый ollama server)
- 
### routing \ роутинг
(сложность запроса → авто выбор тяжелая\легкая модель)
- 
### fallback \ откат к запасной модели в случае сбоя\отказа

 ![5341738503957586467](https://forum.samohosting.ru/uploads/default/original/2X/8/8a906b3a2b1f185c04a675cdb666774279dc5346.jpeg)

> **полезные заметки**
>
> “return\_raw\_model\_name”: true, - возвращать имя модели, которую выбрал роутер
> 
> ```auto
> 
> Тумблеры в OpenWebUI: 
> Admin → Settings → Interface → выключить                                                                                                                                                                                                                                                                                                                                                     
> - «Follow-up Generation» (ENABLE_FOLLOW_UP_GENERATION) - «Tags Generation» (ENABLE_TAGS_GENERATION)                                                                                                                                                                 
> - «Title Generation» (если заголовок не нужен) 
>                                                                                                                                                                                                                                                                                                                                                                                 
> Либо те же env в compose OpenWebUI:                                                                                                                                                                                                                                                                                              
> ENABLE_FOLLOW_UP_GENERATION: "false" ENABLE_TAGS_GENERATION: "false"                                                                                                                                                                              
> ENABLE_TITLE_GENERATION: "false"
> 
> ```
> 
> Полезные параметры для оллама сервера  
> sudo systemctl edit ollama.service  
> sudo systemctl restart ollama.service
> 
> ```auto
> [Service]
> Environment="OLLAMA_IGPU_ENABLE=1"
> Environment="OLLAMA_MAX_LOADED_MODELS=2"
> Environment="OLLAMA_NUM_PARALLEL=2"
> Environment="OLLAMA_FLASH_ATTENTION=1"
> Environment="OLLAMA_KEEP_ALIVE=30m"
> 
> ```

---

<div class="post-metadata">

**Author:** ![Qnorto](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/qnorto/32/4149_2.png) [@Qnorto](https://forum.samohosting.ru/u/Qnorto)\
**Post date:** [06.Октябрь.2026 18:25:04 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/2 "2026-10-06T18:25:04Z")

</div>

ну я раньше использовал 9router что бы бесплатно 200 баксов получить на api к claude sonnet ,сейчас из бесплатного там вот

 ![image](https://forum.samohosting.ru/uploads/default/original/2X/c/ce54b7292dacac536ce7398a975c72111bfea132.png)  
Vertex дает 300 долларов api на 90 дней

плюс он тоже прокси ллмок и там можно делать мульти-аккаунтинг с http/s прокси

> **[GitHub - decolua/9router: Unlimited FREE AI coding. Connect Claude Code,...](https://github.com/decolua/9router)**
>
> Unlimited FREE AI coding. Connect Claude Code, Codex, Cursor, Cline, Copilot, Antigravity to FREE Claude/GPT/Gemini via 40+ providers. Auto-fallback, RTK -40% tokens, never hit limits.

 ![9router](https://forum.samohosting.ru/uploads/default/original/2X/3/318b6215ad6ffc5a7f9148fe629a4cd3932775e0.jpeg)

---

<div class="post-metadata">

**Author:** ![admin](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/admin/32/4_2.png) [@admin](https://forum.samohosting.ru/u/admin)\
**Post date:** [07.Октябрь.2026 09:44:33 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/3 "2026-10-07T09:44:33Z")

</div>

Ещё ребята и в чатах и в комментариях посоветовали посмотреть на

- **[gpustack](https://github.com/gpustack/gpustack) - Manages GPU clusters**

> **[GitHub - gpustack/gpustack: A GPU cluster manager for high-performance AI...](https://github.com/gpustack/gpustack)**
>
> A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.

- **[OmniRoute](https://github.com/diegosouzapw/OmniRoute)** - **The Free AI Gateway**

> **[GitHub - diegosouzapw/OmniRoute: Never stop coding. Free MIT AI gateway: one...](https://github.com/diegosouzapw/OmniRoute)**
>
> Never stop coding. Free MIT AI gateway: one endpoint, 359 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by hundreds of contributors

---

<div class="post-metadata">

**Author:** ![Zuev](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/zuev/32/228_2.png) [@Zuev](https://forum.samohosting.ru/u/Zuev)\
**Post date:** [07.Октябрь.2026 21:34:46 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/4 "2026-10-07T21:34:46Z")

</div>

Вижу что выше уже есть, но скажу по опыту что лучше поставь OmniRoute. он проще для личного использования, хорошо работает с Codex, Claude, Cursor и тд., умеет переключаться между провайдерами и аккаунтами, делать fallback при лимитах и даёт один общий API-эндпоинт для всех клиентов. LiteLLM мощнее как инфраструктурный API-gateway, но для обычного локального AI-стека он, на мой взгляд, избыточен. еще OmniRoute гораздо моложе и агрессивнее развивается, для меня это тоже плюс.

---

<div class="post-metadata">

**Author:** ![kanonir791](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/k/0ea827/32.png) [@kanonir791](https://forum.samohosting.ru/u/kanonir791)\
**Post date:** [08.Октябрь.2026 08:47:07 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/5 "2026-10-08T08:47:07Z")

</div>

всем привет, писал под видео но тут продублирую:

наверное не совсем по теме, но посоветуйте как лучше всего сделать две вещи, но для начала исходные:  
есть сервер (32 озу, старая gpu), есть проплаченный **КВН** , есть подписка на клод  
1 случай: стало лень постоянно открывать клод под **КВН** , хочу либо через консоль без **КВН** ходить к нему (идеально на локальной машине а не remote ssh путь), либо даже иметь веб-морду с чатиком.  
2 случай: хочется поделится с родственниками этой подпиской, наверное самое простое - хочу тг бота или также собственную веб-морду

Знаю про gluetun, читал немного про LiteLLM и OmniRoute но насколько я понял при обычной авторизации клода в них - есть шанс похерить подписку.

Может кто-то уже решил подобную проблему, заранее спасибо!

---

<div class="post-metadata">

**Author:** ![tinderbox](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/tinderbox/32/1307_2.png) [@tinderbox](https://forum.samohosting.ru/u/tinderbox)\
**Post date:** [08.Октябрь.2026 14:22:14 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/6 "2026-10-08T14:22:14Z")

</div>

Есть у китайцев deepseek 4.1 flash. Цены на токены вполне демократичные, но у них есть часы “двойной оплаты”. Вот выжимка от гугла:

> Временные окна «двойной оплаты» (Peak Hours)
> 
> Пиковые часы наступают с понедельника по пятницу в два интервала:
> 
> 1. 01:00 – 04:00 UTC (по Москве: 04:00 – 07:00)
> 2. 06:00 – 10:00 UTC (по Москве: 09:00 – 13:00)  
> Все остальные часы в будни, а также выходные дни (суббота и воскресенье) и официальные китайские праздники полностью тарифицируются по стандартному (дешевому) тарифу Off-Peak.

Собственно в тему видео - понятно: настраивайте в LiteLLM подключение, указывайте что в эти часы запрещено ходить в дипсик.

Может чуть не в тему, но всё же. У меня есть две учетки для кодекса. Чтоб не мучатся с переключением между учетками есть такое [GitHub - Soju06/codex-lb: Codex/ChatGPT multiple account load balancer & proxy with usage tracking, dashboard, and OpenCode-compatible endpoints · GitHub](https://github.com/Soju06/codex-lb). В нём подключаю эти учетки, в codex-cli указываю подключение через развернутый codex-lb. Он сам автоматически раскидывает запросы между учетками, следит за лимитами и т.п.

---

<div class="post-metadata">

**Author:** ![Qnorto](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/qnorto/32/4149_2.png) [@Qnorto](https://forum.samohosting.ru/u/Qnorto)\
**Post date:** [12.Октябрь.2026 17:24:50 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/7 "2026-10-12T17:24:50Z")

</div>

Сейчас перешел на omniroute он круче 9router . дает много аналитики если что-то сломалось

---

<div class="post-metadata">

**Author:** ![vadkuz](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/v/2bfe46/32.png) [@vadkuz](https://forum.samohosting.ru/u/vadkuz)\
**Post date:** [15.Октябрь.2026 00:34:06 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/8 "2026-10-15T00:34:06Z")

</div>

**codex-lb** прикольная штука,а под клод нет такого?

---

<div class="post-metadata">

**Author:** ![MasterShu](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/m/e95f7d/32.png) [@MasterShu](https://forum.samohosting.ru/u/MasterShu)\
**Post date:** [15.Октябрь.2026 05:03:02 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/9 "2026-10-15T05:03:02Z")

</div>

Я на омнироут сижу, раньше пробовал разное. Решил актуализировать и запросил краткую сравнительную таблицу по функциональным возможностям подобных продуктов - возможно кому-то будет полезно. Там довольно широкая таблица, вставьте в любой маркдаун редактор, будет удобнее смотреть.

```auto
Сравнительная таблица функциональных возможностей OmniRoute, 9Router, LiteLLM и близких аналогов выглядит следующим образом.

| Функциональность | OmniRoute | 9Router | LiteLLM | OpenRouter | Portkey | Bifrost | Pangolin (AI Gateway) |
| :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- |
| **Тип** | Самостоятельный, open-source | Самостоятельный, open-source | Самостоятельный, open-source | SaaS (облачный) | SaaS / самост. (Enterprise) | Самостоятельный, open-source | Самостоятельный, с identity-контролем |
| **Ключевая философия** | Максимум фич, автоматизация и экономия токенов для coding-агентов | Простой и надёжный роутинг для coding-агентов, focus on free tiers | Надёжный и проверенный SDK/прокси для разработчиков (Python-centric) | Удобный единый API к сотням моделей без самостоятельного хостинга | Enterprise-шлюз с акцентом на governance, guardrails и безопасность | Скоростной и простой шлюз с UI, ориентированный на разработчиков | Identity-aware шлюз (управление доступом через существующую инфраструктуру) |
| **Основное позиционирование** | Полный superset над 9Router | Форк/предшественник OmniRoute, лёгкая альтернатива | Промышленный стандарт для унификации вызовов LLM | Удобный маркетплейс моделей с единым биллингом | Корпоративный контроль доступа и безопасности LLM | Высокая производительность и простота настройки | Единая точка контроля доступа к LLM в рамках существующей инфраструктуры |
| **Количество провайдеров** | 329+ (из них 155 free/no-auth) | ~60 | ~100+ | ~50+ | ~30 | Не раскрыто, но поддерживает основных (OpenAI, Anthropic, Bedrock и др.) | Зависит от настройки, поддерживает self-hosted и основных провайдеров |
| **Стратегии роутинга и fallback** | **19 стратегий** , включая Fusion (parallel panel + judge synthesis), Tier 1/2/3 fallback (subscription→cheap→free) | Простой **3-tier fallback** (Subscription → Cheap → Free) | Priority-based fallback, load balancing | Tier-based fallback | Weighted routing, автоматические retries | Автоматический retry, fallback, load balancing | Роутинг по identity, бюджетам и политикам |
| **Сжатие токенов (Token Compression)** | **Да, 12-движковый пайплайн** (RTK + Caveman + LLMLingua-2 и др.), снижение на 15–95% | Да, RTK + Caveman (снижение ~20–65%) | Нет | Нет | Нет | Нет | Нет |
| **MCP (Model Context Protocol)** | **Да, встроенный MCP-сервер** (110 инструментов, 33 scope) | Нет | **Да, MCP Gateway** (в SDK и прокси) | Нет | **Да, MCP Gateway** (корпоративный контроль) | Нет | Нет |
| **A2A (Agent-to-Agent)** | **Да, JSON-RPC 2.0** (6 навыков) | Нет | **Да, в SDK и прокси** | Нет | Нет | Нет | Нет |
| **Встроенная память (Memory)** | **Да** , FTS5 + векторный поиск (Qdrant) | Нет | Нет | Нет | Нет | Нет | Нет |
| **Guardrails / Безопасность** | Да (PII, injection и др.) | Нет информации | Да (через callback-и) | Нет | **Да, 40+ встроенных guardrails** | Нет информации | **Да, identity-aware access control** (бюджеты, роли, аудит) |
| **Кэширование** | Семантическое кэширование | Нет | Нет | Нет | Нет | Нет | Нет |
| **Self-hosted / SaaS** | Self-hosted | Self-hosted | Self-hosted | SaaS | Оба варианта (SaaS / Enterprise self-hosted) | Self-hosted | Self-hosted (protocol-aware resource) |
| **Язык / Стек** | TypeScript (порт с Go) | TypeScript | Python | SaaS | TypeScript (Node.js) | Go (высокопроизводительный) | Go (часть Pangolin platform) |

### 🔥 Киллер-фичи

**OmniRoute**
* **Fusion-роутинг** : Параллельный опрос нескольких моделей с последующим выбором лучшего ответа («судьёй») .
* **Контекстный релей (Context Relay)**: Сохранение непрерывности сессии при ротации аккаунтов в середине диалога через генерацию handoff-резюме .
* **Сверхглубокое сжатие** : Комбинация RTK + Caveman даёт **~89% экономии** на tool-heavy сессиях (git diff, grep и т.д.) .
* **Огромная экосистема** : 329+ провайдеров, 110 MCP-инструментов и встроенная память с векторным поиском — уникальный набор для self-hosted роутера .

**LiteLLM**
* **Промышленный стандарт** : Самая зрелая и широко используемая библиотека/прокси с огромным сообществом и предсказуемым поведением .
* **Прозрачность и observability** : Отличная интеграция с системами логирования (MLflow, Langfuse и др.) и трекинг расходов «из коробки» .

**Portkey**
* **Enterprise Guardrails** : 40+ готовых правил безопасности (PII, инъекции, контент-фильтры) с возможностью настройки на уровне запросов .
* **MCP Gateway с identity forwarding** : Централизованное управление доступом к MCP-серверам с прокидыванием личности пользователя .

**Pangolin AI Gateway**
* **Identity-aware доступ** : Шлюз встроен в платформу Pangolin, что позволяет выдавать доступ к моделям не по API-ключам, а по существующим пользователям/ролям, автоматически применяя бюджеты и аудит .

**9Router**
* **Простота и надёжность** : Максимально простая настройка fallback (подписка → дешёвые → бесплатные) и фокус на стабильности длительных сессий (например, Codex) .

Если вам нужно детальнее разобрать какую-то из них под конкретную задачу (например, только для работы с Claude Code или только для enterprise-безопасности), я могу разложить подробнее.

```

---

<div class="post-metadata">

**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\
**Post date:** [15.Октябрь.2026 06:40:10 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/10 "2026-10-15T06:40:10Z")

</div>

Лично я для себя выделил следующие отличия Omniroute от LiteLLM

- LiteLLM это entrprise продукт с SSO, разграничением доступа, конфигурацией в коде и упором на безопасность, но у меня он в несколько раз больше ест ресурсов, чем OmniRoute
- Omniroute это больше про то, чтобы подключить 100500 бесплатных провайдеров и автоматически переключаться между ними при исчерпании кредитов, основные фишки работают, но чуть глубже капнуть и начинаются проблемы.

Я пробовал в OmniRoute включать сжатие, память, MCP, не знаю как у остальных, но у меня все это работало крайне плохо и выдавало случайные проблемы в случайный момент времени, например,

- Тул возвращает 10 элементов, а omniroute его обрезает 7 элементами, уменьшение размера 1 элемента массива не влияет на точку обрезки.
- Чатовые модели работают нормально, при подключении собственных embedding и reranking моделей он не отдает им аутентификационный токен, а при автоматическом импорте моделей распознает их как чатовые и обращается к ним по чатовой апишке
- MCP возвращает целую кучу инструментов, даже неработающий obsidian, который не настроен и ненастраивается
- Крайне сложная и нестабильная настройка таймаутов
- До сих пор периодически вылазит на больших сессиях ошибка длинного тула, сессия ломается, но переключение модели в агенте на апстрим помогает и закончить задачу получается нормально

И это я сжатие использовал несколько дней всего, что вылезет я за неделю я даже представить не могу

---

<div class="post-metadata">

**Author:** ![tinderbox](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/tinderbox/32/1307_2.png) [@tinderbox](https://forum.samohosting.ru/u/tinderbox)\
**Post date:** [15.Октябрь.2026 11:27:52 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/11 "2026-10-15T11:27:52Z")

</div>

Клодом не пользуюсь, поэтому не искал. Но коллега подсказал такое: [GitHub - Alishahryar1/free-claude-code: Use Claude Code, Codex, VSCode, Pi, and OpenCode (and 6 other harnesses) for free (1.3B+ free tokens) from your terminal, app, IDE, or phone, and now from the browser with native browser sessions (multi-harness + multi-model) like OpenClaw (voice supported + ToS friendly) · GitHub](https://github.com/Alishahryar1/free-claude-code) может подойдёт?

---

<div class="post-metadata">

**Author:** ![admin](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/admin/32/4_2.png) [@admin](https://forum.samohosting.ru/u/admin)\
**Post date:** [23.Октябрь.2026 06:09:03 UTC](https://forum.samohosting.ru/t/litellm-ai-gateway-proxy-proksi-dlya-vashih-llm/3007/12 "2026-10-23T06:09:03Z")

</div>

[UPDATE 23/10] ВАЖНО!

Вредонос в v1.107.0. Останови сервис и проверь версию  
Детали =\> [Blog | LiteLLM](https://www.litellm.ai/blog?post=security-incident-oct-21-2026)

Спасибо за сообщение Александру Олейникову

 ![image](https://forum.samohosting.ru/uploads/default/original/2X/4/498c465f89c7714f43be33ed763605b8c5760645.jpeg)
