# MoE модель GLM-5.2 (от 744B до 2.8T параметров) - на локальной машине!

**URL:** <https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711>\
**Category:** AI | ML | CV\
**Created:** [01.Август.2026 16:03:00 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711 "2026-08-01T16:03:00Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![Garrett](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/g/3e96dc/32.png) [@Garrett](https://forum.samohosting.ru/u/Garrett)\
**Post date:** [01.Август.2026 16:03:00 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711/1 "2026-08-01T16:03:00Z")

</div>

**[Colibri](https://github.com/JustVugg/colibri)** — это легкий движок на чистом Cи, позволяющий запускать гигантскую открытую модель **[GLM-5.2](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)** (с архитектурой Mixture-of-Experts на 744 миллиарда параметров) на обычном компьютере всего с 25 ГБ оперативной памяти и без мощной видеокарты.

### Главные особенности технологии

- **Потоковая передача данных (Streaming):** Движок объединяет оперативную память и быстрый NVMe SSD в единую систему, подгружая и выгружая экспертные модули модели по мере необходимости.
- **Сжатие KV-кэша:** Использование алгоритма MLA (Multi-head Latent Attention) сокращает размер контекста в 57 раз, что делает возможным запуск на 25 ГБ RAM.
- **Код:** Проект написан на чистом C без тяжелых зависимостей, `имеет встроенный веб-интерфейс и API, совместимый с OpenAI`.

### Ограничения производительности

- **Скорость генерации:** Узким местом является **скорость чтения данных с диска (пропускная способность NVMe-накопителя)**. Скорость работы составляет около 0,05–0,1 токена в секунду. Ответ на сложный вопрос может занимать несколько часов.
- **Требования к диску:** Для комфортной работы критически важна высокая скорость случайного чтения с NVMe-накопителя (желательно стандарта PCIe 4.0 или 5.0).

Для локального [развертывания **Colibri** и запуска **GLM-5.2**](https://github.com/JustVugg/colibri#get-started) на домашнем оборудовании потребуется выполнить сборку исполняемого файла из исходного кода и правильно настроить дисковый кэш. Кроме того, на GitHub можно скачать и готовые [релизы](https://github.com/JustVugg/colibri/releases).

### Локальный запуск движка

```bash
./colibri --model ./glm52_weights.bin --threads 8 --mmap --cache ./ssd_cache.tmp

```

Параметры:

- `--mmap`: Флаг принудительного использования виртуальной памяти ядра. Позволяет операционной системе эффективно использовать 744-миллиардную MoE-модель прямо с NVMe-накопителя.
- `--cache`: Путь к временному файлу кэша. Этот файл **обязательно** должен находиться на вашем самом быстром системном PCIe SSD (не на жестком диске HDD).
- `--threads`: Количество физических ядер процессора (не потоков Hyper-Threading), выделенных под инференс.

### Собственный локальный API-сервер

Colibri имеет встроенный минималистичный веб-сервер, совместимый с форматом `OpenAI API`. Для его активации добавьте флаг запуска:

```bash
./colibri --model ./glm52_weights.bin --port 8080 --host 0.0.0.0

```

После этого вы можете подключить модель к своим локальным интерфейсам например, **`Open WebUI`**.

> **P.S.**
>
> > На просторах интернета, пока, видел только забугорные обзоры и тесты. Сам не тестировал, нет 24 GB+ ОЗУ. Да и AI я интересуюсь постольку-поскольку, предпочитаю реальный искусственному. Но справедливости ради скажу, изучать (как инструмент) надо.

---

<div class="post-metadata">

**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\
**Post date:** [01.Август.2026 20:11:16 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711/2 "2026-08-01T20:11:16Z")

</div>

Не, ну формально никто не обманул, действительно можно запустить glm 5.2 на локальной машине и оно даже будет работать, формально никто не обманул, но есть одно но…

> [@Garrett](#):
>
> Скорость работы составляет около 0,05–0,1 токена в секунду. Ответ на сложный вопрос может занимать несколько часов.

Это мне напоминает машину тьюринга, которая, в теории, может решить любую задачу, главное, чтобы было достаточно ленты и времени

Первый токен пришел чуть больше, чем через минуту, а так, скорость порядка 14 токенов в минуту

В open-webui я просто не дождался получения 1 токена ответа  
Время обработки вопроса и генерации ответа 13 минут

 ![image](https://forum.samohosting.ru/uploads/default/original/2X/c/ca25488b97278c41e6337403de2259c778545cd7.jpeg)  
 ![image](https://forum.samohosting.ru/uploads/default/original/2X/b/b36ad2c9f0ad15420946038fc4e27bfc16a641dc.png)  
Во время парсинга сообщения загрузка процессора 100% во время вывода под 50% и система упирается в производительность дисковой подсистемы (ну тут все как заявлено) и у меня она держалась в среднем в районе 2 ГиБ/с  
 ![image](https://forum.samohosting.ru/uploads/default/original/2X/0/03055b77b8e9f1fb889a9e32bfd837678e94d43e.jpeg)

но, можно еще попробовать собрать с поддержкой CUDA для GPU инференса

---

<div class="post-metadata">

**Author:** ![Garrett](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/g/3e96dc/32.png) [@Garrett](https://forum.samohosting.ru/u/Garrett)\
**Post date:** [01.Август.2026 22:45:25 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711/3 "2026-08-01T22:45:25Z")

</div>

На просторах рунета я толковых тестов не нашёл, только поверхностное описание. Собственно оттуда и были взяты 0,05–0,1 токена в секунду.

Роман, спасибо Вам за потраченное время на тест.

---

<div class="post-metadata">

**Author:** ![IReznikov](https://forum.samohosting.ru/letter_avatar_proxy/v4/letter/i/fbc32d/32.png) [@IReznikov](https://forum.samohosting.ru/u/IReznikov)\
**Post date:** [02.Август.2026 06:48:19 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711/4 "2026-08-02T06:48:19Z")

</div>

Какая боль… Но так хочется 🙂

---

<div class="post-metadata">

**Author:** ![KRom](https://forum.samohosting.ru/user_avatar/forum.samohosting.ru/krom/32/362_2.png) [@KRom](https://forum.samohosting.ru/u/KRom)\
**Post date:** [02.Август.2026 18:12:26 UTC](https://forum.samohosting.ru/t/moe-model-glm-5-2-ot-744b-do-2-8t-parametrov-na-lokalnoj-mashine/2711/5 "2026-08-02T18:12:26Z")

</div>

[![](https://forum.samohosting.ru/uploads/default/original/2X/8/817dd736c9bf6cbe7611af866338282c63334373.jpeg "Запуск ИИ на 744 МЛРД параметров БЕЗ видеокарты! Обзор GLM-5.2 локально") ](https://www.youtube.com/watch?v=DT_F4FCDJ_8)
