Ну вот я сейчас поднимаю у себя ollama и в поисках вменяемой веб админки для нее для embedding моделей, тот же bge-m3 должен нормально работать на подобном железе для удобного поиска по документам
Ну и в телеге уже затизерил свой будущий пет проект как раз на эту тему
@KRom, а ты глянь в сторону Open WebUI — я её недавно поднял у себя, и для embedding это самое оно: модели подхватываются прямо из ollama, bge-m3 цепляется без плясок с бубном. Поиск по документам делается через встроенный RAG — кидаешь файлы, и можно чатиться по ним. На 16GB ОЗУ тянет нормально, главное не тащить в контекст простыни целиком. Ну и за пет-проектом в телеге послежу, тема вкусная.
У меня стоит Open WebUI, но мне не хватает функционала в нем, пытаюсь найти что-то получше, но контрибютить пока не готов т.к. и так уже много сейчас в процессе.
У меня задача стоит предоставлять embedding модель другим сервисам, например, cloudreve для поиска документов или obsidian vault operator для работы с заметками или своему сервису поиска по хоумлабе
У меня Firebat A8 и похоже, эти ребята сделали что-то не так с охлаждением или питанием. В bios выставлена максимальная производительность, память 2*16gb 5600MHz и так и определяется. По nvtop при генерации замечаю, что частота iGPU подпрыгивает на секунду до 2600 МHz примерно, а потом сваливается сразу в 800 MHz. Какой смысл выпускать железку с нормальным iGPU, если охлаждение/линии питания позволяют ему работать только на трети своей мощности?
у minisforum um870 частота держится под нагрузгой более часа - на прежнем уровне, перегрева тоже нет..
