Ну вот я сейчас поднимаю у себя ollama и в поисках вменяемой веб админки для нее для embedding моделей, тот же bge-m3 должен нормально работать на подобном железе для удобного поиска по документам
Ну и в телеге уже затизерил свой будущий пет проект как раз на эту тему
@KRom, а ты глянь в сторону Open WebUI — я её недавно поднял у себя, и для embedding это самое оно: модели подхватываются прямо из ollama, bge-m3 цепляется без плясок с бубном. Поиск по документам делается через встроенный RAG — кидаешь файлы, и можно чатиться по ним. На 16GB ОЗУ тянет нормально, главное не тащить в контекст простыни целиком. Ну и за пет-проектом в телеге послежу, тема вкусная.
У меня стоит Open WebUI, но мне не хватает функционала в нем, пытаюсь найти что-то получше, но контрибютить пока не готов т.к. и так уже много сейчас в процессе.
У меня задача стоит предоставлять embedding модель другим сервисам, например, cloudreve для поиска документов или obsidian vault operator для работы с заметками или своему сервису поиска по хоумлабе