Я собрал агента на платформе open-webui и с толкнулся с такой проблемой что на первых 3-х скилах + core, агент проходит тесты и выполняет инструкции в соответствии с правилами. Но с добавлением 4-го скила начинаются как говорится галлюцинации у агента, начинает выдумывать номера документов и их название, где то номера документов отличалась на 1 единицу (к примеру в место 616 указывал 617).
Web поиск настроить у меня не получилось (предполагаю чтобы агент если сомневался уточнял информацию с ресурсов которые укажу).
Но даже отсутствие поиска и отсутствие подгруженной базы, модель не должна нарушать же инструкции, там где она не уверена должна выпадать заглушка.
Это все происходит на 1-3 скилах, тесты проходит, но с добавлением 4-го скила агент начинает заваливать тесты которые ранее проходил, не понимаю из за чего из за недостатка выделенных токенов или конфликт правил.
У меня такой вопрос есть ли какие то ограничения у open-webui по количеству скилов или нужно использовать оркестратора?
Или может кто то подскажет русскоязычную литературу или какой то видеоресурс.
Спасибо
Тоже собирал агента в OpenWebUI (у меня Ollama + qwen2.5:7b), так что тема знакомая. Скорее всего дело не в количестве скилов и не в ограничениях OpenWebUI — он их по количеству не ставит, все скилы просто подмешиваются в системный промпт. А вот в этом и корень: чем больше правил в системном промпте, тем хуже модель их держит в голове, особенно маленькая. С каждой моделью и 4-м скилом правила начинают конфликтовать, и модель начинает “додумывать” там, где ей не хватает данных.
Пара вещей, которые мне помогли:
1. Проверьте, какая модель стоит и какой у неё контекст. Если qwen2.5:7b и контекст маленький — скилы съедают окно, и модель теряет нить. Либо укоротите промпты скилов, либо модель побольше.
2. Дублирование инструкций. У меня было так: в каждом скиле продублировано правило “не выдумывай, если не знаешь” — и в итоге правила начали противоречить. Сейчас у меня единый системный промпт, где перечислены все скилы, а в самом конце железное правило: “Если вы не уверены в факте или номере — так и ответьте, не придумывайте”. Ошибки с номерами на 1-2 единицы — это классика галлюцинаций маленьких моделей на русском, у меня тоже было.
3. По web-поиску. Если подгрузить документы в knowledge-коллекцию OpenWebUI и привязать её к агенту, то поиск по базе заработает без веба. А для веба на форуме есть тема про SearXNG + OpenWebUI — там по шагам всё расписано.
Оркестратор тут не нужен, это не масштаб проблемы. А литература — честно, русскоязычных гайдов по OpenWebUI мало, я сам собирал по английской документации и методом тыка. Сейчас документация по агентам у них неплохая, официальную стоит почитать в первую очередь.