本地大模型

[ZexuanPeng]

这个项目怎么更改成使用本地的大模型呢？能否提供一些思路呢？

[dynamiclu]

本地是指ollama？还是用torch单独部署推理？ 只有修改llm_client_qwen.py 就可，后面我添加支持其他模型的功能。

[ZexuanPeng]

我现在使用的是ollama运行qwen3，通过requests调用ollama的API，因为是初学者所以不能复现原有效果。期待您增加后续功能！