Using local LLM

[eegzheng]

Hello, can we possibly run ReEVO using local LLM models via Ollama? Thank you.

[henry-yeh]

Could you please refer to this issue?

[Furffico]

我想到另一个问题，本地部署的推理服务器一般都不支持并发请求的吧，或许本地推理真的需要单独适配一下。

[Furffico]

没事了，vllm 和 ollama 的推理引擎都是支持并发请求的，ChatGLM 的那个脚本只提供了基础功能，看上去不支持。
@eegzheng 我还是建议您使用 vllm 或 ollama 部署然后找个能力更强的模型再试一下。

[eegzheng]

谢谢，我试过用ollama本地部署llama-3.1:8b，这个模型您是提到过支持的模型之一。模型启动后，运行python main.py llm_client.base_url=http://127.0.0.1:11434/v1，返回下面的错误：

Refer to the format of a trivial design above. Be very creative and give heuristics_v2. Output code only and enclose your code with Python code block: python ... .

• Try combining various factors to determine how promising it is to select an edge.
• Try sparsifying the matrix by setting unpromising elements to zero.
  [2025-07-19 179][httpx][INFO] - HTTP Request: POST http://127.0.0.1:11434/v1/chat/completions "HTTP/1.1 404 Not Found"
  [2025-07-19 181][utils.llm_client.base][ERROR] - Error code: 404 - {'error': {'message': 'model "gpt-3.5-turbo" not found, try pulling it first', 'type': 'api_error', 'param': None, 'code': None}}

[Furffico]

使用 ollama 部署的话就需要修改调用的模型名称了，在指令里加上这个参数：

llm_client.model=llama-3.1:8b

[Furffico]

ChatGLM 那边不用指定模型名称是因为他们提供的脚本里面根本就没管这个值
https://github.com/THUDM/ChatGLM3/blob/main/openai_api_demo/api_server.py#L226-L241

[eegzheng]

加上模型名称就可以运行了：）

可否请解释一下关于模型的选择，对模型的大小有什么要求，是否只能用列出来的模型？比如，如果要用qwen模型，只列出Qwen2-72B，https://ollama.com/library里 有没有其他qwen适合的? 最好能在14B以下。

[Furffico]

是否只能用列出来的模型？

这个指的是什么呀，我不记得我们有列过这种“支持的模型列表”，因为我们没有测试过任何本地部署的模型。
这个回复和帮助文档里都只是在举例子，实际上我们在论文中只测了 GPT-3.5-turbo、GPT-4-turbo 和 Llama3（基于 API 服务）。

对模型的大小有什么要求

肯定越大越好咯。因为我们没有测过，所以无法给出一个明确的下限。

有没有其他qwen适合的? 最好能在14B以下

试试 qwen3:14b 或 qwen3:8b 呢。

[Furffico]

理论上任何大语言模型都是支持的，只不过模型能力不同导致 ReEvo 的表现会有差异。

[eegzheng]

是否只能用列出来的模型？

这个指的是什么呀，我不记得我们有列过这种“支持的模型列表”，因为我们没有测试过任何本地部署的模型。 这个回复和帮助文档里都只是在举例子，实际上我们在论文中只测了 GPT-3.5-turbo、GPT-4-turbo 和 Llama3（基于 API 服务）。

对模型的大小有什么要求

肯定越大越好咯。因为我们没有测过，所以无法给出一个明确的下限。

有没有其他qwen适合的? 最好能在14B以下

试试 qwen3:14b 或 qwen3:8b 呢。

谢谢回复和详细的解释！从issue 17至少我发现chatglm3-6b是不行的。

[eegzheng]

另外，直接运行main.py以解决TSP问题, 下面的结果符合预期吗？

[] Average for 20: 3.8658526882735593
[] Average for 50: 5.8658438710221406
[*] Average for 100: 8.565494644291515

[Furffico]

@henry-yeh

[henry-yeh]

符合预期

[eegzheng]

@Furffico @henry-yeh 多谢确认！

[eegzheng]

这个问题已知的最优解是多少？

我用qwen2.5，得到的解明显好很多：

[] Average for 20: 3.9038538902268956
[] Average for 50: 6.512406015657691
[*] Average for 100: 10.104034196730435

[Furffico]

TSP 是输出的路径长度越短越好哦，这次运行找到的启发函数是不如上面那个的。

[eegzheng]

那就合理了，这次用的算力少。

[ZLC666666]

作者您好，示例中用的是tsp_aco问题，在解决其他问题例如tsp_gls时只需要改问题类型就可以了吗，需不需要添加额外参数

[ZLC666666]

tsp_aco运行正常，但是在运行tsp_gls时提示种子函数无效怎么回事，是因为numba的版本必须是0.58吗

[Furffico]

@eegzheng 我觉得改 main.py 不如直接改 cfg 下的配置文件，可以参考 hydra 的文档。
您这样操作不行是因为 hydra 在调用 main 函数的时候就已经将 cfg 中的部分配置实例化为指定的对象了，这时再修改其中的属性是没有意义的。

[Furffico]

@ZLC666666 应该就是运行环境的问题。可以在 outputs/*/*/problem_iter0_stdout0.txt 查看程序的运行输出/报错，再根据这个排查问题的原因。

[eegzheng]

@Furffico , 明白了，那还是用命令行加参数调用更方便

[Furffico]

@eegzheng 您也可以把指令写在 sh (Linux/MacOS) 或者 bat (windows) 文件里，然后运行这个文件。

[eegzheng]

请问问题是最大化还是最小化目标函数是在哪个配置文件里指定的？设置cfg/problem里的obj_type好像不起作用

[Furffico]

就是 obj_type，不应该没用啊 🤔

[eegzheng]

是在dpp-ga这个例子的基础上修改的, 好像除了目标函数定义和obj_type这两处，还要修改run_ga里的一些操作，比如argsort()和np.argmax。

在dpp这个例子里，为什么没有用mutation（函数内容为空），是在validation里实现的？以及mutation是否像论文中提到的优化过？prompt目录里的设置都只是关于crossover。

另外，结果的随机性好像比较大，有可重复性reproducible research的方法吗？

[henry-yeh]

1. 不需要修改其他
2. 具体参考appendix D.6 和 E，都优化过，一先一后
3. 没太懂

[eegzheng]

多谢解释。

我看到了优化过的crossover和mutation函数带有前缀 ‘reevo_’。下面提到不支持同时优化两个函数，那他们的优化是通过交替迭代得到的吗？要大概迭代多少次？

[henry-yeh]

是先优化好了crossover，再优化mutation的。两次优化实验设定在原文Table 8中。

[eegzheng]

在dpp_ga这个例子里，如何要同时优化crossover， mutation函数，在cfg里的func_name要写上两个函数crossover， mutation的名称吗？

在promots里把 两个函数的信息都写到desc，signature, func这三个文件里？还是每个函数分别写这三个文件，命名规则是怎么样的？

[henry-yeh]

目前代码不支持同时优化的，抱歉