在Laxcus alp2上如何使用分布式推理功能？

admin

Laxcus alp2 发布在即，简单说一下新增的这个分布式推理应用：

单节点安装：

1、如果你只有一台物理机或者虚拟机，安装时候务必选择安装Top Manager节点；

2、安装完成后进入系统，切换到root用户，执行systemctl status fixd和systemctl status lxllamad分别查看两个服务是否正常运行；

3、确保fixd和lxllmad服务正常运行后，浏览器输入http://ip:8080访问即可进入推理web ui界面。（ip为安装Top Manager节点主机的ip）

多节点安装：

1、采用多台物理机或者虚拟机分别安装Top Manager、Home Manager、work节点并且进行相应的网络配置；（机器多的话可以把monitor也安装上，）

2、安装完成后分别进入系统，切换到root用户，执行systemctl status fixd和systemctl status lxllamad别查看两个服务是否正常运行；

3、确保每个节点的机器上fixd和lxllmad服务正常运行后，浏览器输入http://Home Manager ip:8080访问即可进入推理web ui界面。

另外：

1、系统自带的模型是/opt/deepseek-r1/1.5b/models/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf，如果你需要更换其他模型，请下载gguf格式的版本，放置在相应的目录，目前已率先支持阿里通义千问QWQ-32B模型。

2、llm-cli import xxx.gguf (xxx更换为下载的模型文件名)

3、llm-cli set default <hash> (上一步完成后会显示对应的hash，此处输入这个hash)

4、systemctl restart lxllamad

我们会先推出针对没有独立显卡的纯cpu分布式推理的alp2版本，稍晚一点会推出一个针对有独立英伟达显卡的版本，大家根据各自的情况安装相应的版本以达到最佳的推理效果。