<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0">
  <channel>
    <title>LAXCUS分布式操作系统交流区 - 大型语言模型</title>
    <link>http://bbs.laxcus.com/forum.php?mod=forumdisplay&amp;fid=5</link>
    <description>Latest 20 threads of 大型语言模型</description>
    <copyright>Copyright(C) LAXCUS分布式操作系统交流区</copyright>
    <generator>Discuz! Board by Comsenz Inc.</generator>
    <lastBuildDate>Thu, 30 Apr 2026 19:30:06 +0000</lastBuildDate>
    <ttl>60</ttl>
    <image>
      <url>http://bbs.laxcus.com/static/image/common/logo_88_31.gif</url>
      <title>LAXCUS分布式操作系统交流区</title>
      <link>http://bbs.laxcus.com/</link>
    </image>
    <item>
      <title>llama.cpp编译时候添加的参数-DGGML_RPC=ON的作用是什么？</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=21</link>
      <description><![CDATA[在 `llama.cpp` 的编译过程中，添加 `-DGGML_RPC=ON` 参数的作用是启用远程过程调用（RPC）功能，允许通过网络将计算任务分发到远程主机上运行。具体来说，这个参数的作用包括：

1. **启用 RPC 服务器**：  
   在编译时启用 RPC 功能后，可以运行一个名为 `rpc-server ...]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Mon, 03 Mar 2025 08:11:58 +0000</pubDate>
    </item>
    <item>
      <title>不指定-ngl的话llama.cpp将会怎么运行？</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=20</link>
      <description><![CDATA[在运行 `llama.cpp` 时，如果不指定 `-ngl` 参数（即不指定在 GPU 上运行的层数），程序的行为会根据编译选项和运行环境的不同而有所差异。以下是几种可能的情况：

### 1. **仅编译为 CPU 版本（未启用 GPU 支持）**
如果在编译时未启用 `-DGGML_CUDA=ON` 或 `-DLLAMA_ ...]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Mon, 03 Mar 2025 06:09:17 +0000</pubDate>
    </item>
    <item>
      <title>编译llama.cpp，-DLLAMA_CUBLAS=on和-DGGML_CUDA=ON的区别是什么？</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=19</link>
      <description><![CDATA[`-DGGML_CUDA=ON` 和 `-DLLAMA_CUBLAS=ON` 是 `llama.cpp` 编译时的两个不同配置选项，它们的主要区别如下：

### 1. `-DGGML_CUDA=ON`
- **作用**：启用对 CUDA 的支持，允许模型在 NVIDIA GPU 上运行。
- **功能**：通过 CUDA，模型可以利用 GPU 的并行计算能力加速推 ...]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Mon, 03 Mar 2025 06:07:47 +0000</pubDate>
    </item>
    <item>
      <title>CentOS 8下编译llama.cpp出错的解决方法</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=15</link>
      <description><![CDATA[由于CentOS自带的gcc/g++版本过低，编译llama.cpp源代码的时候会报错，而升级gcc/g++版本也相当困难，所以可以按一下方式修改试试：]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Fri, 28 Feb 2025 10:45:26 +0000</pubDate>
    </item>
    <item>
      <title>vLLM如何修改为支持异构架构的分布式系统，以同时支持使用各种GPU和CPU和NPU？</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=14</link>
      <description><![CDATA[针对这个问题，让我们看看大模型给出的答案：要将 vLLM 修改为支持异构架构的分布式系统，同时兼容各种 GPU、CPU 和 NPU，需要从架构设计、任务分配、通信机制和硬件适配等多个层面进行调整。以下是一个系统性的方法和步骤，供你参考。这些步骤基于 vLLM 的现有功能（如 ...]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Sun, 23 Feb 2025 04:49:48 +0000</pubDate>
    </item>
    <item>
      <title>llama.cpp是否可以修改成支持分布式推理？</title>
      <link>http://bbs.laxcus.com/forum.php?mod=viewthread&amp;tid=13</link>
      <description><![CDATA[我们看看AI大模型怎么说：
将`llama.cpp`修改为支持分布式计算是一个复杂的任务，因为它最初被设计为单机运行的高效推理框架，主要针对本地硬件（如CPU、GPU）优化。为了实现分布式功能，你需要对其架构进行重大改造，涉及网络通信、任务分割、负载均衡等。以下是实现分 ...]]></description>
      <category>大型语言模型</category>
      <author>admin</author>
      <pubDate>Fri, 21 Feb 2025 09:31:42 +0000</pubDate>
    </item>
  </channel>
</rss>