利用 iGPU 加速 AI

关于在 VergeOS 中为 AI 加速配置 iGPU（集成显卡）的说明，包括资源组设置和模型分配。

要点

• iGPU（直接内置于许多现代服务器 CPU 中）可为中小型 AI 模型提供加速推理
• 与仅使用 CPU 执行或独立 GPU 相比，iGPU 可带来更低的发热、更低的功耗和稳定的吞吐量
• 使用 iGPU 可让 AI 工作负载利用通常会被闲置的板载 GPU 性能

更多信息

一个 iGPU （集成图形处理单元）直接内置于 CPU 中，而不是作为独立显卡存在。在 VergeOS 中，iGPU 可用于私有 AI 加速，让你利用许多现代服务器中已具备的硬件。这种方法可减轻 CPU 核心的处理负担，同时通常比专用附加 GPU 需要更少的功耗和散热。由于 iGPU 针对并行矩阵和向量运算进行了优化，因此在推理工作负载中通常比 CPU 更高效。

iGPU 与 CPU 共享系统内存，这可能成为瓶颈。不过，对于中小型模型来说，这一限制通常是可控的。如果你的目标是最高性能，独立 GPU 硬件仍然是首选。

对于轻量级推理任务（例如小型语言模型），iGPU 往往更节能。对于繁重的训练工作负载，无论是 CPU 还是 iGPU 都不是理想选择。

在运行中等规模 AI 模型的个人服务器上，iGPU 推理提供了一个很好的平衡点：更少的发热、更低的功耗，以及不错的吞吐量。

使用 iGPU 的优势

• 与仅使用 CPU 执行相比，功耗更低，对散热的需求也更少
• 利用 CPU 中已包含的硬件，避免额外的采购成本
• 每瓦吞吐量优于 CPU 核心
• 卸载 CPU 核心的计算负担，提升整体系统响应速度

现代服务器通常都配备性能可观的 iGPU。即使是较旧或性能较弱的服务器，也可以通过利用这种内置硬件获得可观的加速。

前提条件

• 服务器 CPU 必须具有集成 GPU（iGPU）
• 确认在 BIOS 设置中已启用 iGPU
• 直通可能需要启用 IOMMU/VT-d（Intel）或 AMD-Vi（AMD）

---

高级步骤

要将 iGPU 用于私有 AI 模型，需要执行以下高级步骤：

• 创建资源组：类型 = "Host GPU"
• 将物理节点中的 iGPU 设备添加到资源组
• 将资源组分配给一个或多个 AI 模型

使用 iGPU 配置资源组

1. 导航到 基础架构 > 节点 以及 双击 包含 iGPU 的节点。
2. 选择 PCI 设备 卡片或左侧菜单选项。
3. 在设备列表中，将 类型 筛选器（Type 列顶部）设置为 显示控制器 以仅显示显示设备。
4. 从筛选后的列表中选择 iGPU 设备。⚠️ 为资源组选择设备时要小心。选错设备可能会导致问题。
5. 点击 创建资源 在左侧菜单中。
6. 创建一个 新的资源组：

• 如果不存在任何组，输入表单将自动显示。
• 否则，选择 附加到: --新组-- 然后点击 下一步

1. 配置资源组字段：

• 名称: 提供一个描述性名称，例如“iGPU”
• 类型：选择 主机 GPU
• 最大 vRAM: 限制可供 iGPU 使用的系统 RAM 数量（默认 = 0；不限制）。

  • 在运行其他工作负载的系统上，设置最大 vRAM 以防止工作负载与 iGPU 使用之间发生争用。
  • 如果最大 vRAM 设置得过低，模型可能无法加载并产生错误。

1. 点击 提交 以使用所选 iGPU 保存新的资源组。
2. 按照仪表板顶部的提示进行操作，以 查看节点，将节点置于 维护模式 （参见节点仪表板顶部的消息），并 重新加载驱动程序 （当节点进入维护模式后，仪表板顶部会提示）。
3. 在节点上退出维护模式 ，待驱动程序重新加载完成后。
4. 导航到 基础架构 > 资源 > 组 并确认你的新资源组显示为 已启用 已勾选。双击该组以确认 节点资源 部分列出了你的 iGPU 设备。

---

将额外的节点 iGPU 添加到同一资源组

跨节点池化 iGPU

通过将多个节点中的 iGPU 添加到同一个资源组，你可以创建一个共享的加速资源池，供 AI 模型调用。更多详情请参见 资源组

要添加更多 iGPU：

• 重复上述步骤 1–5。
• 当系统提示选择一个资源组时 附加到, 选择现有的 Host GPU 资源组.
• 按照仪表板提示将节点置于 维护模式 以及 重新加载驱动程序.
• 在重新加载完成后退出维护模式 。

---

将 iGPU 资源组分配给模型

配置完成后，将 Host GPU 资源组分配给你的 AI 模型：

1. 导航到 私有 AI > 模型.
2. 选择你想加速的 AI 模型。
3. 点击 编辑 在左侧菜单中。
4. 在 GPU 资源组分配 字段中，选择你的 iGPU 资源组。
5. 点击 提交 以保存。

该模型现在将从资源组中的任何可用 iGPU 获取资源。有关私有 AI 配置的更多信息，请参见 私有 AI 配置.