> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/knowledge-base/zh/system-administration/using-igpu-ai-acceleration.md).

# 利用 iGPU 进行 AI 加速

{% hint style="info" %}
**要点**

* iGPU（直接内置于许多现代服务器 CPU 中）可为中小型 AI 模型提供加速推理
* 与仅使用 CPU 执行或独立 GPU 相比，iGPU 可带来更低的发热、更低的功耗和稳定的吞吐量
* 使用 iGPU 可让 AI 工作负载利用通常会被闲置的板载 GPU 性能
  {% endhint %}

{% hint style="info" %}
**更多信息**

一个 **iGPU** （集成图形处理单元）直接内置于 CPU 中，而不是作为独立显卡存在。在 VergeOS 中，iGPU 可用于私有 AI 加速，让你利用许多现代服务器中已具备的硬件。这种方法可减轻 CPU 核心的处理负担，同时通常比专用附加 GPU 需要更少的功耗和散热。由于 iGPU 针对并行矩阵和向量运算进行了优化，因此在推理工作负载中通常比 CPU 更高效。

iGPU 与 CPU 共享系统内存，这可能成为瓶颈。不过，对于中小型模型来说，这一限制通常是可控的。如果你的目标是最高性能，独立 GPU 硬件仍然是首选。

对于轻量级推理任务（例如小型语言模型），iGPU 往往更节能。对于繁重的训练工作负载，无论是 CPU 还是 iGPU 都不是理想选择。

在运行中等规模 AI 模型的个人服务器上，iGPU 推理提供了一个很好的平衡点：更少的发热、更低的功耗，以及不错的吞吐量。

**使用 iGPU 的优势**

* 与仅使用 CPU 执行相比，功耗更低，对散热的需求也更少
* 利用 CPU 中已包含的硬件，避免额外的采购成本
* 每瓦吞吐量优于 CPU 核心
* 卸载 CPU 核心的计算负担，提升整体系统响应速度

现代服务器通常都配备性能可观的 iGPU。即使是较旧或性能较弱的服务器，也可以通过利用这种内置硬件获得可观的加速。
{% endhint %}

{% hint style="warning" %}
**前提条件**

* 服务器 CPU 必须具有集成 GPU（iGPU）
* 确认在 BIOS 设置中已启用 iGPU
* 直通可能需要启用 IOMMU/VT-d（Intel）或 AMD-Vi（AMD）
  {% endhint %}

***

## 高级步骤

要将 iGPU 用于私有 AI 模型，需要执行以下高级步骤：

* 创建资源组：类型 = "Host GPU"
* 将物理节点中的 iGPU 设备添加到资源组
* 将资源组分配给一个或多个 AI 模型

## 使用 iGPU 配置资源组

1. 导航到 **基础架构** > **节点** 以及 **双击** 包含 iGPU 的节点。
2. 选择 **PCI 设备** 卡片或左侧菜单选项。
3. 在设备列表中，将 **类型** 筛选器（Type 列顶部）设置为 ***显示控制器*** 以仅显示显示设备。
4. 从筛选后的列表中选择 iGPU 设备。⚠️ *为资源组选择设备时要小心。选错设备可能会导致问题。*
5. 点击 **创建资源** 在左侧菜单中。
6. 创建一个 **新的资源组：**

* 如果不存在任何组，输入表单将自动显示。
* 否则，选择 **附加到**: ***--新组--*** 然后点击 **下一步**

7. 配置资源组字段：

* **名称**: 提供一个描述性名称，例如“iGPU”
* **类型**：选择 ***主机 GPU***
* **最大 vRAM**: 限制可供 iGPU 使用的系统 RAM 数量（默认 = 0；不限制）。
  * 在运行其他工作负载的系统上，设置最大 vRAM 以防止工作负载与 iGPU 使用之间发生争用。
  * 如果最大 vRAM 设置得过低，模型可能无法加载并产生错误。

8. 点击 **提交** 以使用所选 iGPU 保存新的资源组。
9. 按照仪表板顶部的提示进行操作，以 **查看节点**，将节点置于 **维护模式** （参见节点仪表板顶部的消息），并 **重新加载驱动程序** （当节点进入维护模式后，仪表板顶部会提示）。
10. **在节点上退出维护模式** ，待驱动程序重新加载完成后。
11. 导航到 **基础架构** > **资源** > **组** 并确认你的新资源组显示为 **已启用** 已勾选。双击该组以确认 **节点资源** 部分列出了你的 iGPU 设备。

***

### 将额外的节点 iGPU 添加到同一资源组

{% hint style="success" %}
**跨节点池化 iGPU**

通过将多个节点中的 iGPU 添加到同一个资源组，你可以创建一个共享的加速资源池，供 AI 模型调用。更多详情请参见 [资源组](/run-the-platform/system-administration/device-pass-overview.md#resource-groups)
{% endhint %}

要添加更多 iGPU：

* 重复上述步骤 1–5。
* 当系统提示选择一个资源组时 ***附加到***, **选择现有的 Host GPU 资源组**.
* 按照仪表板提示将节点置于 **维护模式** 以及 **重新加载驱动程序**.
* **在重新加载完成后退出维护模式** 。

***

## 将 iGPU 资源组分配给模型

配置完成后，将 Host GPU 资源组分配给你的 AI 模型：

1. 导航到 **私有 AI** > **模型**.
2. 选择你想加速的 AI 模型。
3. 点击 **编辑** 在左侧菜单中。
4. 在 **GPU 资源组分配** 字段中，选择你的 iGPU 资源组。
5. 点击 **提交** 以保存。

该模型现在将从资源组中的任何可用 iGPU 获取资源。有关私有 AI 配置的更多信息，请参见 [私有 AI 配置](/automate-protect-and-extend/private-ai/configuration.md).


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter:

```
GET https://docs.verge.io/knowledge-base/zh/system-administration/using-igpu-ai-acceleration.md?ask=<question>&goal=<endgoal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.