> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/run-the-platform/zh/xi-tong-guan-li/nvidia-vgpu-configuration.md).
# NVIDIA vGPU 配置
VergeOS 允许无缝利用 NVIDIA 的 vGPU 平台，在租户和虚拟机之间分配虚拟化 GPU 设备。
{% hint style="info" %}
**26.1.3 新增**
VergeOS 现已包含扩展的 NVIDIA 功能支持，可在不同工作负载之间分配 GPU 设备时提供更高的灵活性
* **异构 vGPU 配置文件** - 在同一设备中使用多个传统 vGPU 配置文件。需要 NVIDIA 驱动版本 17.2 或更高版本，并且设备支持。
* **MIG 配置文件** - 单个 GPU 可划分为最多七个硬件隔离实例，以保证多个同时运行的工作负载获得服务。需要设备支持；建议使用最新的 NVIDIA 数据中心驱动。
{% endhint %}
{% hint style="success" %}
**NVIDIA vGPU 功能需要 NVIDIA 的商业 vGPU 许可。这适用于传统 vGPU 和基于 MIG 的 vGPU 配置。**
{% endhint %}
***
## 整体工作流程
以下是配置 VergeOS NVIDIA vGPU 所需的高级步骤：
* **上传驱动程序** 将捆绑的 NVIDIA 驱动程序上传到 VergeOS 环境。
* **创建资源组** 基于所选物理 GPU 设备生成资源组，并选择 MIG 或传统 vGPU 配置文件。这将创建一个可分配的 vGPU 设备池。每个物理设备可创建多个资源组，以便为不同用例提供不同 vGPU 类型的组合。
* **加载驱动程序** 应将每个节点置于维护模式以加载 NVIDIA 驱动程序。（如果尚未启用 IOMMU 和/或是首次加载驱动程序，则可能需要重启节点。）
* **向单个虚拟机添加设备** 向虚拟机添加设备，并选择已创建的资源组。这样虚拟机就可以从该资源组中可用的虚拟 GPU 设备池中获取设备。
* **共享给租户** 将设备共享给单个租户，使其能够将 vGPU 设备添加到自己的虚拟机中。
***
以下部分提供了在 VergeOS 中启用并分配 NVIDIA vGPU 资源的分步说明。
## 前提条件
开始之前，请确保具备以下条件：
* **支持 NVIDIA vGPU 的 GPU** 已安装在一个或多个 VergeOS 节点中（请参见 [NVIDIA 支持的 GPU](https://docs.nvidia.com/vgpu/gpus-supported-by-vgpu.html) )
* **已在主机 BIOS 中启用 IOMMU / VT-d / SR-IOV** ——如果尚未启用，请计划在此过程中重启节点（请遵循正确的 [**维护模式**](/run-the-platform/zh/yun-wei/maintenance-mode.md) 操作流程）。
* **NVIDIA vGPU 软件许可** ——可访问 [NVIDIA 许可门户](https://nvidia.com/en-us/data-center/resources/vgpu-evaluation) 以获取驱动程序
* **VergeOS 管理员访问权限** 资源管理器和节点配置
* 熟悉 [**PCI 直通风险和注意事项**](/run-the-platform/zh/xi-tong-guan-li/device-pass-overview.md#pci-passthrough-risksprecautions)
## 主机安装/配置
1. 为你的 GPU 硬件获取合适的 NVIDIA Linux-KVM 驱动程序。NVIDIA vGPU 驱动程序可从你的 NVIDIA 许可门户下载，或者通过注册 NVIDIA 免费评估获取： [**https://nvidia.com/en-us/data-center/resources/vgpu-evaluation**](https://nvidia.com/en-us/data-center/resources/vgpu-evaluation).
VergeOS 支持捆绑版本的 NVIDIA 驱动程序。要查看当前支持的 NVIDIA 驱动程序列表，请导航到 资源管理器 > 组 > 新建。将类型设置为NVIDIA vGPU ，然后单击按钮查看兼容的第三方驱动程序。通常，你会希望使用该列表中与你的 NVIDIA 硬件兼容的最新驱动程序。
以下说明通过为每个所选设备自动创建所需的资源规则并将设备附加到资源组，从而将所选 vGPU 设备配置为虚拟功能直通。这将创建一个可分配给租户和虚拟机的虚拟功能设备池，以供其使用。有关资源组和资源规则的更多信息，请参见： 设备直通 - 概述
```
```
**如果配置文件列表为空，请先跳过此字段并单击 **提交** 保存资源组。请按照下方 [重新加载驱动程序](#reload-drivers) 的说明，在至少一个节点上执行，然后返回到资源组（**基础设施** > **资源** > **组** > 双击该组 > **编辑**）以选择配置文件。**
```
* 该 **驱动程序** 下拉列表将包含在 *文件* 部分中找到的所有 NVIDIA vGPU 驱动程序（.zip）。在可选中之前，需要先将相应驱动程序上传到 vSAN（见上方步骤 1-2）。选择合适的驱动程序。
* 单击 **提交** 以保存资源组。资源组被选定或新建后， **成功** 消息应会出现，表明已为设备创建资源规则。
* 如果之前未加载过驱动程序或 IOMMU 尚未启用， **重启相关节点** 在 [**维护模式**](/run-the-platform/zh/yun-wei/maintenance-mode.md) 继续之前。
* 节点重启后，导航到刚刚创建的 NVIDIA vGPU 资源组（基础设施 > 资源 > 组 > 双击该组）。
* 单击 **编辑** 左侧菜单中的。
* 选择 **NVIDIA vGPU 配置文件**：传统或 MIG（下方选项卡提供相关说明）：
{% tabs %}
{% tab title="传统 vGPU 配置" %}
* **NVIDIA vGPU 配置文件**：选择所需的传统配置文件。
* **vGPU 实例总数**：使用给定配置文件创建的虚拟实例数量。
* **调度策略**, **频率**, **平均因子**, **时间片长度（毫秒）**, **严格轮询**：NVIDIA 特定设置——请查阅 NVIDIA 文档以获取具体的性能调优信息。
* **驱动程序**：已从上一步预填充。
{% hint style="info" %}
**灵活配置文件配置**
从 26.1.3 版本开始，VergeOS 支持异构 vGPU 配置文件。这提供了更高的灵活性，允许物理设备同时托管不同类型和大小的配置文件组合（需要 NVIDIA 驱动版本 17.2 或更高版本，并且设备支持）。
* NVIDIA 只允许混合使用具有相同架构且属于同一兼容组的 vGPU 配置文件——请查阅 NVIDIA 文档了解更多信息。
* 组合后的配置文件必须适合 GPU 的总帧缓冲区（可用 VRAM）。
* MIG 和传统配置文件 **不能** 在同一物理设备上混用。
* NVIDIA SMI 查询可提供与已为某个设备配置的 vGPU 配置文件兼容的信息。请参见 [故障排除提示](#troubleshooting-tips) 了解更多信息。
{% endhint %}
{% hint style="info" %}
**示例：使用异构配置文件**
* **物理设备**：NVIDIA L40S 提供 **48 GB 的帧缓冲内存**
* **多种配置文件类型** 已为该设备实现：
* **L40S-24C：** 一个使用 24 GB 的计算优化型 vGPU 实例
* **L40S-12Q：** 一个使用 12 GB 的图形优化型 vGPU 实例
* **L40S-4C：** 三个轻量级计算 vGPU 实例，每个使用 4 GB（总计 12 GB）
* 每种配置文件类型都会创建一个单独的资源组（设备池）。
* 这些异构配置文件共同分配了整个帧缓冲区，同时 **支持多种工作负载类型** （计算、图形、推理工作负载）在同一物理 GPU 上运行。
* **剩余容量**：此配置使用了 **整个 48 GB 帧缓冲区**，留下 **没有剩余容量** 用于额外的 vGPU 配置文件。
{% endhint %}
{% endtab %}
{% tab title="MIG vGPU 配置" %}
* **NVIDIA vGPU 配置文件**：选择所需的 MIG 配置文件。
{% hint style="info" %}
**单个设备使用多个配置文件**
* 组合后的配置文件必须适合 GPU 的总帧缓冲区（可用 VRAM）。
* MIG 和传统配置文件不能在同一物理设备上混用。
{% endhint %}
* **MIG GPU 实例**： （最大值已在说明中列出）要创建的 MIG 实例数量。
* **vGPU 实例总数**：默认=0（最大值）——此设置决定每个 MIG 分区可分配的虚拟 GPU 实例数量。
* 将此值保持为 0，可自动为所选 MIG 配置文件创建最大数量的虚拟 GPU。
* 将该值设为 1，可创建一个使用整个 MIG 切片的单个虚拟 GPU。
* 将值设置为 0 或 1 以外的其他值，会导致 MIG 切片内部存在未使用的容量。
* **驱动程序**：已从上一步预填充。
{% hint style="info" %}
**示例：将 MIG 实例进一步划分为虚拟实例**
* **物理设备**：RTX Pro 6000 Blackwell DC 提供 96 GB 的帧缓冲内存
* **已添加 MIG 配置文件**：选择该配置文件 *NVIDIA RTX Pro 6000 Blackwell DC‑2‑12Q‑MIG (2g.48gb+gfx)* 并指定 *MIG GPU 实例*：1 会创建一个具有 48 GB 专用帧缓冲的 MIG 切片。该 MIG 切片支持 **四个 vGPU 实例**，每个使用 **12 GB** （“12Q” 配置文件）
* **剩余容量**：分配该 48 GB MIG 切片后， **48 GB 帧缓冲** 仍可用于其他 MIG 配置文件
* 可以创建一个或多个额外的资源组，以使用不同的 MIG 配置文件类型利用剩余容量。
{% endhint %}
{% endtab %}
{% endtabs %}
### 来宾驱动 ISO
以下来宾驱动设置适用于传统和 MIG vGPU 配置。
* **驱动 ISO**：使用 **创建来宾驱动 ISO** 选项可自动为你的虚拟机创建来宾驱动安装程序。如果你已经创建了来宾驱动，请在下一步中选择该 ISO。
* 该 **驱动 ISO** 文件指定一个可附加到使用中的虚拟机的 ISO 文件，为在来宾操作系统中安装客户端驱动程序提供了便捷方式。（附加设备到虚拟机或租户时选择 ***附加来宾驱动程序*** 选项。）
{% hint style="info" %}
**如果你选择了 *****创建来宾驱动 ISO***** 选项，请将驱动 ISO 字段保持为 *****-- 无 --*****；系统将自动创建 ISO 文件（基于所选捆绑驱动程序），用于向虚拟机安装客户端驱动程序。**
{% endhint %}
***
## 重新加载驱动程序
* 当资源组配置完成并提交后，将节点置于 [**维护模式**](/run-the-platform/zh/yun-wei/maintenance-mode.md) 并点击 **重新加载驱动程序**.
* 监控节点仪表板日志（页面底部），以 **确认驱动程序已成功安装** ，然后再禁用维护模式。
{% hint style="success" %}
资源组仪表板包含根据所选 NVIDIA 设备自动生成的资源规则。你可以单击单个规则查看配置详情。系统创建的规则可按需修改。例如， *节点* 筛选条件可以更改为 *-- 无 --* 以包含来自所有节点的匹配设备； *插槽* 筛选条件可以移除或修改，以适应可能位于同一节点内不同插槽或跨不同节点的设备。有关资源规则的信息请参见： [**设备直通概述 - 资源规则**](/run-the-platform/zh/xi-tong-guan-li/device-pass-overview.md#resource-rules)
{% endhint %}
## 虚拟机/客户配置
1. 导航到虚拟机仪表板（从顶部菜单：虚拟机 > 列表 > 双击列表中所需的虚拟机）
2. 单击 **设备** 左侧菜单中的。
3. 单击 **新建** 左侧菜单中的。
你也可以通过资源管理器将设备附加到虚拟机；这种方法允许一次向虚拟机添加多个设备。从资源组仪表板 > 双击所需的 vGPU 组 > 查看机器设备 > 新建；从机器下拉列表中选择虚拟机。
NVIDIA 客户端许可可能涉及在 NVIDIA 许可服务器上生成客户端配置令牌，然后需要将其下载到虚拟机来宾中，随后重启虚拟机。