> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/run-the-platform/vi/quan-tri-he-thong/nvidia-vgpu-configuration.md). # Cấu hình NVIDIA vGPU VergeOS cho phép sử dụng liền mạch nền tảng vGPU của NVIDIA để gán các thiết bị GPU ảo hóa giữa các tenant và VM. {% hint style="info" %} **Mới trong 26.1.3** VergeOS hiện bao gồm hỗ trợ mở rộng các tính năng NVIDIA, mang lại sự linh hoạt cao hơn khi phân chia các thiết bị GPU cho nhiều khối lượng công việc * **Các profile vGPU dị thể** - sử dụng nhiều profile vGPU truyền thống trong cùng một thiết bị. Yêu cầu phiên bản driver NVIDIA 17.2 trở lên và thiết bị hỗ trợ. * **Các profile MIG** - một GPU duy nhất có thể được phân vùng thành tối đa bảy phiên bản cách ly bằng phần cứng, để đảm bảo dịch vụ cho nhiều khối lượng công việc đồng thời. Yêu cầu thiết bị hỗ trợ; khuyến nghị dùng driver data center NVIDIA mới nhất. {% endhint %} {% hint style="success" %} **Chức năng vGPU của NVIDIA yêu cầu giấy phép vGPU thương mại của NVIDIA. Điều này áp dụng cho cả cấu hình vGPU truyền thống và vGPU dựa trên MIG.** {% endhint %} *** ## Quy trình tổng thể Đây là các bước tổng quan cần thiết để cấu hình NVIDIA vGPU trong VergeOS: * **Tải lên Driver** Tải driver NVIDIA đi kèm lên môi trường VergeOS. * **Tạo nhóm tài nguyên** Tạo một nhóm tài nguyên dựa trên (các) thiết bị GPU vật lý đã chọn, chọn profile MIG hoặc vGPU truyền thống. Việc này tạo ra một vùng các thiết bị vGPU có thể gán được. Có thể tạo nhiều nhóm tài nguyên cho mỗi thiết bị vật lý để cung cấp sự kết hợp các loại vGPU khác nhau cho các trường hợp sử dụng khác nhau. * **Tải driver** Mỗi node nên được đặt vào chế độ bảo trì để tải driver NVIDIA. (Có thể cần khởi động lại node nếu IOMMU chưa được bật và/hoặc khi tải driver lần đầu.) * **Thêm thiết bị vào từng VM** Thêm thiết bị vào VM, chọn nhóm tài nguyên đã tạo. Điều này cho phép VM lấy từ vùng các thiết bị GPU ảo có sẵn trong nhóm tài nguyên. * **Chia sẻ cho tenant** Chia sẻ thiết bị cho từng tenant, cho phép họ thêm các thiết bị vGPU vào các VM của riêng mình. *** Các phần sau cung cấp hướng dẫn từng bước để bật và gán tài nguyên NVIDIA vGPU trong VergeOS. ## Điều kiện tiên quyết Trước khi bắt đầu, hãy đảm bảo các điều sau đã sẵn sàng: * **GPU hỗ trợ NVIDIA vGPU** được cài đặt trong một hoặc nhiều node VergeOS (xem [GPU được NVIDIA hỗ trợ](https://docs.nvidia.com/vgpu/gpus-supported-by-vgpu.html) ) * **IOMMU / VT-d / SR-IOV đã bật** trong BIOS của máy chủ — nếu chưa bật, hãy lên kế hoạch khởi động lại node trong quá trình này (thực hiện đúng các [**Chế độ Bảo trì**](/run-the-platform/vi/van-hanh/maintenance-mode.md) quy trình). * **Giấy phép phần mềm NVIDIA vGPU** — truy cập [cổng cấp phép NVIDIA](https://nvidia.com/en-us/data-center/resources/vgpu-evaluation) để lấy driver * **Quyền quản trị VergeOS** đối với Resource Manager và cấu hình node * Sự quen thuộc với [**Rủi ro và biện pháp phòng ngừa khi chuyển qua PCI**](/run-the-platform/vi/quan-tri-he-thong/device-pass-overview.md#pci-passthrough-risksprecautions) ## Cài đặt/Cấu hình máy chủ 1. Hãy lấy driver NVIDIA Linux-KVM phù hợp cho phần cứng GPU của bạn. Driver vGPU của NVIDIA có thể được tải xuống từ cổng cấp phép NVIDIA của bạn hoặc bằng cách đăng ký dùng thử miễn phí NVIDIA: [**https://nvidia.com/en-us/data-center/resources/vgpu-evaluation**](https://nvidia.com/en-us/data-center/resources/vgpu-evaluation).

VergeOS hỗ trợ driver NVIDIA dạng bundle. Để xem danh sách các driver NVIDIA hiện được hỗ trợ, hãy vào Resource Manager > Groups > New. Đặt Type=NVIDIA vGPU và nhấp nút để xem các driver bên thứ ba tương thích. Thông thường, bạn sẽ muốn dùng driver mới nhất trong danh sách này tương thích với phần cứng NVIDIA của bạn.

2. Tải driver bundle NVIDIA lên VergeOS vSAN. Xem [**Tải lên vSAN (Files)**](/run-the-platform/vi/luu-tru/uploading-files-to-vsan.md) để biết hướng dẫn tải lên.

Các hướng dẫn sau đây cấu hình (các) thiết bị vGPU đã chọn cho passthrough chức năng ảo bằng cách tự động tạo các quy tắc tài nguyên cần thiết cho từng thiết bị đã chọn và gắn (các) thiết bị vào một nhóm tài nguyên. Điều này tạo ra một vùng các thiết bị chức năng ảo có thể được gán cho tenant và máy ảo sử dụng. Để biết thêm thông tin về nhóm tài nguyên và quy tắc tài nguyên, xem: Passthrough thiết bị - Tổng quan

3. Đi tới **Bảng điều khiển Trình quản lý tài nguyên** (**Cơ sở hạ tầng** > **Tài nguyên** từ menu trên cùng) **-HOẶC-** Điều hướng đến một **nút cụ thể** nơi phần cứng NVIDIA được cài đặt (**Cơ sở hạ tầng** > **Các nút**). 4. Nhấp vào **THIẾT BỊ PCI** thẻ trên bảng điều khiển. 5. **Chọn (các) thiết bị vật lý NVIDIA mong muốn.** Để dễ tìm (các) thẻ NVIDIA mong muốn, hãy dùng thanh tìm kiếm để lọc theo tên ("nvidia") hoặc Type: Display controller. 6. Nhấp vào **Tạo tài nguyên** ở menu bên trái. 7. **Chọn một nhóm tài nguyên vGPU hiện có** **-HOẶC-** **chọn --New Group--** để gắn thiết bị. *** **Các trường của nhóm tài nguyên**: * **Tên**: nhãn dùng để xác định nhóm tài nguyên (tức là vùng thiết bị); hãy dùng tên mô tả để người dùng dễ nhận biết loại thiết bị ảo nào sẽ có trong nhóm này. * **Loại**: nên được đặt thành ***NVIDIA vGPU*** (Trường này sẽ tự động được đặt nếu nhóm tài nguyên được khởi tạo dựa trên thiết bị NVIDIA.) * **Mô tả**: trường tùy chọn để cung cấp thêm văn bản quản trị về nhóm tài nguyên * **Lớp**: chọn ***vGPU***. Trường này chỉ được dùng để áp dụng biểu tượng bảng điều khiển tương ứng cho nhóm tài nguyên, và không ảnh hưởng đến chức năng * **Profile vGPU NVIDIA**: đặt trường này thành loại vGPU mà bạn muốn nhóm tài nguyên này tạo ra ```
``` ``` **Nếu danh sách profile trống, hãy bỏ qua trường này lúc này và nhấp **Submit** để lưu nhóm tài nguyên. Làm theo hướng dẫn bên dưới để [Tải lại driver](#reload-drivers) trên ít nhất một node, sau đó quay lại nhóm tài nguyên (**Infrastructure** > **Resources** > **Groups** > nhấp đúp vào nhóm > **Edit**) để chọn profile.**
``` * Tên **Trình điều khiển** danh sách thả xuống sẽ chứa tất cả các driver NVIDIA vGPU (.zip) được tìm thấy trong phần *Tệp* section. Driver phù hợp cần được tải lên vSAN trước khi có thể chọn (Bước 1-2 ở trên). Chọn driver phù hợp. * Nhấp vào **Gửi** để lưu nhóm tài nguyên. Sau khi nhóm tài nguyên được chọn hoặc một nhóm mới được tạo, một **Thành công** thông báo sẽ xuất hiện cho biết các quy tắc tài nguyên đã được tạo cho thiết bị (các thiết bị). * Nếu trước đó chưa tải driver hoặc IOMMU chưa được bật, **khởi động lại (các) node liên quan** trong [**Chế độ Bảo trì**](/run-the-platform/vi/van-hanh/maintenance-mode.md) trước khi tiếp tục. * Sau khi (các) node đã khởi động lại, hãy điều hướng đến nhóm tài nguyên NVIDIA vGPU vừa tạo (Infrastructure > Resources > Groups > nhấp đúp vào nhóm). * Nhấp vào **Chỉnh sửa** ở menu bên trái. * Chọn **Profile vGPU NVIDIA**: Truyền thống hoặc MIG (các tab bên dưới cung cấp hướng dẫn liên quan): {% tabs %} {% tab title="Cấu hình vGPU truyền thống" %} * **Profile vGPU NVIDIA**: chọn profile truyền thống mong muốn. * **Tổng số phiên bản vGPU**: số lượng phiên bản ảo cần tạo với profile đã cho. * **Chính sách lập lịch**, **Tần số**, **Hệ số trung bình**, **Độ dài lát thời gian (ms)**, **Round Robin nghiêm ngặt**: các cài đặt cụ thể của NVIDIA — hãy tham khảo tài liệu NVIDIA để biết tinh chỉnh hiệu năng cụ thể. * **Trình điều khiển**: được điền sẵn từ bước trước. {% hint style="info" %} **Cấu hình profile linh hoạt** Bắt đầu từ phiên bản 26.1.3, VergeOS hỗ trợ các profile vGPU dị thể. Điều này cho phép linh hoạt hơn, cho phép một thiết bị vật lý đồng thời lưu trữ kết hợp các loại profile và kích cỡ khác nhau (yêu cầu driver NVIDIA phiên bản 17.2 trở lên và thiết bị hỗ trợ). * NVIDIA chỉ cho phép trộn các profile vGPU có cùng kiến trúc và thuộc cùng một nhóm tương thích - hãy tham khảo tài liệu NVIDIA để biết thêm thông tin. * Các profile kết hợp phải nằm trong tổng framebuffer của GPU (VRAM khả dụng). * Các profile MIG và truyền thống **không thể** được trộn trên cùng một thiết bị vật lý. * Các truy vấn NVIDIA SMI có thể cung cấp thông tin về các profile vGPU tương thích với những profile đã được cấu hình cho một thiết bị. Xem [Mẹo khắc phục sự cố](#troubleshooting-tips) để biết thêm thông tin. {% endhint %} {% hint style="info" %} **Ví dụ: Sử dụng profile dị thể** * **Thiết bị vật lý**: NVIDIA L40S cung cấp **48 GB bộ nhớ framebuffer** * **Nhiều loại profile** được triển khai cho thiết bị: * **L40S-24C:** Một phiên bản vGPU tối ưu cho tính toán sử dụng 24 GB * **L40S-12Q:** Một phiên bản vGPU tối ưu cho đồ họa sử dụng 12 GB * **L40S-4C:** Ba phiên bản vGPU tính toán nhẹ sử dụng 4 GB mỗi phiên bản (tổng 12GB) * Một nhóm tài nguyên riêng (vùng thiết bị) được tạo cho mỗi loại profile. * Cùng nhau, các profile dị thể này phân bổ toàn bộ framebuffer trong khi **hỗ trợ nhiều loại khối lượng công việc** (tính toán, đồ họa, khối lượng công việc suy luận) trên cùng một GPU vật lý. * **Dung lượng còn lại**: Cấu hình này sử dụng **toàn bộ framebuffer 48 GB**, để lại **không còn dung lượng** cho các profile vGPU bổ sung. {% endhint %} {% endtab %} {% tab title="Cấu hình vGPU MIG" %} * **Profile vGPU NVIDIA**: chọn profile MIG mong muốn. {% hint style="info" %} **Nhiều profile được dùng cho một thiết bị duy nhất** * Các profile kết hợp phải nằm trong tổng framebuffer của GPU (VRAM khả dụng). * MIG và các profile truyền thống không thể được trộn trên cùng một thiết bị vật lý. {% endhint %} * **Các instance GPU MIG**: (mức tối đa được liệt kê trong mô tả) số instance MIG cần tạo. * **Tổng số phiên bản vGPU**: mặc định=0 (tối đa) - cài đặt này xác định số lượng instance GPU ảo có thể gán trên mỗi phân vùng MIG. * Giữ giá trị này ở 0 để tự động tạo số lượng GPU ảo tối đa cho profile MIG đã chọn. * Đặt giá trị thành 1 để tạo một GPU ảo duy nhất sử dụng toàn bộ lát MIG. * Đặt giá trị khác 0 hoặc 1 sẽ dẫn đến dung lượng không sử dụng bên trong lát MIG. * **Trình điều khiển**: được điền sẵn từ bước trước. {% hint style="info" %} **Ví dụ: Instance MIG được chia nhỏ tiếp thành các instance ảo** * **Thiết bị vật lý**: RTX Pro 6000 Blackwell DC cung cấp 96 GB bộ nhớ framebuffer MIG-vGPU * **Đã thêm profile MIG**: Chọn profile *NVIDIA RTX Pro 6000 Blackwell DC‑2‑12Q‑MIG (2g.48gb+gfx)* và chỉ định *Các instance GPU MIG*:1 tạo ra một lát MIG với 48 GB framebuffer riêng. Lát MIG này hỗ trợ **bốn instance vGPU**, mỗi instance sử dụng **12 GB** (profile “12Q”) * **Dung lượng còn lại**: Sau khi phân bổ lát MIG 48 GB này, **48 GB framebuffer** vẫn còn khả dụng cho các profile MIG bổ sung * Có thể tạo thêm một hoặc nhiều nhóm tài nguyên để tận dụng dung lượng còn lại với các loại profile MIG khác nhau. {% endhint %} {% endtab %} {% endtabs %} ### ISO driver khách Các cài đặt driver khách sau đây áp dụng cho cả cấu hình vGPU Truyền thống và MIG. * **ISO driver**: Sử dụng tùy chọn **Tạo ISO driver khách** để tự động tạo trình cài đặt driver khách cho VM của bạn. Nếu bạn đã tạo driver khách rồi, hãy chọn ISO ở bước tiếp theo. * Tên **ISO driver** tệp chỉ định một tệp ISO có thể được gắn vào các VM sử dụng, cung cấp một cách thuận tiện để truy cập các client driver để cài đặt trong hệ điều hành khách. (Chọn tùy chọn ***Gắn driver khách*** khi gắn thiết bị vào VM hoặc tenant.) {% hint style="info" %} **Nếu bạn đã chọn tùy chọn *****Tạo ISO driver khách***** thì hãy để trường Driver ISO ở giá trị *****-- Không có --*****; hệ thống sẽ tự động tạo tệp ISO (dựa trên driver bundle đã chọn) để cài client driver vào VM.** {% endhint %} *** ## Tải lại driver * Khi cấu hình nhóm tài nguyên hoàn tất và đã được gửi, hãy đặt node vào [**Chế độ Bảo trì**](/run-the-platform/vi/van-hanh/maintenance-mode.md) và nhấp vào **Tải lại driver**. * Theo dõi nhật ký Node Dashboard (phần cuối trang) để **xác minh driver đã được cài đặt thành công** trước khi tắt chế độ bảo trì. {% hint style="success" %} Bảng điều khiển nhóm tài nguyên chứa các quy tắc tài nguyên đã được tự động tạo dựa trên các thiết bị NVIDIA bạn đã chọn. Bạn có thể nhấp vào một quy tắc riêng lẻ để xem chi tiết cấu hình. Một quy tắc do hệ thống tạo ra có thể được sửa đổi khi cần. Ví dụ, *Node* bộ lọc có thể được thay đổi thành *-- Không có --* để bao gồm các thiết bị khớp từ tất cả các node; *slot* bộ lọc có thể được gỡ bỏ hoặc sửa đổi để phù hợp với các thiết bị có thể nằm ở các slot khác nhau trong cùng một node hoặc trên các node khác nhau. Thông tin về quy tắc tài nguyên có tại: [**Tổng quan truyền qua thiết bị - Quy tắc tài nguyên**](/run-the-platform/vi/quan-tri-he-thong/device-pass-overview.md#resource-rules) {% endhint %} ## Cấu hình VM/khách 1. Đi đến bảng điều khiển VM (từ menu trên cùng: Virtual Machines > List > nhấp đúp vào VM mong muốn trong danh sách) 2. Nhấp vào **Thiết bị** ở menu bên trái. 3. Nhấp vào **Mới** ở menu bên trái.

Bạn cũng có thể gắn thiết bị vào VM thông qua Resource Manager; phương pháp này cho phép thêm nhiều thiết bị vào VM cùng lúc. Từ bảng điều khiển Resource Group > nhấp đúp vào nhóm vGPU mong muốn > View Machine Devices > New; chọn VM từ danh sách thả xuống Machine.

### Các trường của biểu mẫu nhập thiết bị * **Tên**: **cung cấp một tên** để xác định loại vGPU/profile **-HOẶC-** để trống để hệ thống tự động tạo tên cho instance. * **Loại**: chọn ***NVIDIA vGPU***. * **Mô tả** (tùy chọn): có thể nhập thêm văn bản tại đây cho mục đích quản trị. * **Nhóm tài nguyên**: chọn nhóm tài nguyên NVIDIA vGPU phù hợp từ danh sách thả xuống. (Danh sách nhóm tài nguyên sẽ hiển thị số lượng thiết bị trong nhóm hiện đang khả dụng.) * **Số lượng**: cho biết số lượng thiết bị vGPU cần gắn vào VM. (Tùy chọn này chỉ khả dụng khi truy cập nhập thiết bị qua Resource Manager.) * **Gắn driver khách**: nếu ISO driver khách đã được chỉ định cho nhóm tài nguyên, bạn có thể chọn tùy chọn này để tự động gắn một ổ CD-ROM, được nạp driver khách NVIDIA, vào VM. * **Giới hạn tốc độ khung hình**: để đặt mức trần cho số khung hình mỗi giây. Các cài đặt tốc độ làm mới được khuyến nghị phụ thuộc vào khối lượng công việc cụ thể của bạn. Tốc độ làm mới thấp hơn sẽ giảm chi phí không cần thiết trên vGPU. Nếu chỉ dùng cho khối lượng công việc tính toán (như ML/suy luận), và không dùng cho bất kỳ mục đích đồ họa/hiển thị nào, giới hạn tốc độ khung hình có thể đặt thành 0. * **Tắt VNC Console**: tùy chọn này có thể được dùng khi vGPU sẽ được dùng làm màn hình chính, ví dụ chỉ truy cập qua RDP. * **Các cài đặt NVIDIA nâng cao; tham khảo tài liệu NVIDIA để biết thông tin về các tùy chọn sau:** * **Bật Bộ nhớ hợp nhất** * **Bật trình gỡ lỗi NVIDIA CUDA Toolkit** * **Bật profile NVIDIA CUDA Toolkit** 4. Khi các trường đã hoàn tất, nhấp vào **Gửi** để hoàn tất việc thêm thiết bị mới. 5. VM sẽ cần **khởi động lại** để gắn thiết bị. Từ bảng điều khiển VM, nhấp vào *Khởi động lại* liên kết trên thông báo xuất hiện ở đầu bảng điều khiển, hoặc nhấp vào **Khởi động lại** ở menu bên trái. 6. **Cài đặt (các) driver khách NVIDIA cần thiết**; driver cần thiết sẽ khác nhau tùy theo mẫu GPU cụ thể và phiên bản hệ điều hành khách. Nếu đã chọn tùy chọn gắn driver khách, một ổ CD-ROM sẽ khả dụng chứa các driver NVIDIA cần thiết để cài đặt. 7. Tham khảo tài liệu NVIDIA về yêu cầu/hướng dẫn cấp phép vGPU cho client.

Việc cấp phép client NVIDIA có thể bao gồm việc tạo một client config token trên máy chủ cấp phép NVIDIA, token này cần được tải xuống máy ảo khách, sau đó khởi động lại VM.

8. **Xác minh vGPU được phát hiện** — sau khi driver khách được cài đặt và VM được khởi động lại, hãy chạy `nvidia-smi` bên trong VM để xác nhận GPU ảo đã được nhận diện và hoạt động. ## Chia sẻ một NVIDIA vGPU cho Tenant Các thiết bị NVIDIA vGPU có thể được chuyển cho tenant để tenant chuyển tiếp vào các VM của riêng họ. Khi bạn chuyển passthrough thiết bị cho tenant, một nhóm tài nguyên mới sẽ được tạo bên trong tenant. {% hint style="info" %} **Các thiết bị được chia sẻ cho tenant được cấp phát dạng thick-provisioned (tức là tenant sau đó sở hữu các thiết bị, nên chúng không thể được gán cho các VM hoặc tenant khác, ngay cả khi không sử dụng.)** {% endhint %} 1. Điều hướng đến **bảng điều khiển tenant** (từ menu trên cùng: Tenants > List > nhấp đúp vào tenant trong danh sách.) 2. Nhấp vào **Các nút** ở menu bên trái. 3. **Nhấp đúp vào một trong các nút tenant**. 4. Nhấp vào **Thiết bị** ở menu bên trái. 5. Nhấp vào **Mới** ở menu bên trái. 6. Tham chiếu [**Các trường của biểu mẫu nhập thiết bị**](#device-entry-form-fields) ở trên. 7. Khi các trường đã hoàn tất, nhấp vào **Gửi** để hoàn tất việc thêm thiết bị mới. 8. Thiết bị giờ đây sẽ khả dụng để gắn vào các VM của tenant. Hãy làm theo [**Cấu hình VM/khách**](#vmguest-configuration) hướng dẫn ở trên. ## Mẹo khắc phục sự cố * **Tải lại driver**: Bất kỳ thay đổi nào đối với nhóm tài nguyên đều yêu cầu tải lại driver. Làm theo các lời nhắc tải lại ở đầu bảng điều khiển node để đặt node vào **Chế độ Bảo trì** và tải lại driver. Theo dõi nhật ký node để xác minh driver đã tải thành công trước khi tắt chế độ bảo trì. Lặp lại việc tải lại driver cho từng node áp dụng. * **NVIDIA SMI (System Management Interface)**: Đây là một công cụ NVIDIA mạnh mẽ để khắc phục sự cố cấu hình, có thể truy cập từ giao diện VergeOS. Truy cập **Chẩn đoán nút**, chọn **Truy vấn: *****NVIDIA SMI*** và lệnh mong muốn để cung cấp thông tin truy vấn tóm tắt hoặc chi tiết về các thiết bị NVIDIA vGPU bạn đã cấu hình. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.verge.io/run-the-platform/vi/quan-tri-he-thong/nvidia-vgpu-configuration.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.