Utiliser un iGPU pour l’accélération de l’IA

Instructions pour configurer un iGPU (GPU intégré) pour l’accélération de l’IA dans VergeOS, y compris la configuration du groupe de ressources et l’affectation du modèle.

Points clés

• Les iGPU (intégrés directement dans de nombreux CPU de serveurs modernes) peuvent fournir une inférence IA accélérée pour les modèles d’IA de petite à moyenne taille

• Un iGPU peut offrir une production de chaleur plus faible, une consommation d’énergie réduite et un bon débit par rapport à une exécution uniquement sur CPU ou à des GPU discrets

• L’utilisation d’un iGPU permet aux charges de travail IA de tirer parti de la puissance GPU intégrée qui serait souvent sous-utilisée

Plus d’informations

Un iGPU (unité de traitement graphique intégrée) est intégré directement au CPU plutôt que d’exister en tant que carte graphique séparée. Dans VergeOS, un iGPU peut être utilisé pour l’accélération IA privée, vous permettant d’exploiter le matériel déjà présent dans de nombreux serveurs modernes. Cette approche réduit la charge de traitement sur les cœurs CPU tout en nécessitant généralement moins d’énergie et de refroidissement que des GPU dédiés ajoutés. Parce que les iGPU sont optimisés pour les opérations matricielles et vectorielles parallèles, ils sont généralement plus efficaces que les CPU pour les charges de travail d’inférence.

Les iGPU partagent la mémoire système avec le CPU, ce qui peut constituer un goulot d’étranglement. Cependant, pour des modèles de petite à moyenne taille, cette limitation est généralement gérable. Si votre objectif est une performance maximale, le matériel GPU discret reste l’option privilégiée.

Pour des tâches d’inférence légères (par exemple, de petits modèles de langage), les iGPU sont souvent plus efficaces sur le plan énergétique. Pour les charges de travail d’entraînement lourdes, ni le CPU ni l’iGPU ne sont idéaux.

Sur des serveurs personnels exécutant des modèles d’IA modestes, l’inférence sur iGPU offre un bon compromis : moins de chaleur, une consommation électrique plus faible et un débit correct.

Avantages de l’utilisation d’un iGPU

• Consommation électrique plus faible et besoins de refroidissement réduits par rapport à une exécution uniquement sur CPU

• Exploite le matériel déjà intégré aux CPU, évitant des coûts d’achat supplémentaires

• Meilleur débit par watt que les cœurs CPU

• Décharge les cœurs CPU de la charge de calcul, améliorant ainsi la réactivité globale du système

Les serveurs modernes incluent souvent des iGPU capables. Même des serveurs plus anciens ou moins puissants peuvent offrir une accélération significative en utilisant ce matériel intégré.

Prérequis

• Le CPU du serveur doit disposer d’un GPU intégré (iGPU)

• Vérifiez que l’iGPU est activé dans les paramètres du BIOS

• IOMMU/VT-d (Intel) ou AMD-Vi (AMD) peuvent devoir être activés pour le passthrough

---

Étapes générales

Pour utiliser l’iGPU pour des modèles d’IA privés, les étapes générales suivantes sont nécessaires :

• Créer un groupe de ressources : type = "GPU hôte"

• Ajouter le ou les périphériques iGPU des nœuds physiques au groupe de ressources

• Attribuer le groupe de ressources à un ou plusieurs modèles d’IA

Configuration d’un groupe de ressources avec un iGPU

1. Accédez à Infrastructure > Nœuds et double-cliquez sur le nœud contenant l’iGPU.

2. Sélectionnez le Périphériques PCI carte ou option du menu de gauche.

3. Dans la liste des périphériques, définissez le Type filtre (en haut de la colonne Type) sur Contrôleur d’affichage pour n’afficher que les périphériques d’affichage.

4. Sélectionnez le périphérique iGPU dans la liste filtrée. ⚠️ Soyez prudent lorsque vous sélectionnez des périphériques pour les groupes de ressources. Choisir le mauvais périphérique peut provoquer des problèmes.

5. Cliquez Créer une ressource dans le menu de gauche.

6. Créer un nouveau groupe de ressources :

• Si aucun groupe n’existe, le formulaire de saisie apparaîtra automatiquement.

• Sinon, sélectionnez Attacher à: --Nouveau groupe-- et cliquez sur Suivant

1. Configurez les champs du groupe de ressources :

• Nom: Fournissez un nom descriptif, par exemple « iGPU »

• Type : sélectionnez GPU hôte

• VRAM max: Limitez la quantité de RAM système disponible pour l’iGPU (par défaut = 0 ; aucune limite).

  • Sur les systèmes exécutant d’autres charges de travail, définissez une VRAM max pour éviter les conflits entre les charges de travail et l’utilisation de l’iGPU.

  • Si la VRAM max est définie trop bas, les modèles peuvent ne pas se charger et générer des erreurs.

1. Cliquez Soumettre pour enregistrer le nouveau groupe de ressources avec l’iGPU sélectionné.

2. Suivez les invites en haut du tableau de bord pour Afficher le nœud, placez le nœud en procédures du mode maintenance (voir le message en haut du tableau de bord du nœud), et Recharger le pilote (invite affichée en haut du tableau de bord une fois que le nœud est en mode maintenance).

3. Quitter le mode de maintenance sur le nœud une fois le rechargement du pilote terminé.

4. Accédez à Infrastructure > Ressources > Groupes et vérifiez que votre nouveau groupe de ressources apparaît avec Activé coché. Double-cliquez sur le groupe pour confirmer le Ressources du nœud section répertorie votre périphérique iGPU.

---

Ajout d’iGPU de nœuds supplémentaires au même groupe de ressources

Regrouper les iGPU entre les nœuds

En ajoutant des iGPU de plusieurs nœuds dans le même groupe de ressources, vous créez un pool partagé de ressources d’accélération que les modèles d’IA peuvent utiliser. Pour plus de détails, voir Groupes de ressources

Pour ajouter d’autres iGPU :

• Répétez les étapes 1 à 5 ci-dessus.

• Lorsque vous êtes invité à choisir un groupe de ressources à Attacher à, sélectionnez le groupe de ressources GPU hôte existant.

• Suivez les invites du tableau de bord pour placer le nœud en mode de maintenance et recharger le pilote.

• Quitter le mode de maintenance une fois le rechargement terminé.

---

Attribuer le groupe de ressources iGPU à un modèle

Une fois configuré, attribuez le groupe de ressources GPU hôte à votre modèle d’IA :

1. Accédez à IA privée > Modèles.

2. Sélectionnez le modèle d’IA que vous souhaitez accélérer.

3. Cliquez Modifier dans le menu de gauche.

4. Dans le Allocation du groupe de ressources GPU champ, sélectionnez votre groupe de ressources iGPU.

5. Cliquez Soumettre pour enregistrer.

Le modèle utilisera désormais tous les iGPU disponibles dans le groupe de ressources. Pour plus d’informations sur la configuration de l’IA privée, voir Configuration de l’IA privée.