Eine iGPU für KI-Beschleunigung nutzen

Anweisungen zur Konfiguration einer iGPU (integrierten GPU) für KI-Beschleunigung in VergeOS, einschließlich Einrichtung der Ressourcengruppe und Modellzuweisung.

Wichtige Punkte

• iGPUs (direkt in viele moderne Server-CPUs integriert) können beschleunigte KI-Inferenz für kleine bis mittelgroße KI-Modelle bereitstellen
• Eine iGPU kann im Vergleich zur Ausführung nur auf der CPU oder mit dedizierten GPUs eine geringere Wärmeentwicklung, einen niedrigeren Stromverbrauch und einen soliden Durchsatz bieten
• Durch die Verwendung einer iGPU können KI-Workloads die an Bord vorhandene GPU-Leistung nutzen, die sonst oft ungenutzt bliebe

Weitere Informationen

Eine iGPU (integrierte Grafikeinheit) ist direkt in die CPU eingebaut und nicht als separate Grafikkarte vorhanden. Innerhalb von VergeOS kann eine iGPU für private KI-Beschleunigung verwendet werden, sodass Sie die in vielen modernen Servern bereits vorhandene Hardware nutzen können. Dieser Ansatz reduziert die Verarbeitungsbelastung der CPU-Kerne und benötigt in der Regel weniger Leistung und Kühlung als dedizierte Zusatz-GPUs. Da iGPUs für parallele Matrix- und Vektoroperationen optimiert sind, sind sie für Inferenz-Workloads im Allgemeinen effizienter als CPUs.

iGPUs teilen sich den Systemspeicher mit der CPU, was ein Engpass sein kann. Für kleine bis mittelgroße Modelle ist diese Einschränkung jedoch meist beherrschbar. Wenn Ihr Ziel maximale Leistung ist, bleibt dedizierte GPU-Hardware die bevorzugte Option.

Für leichte Inferenzaufgaben (z. B. kleine Sprachmodelle) sind iGPUs oft energieeffizienter. Für anspruchsvolle Trainings-Workloads ist weder CPU noch iGPU ideal.

Auf persönlichen Servern, die moderate KI-Modelle ausführen, bietet iGPU-Inferenz einen guten Mittelweg: weniger Wärme, geringerer Stromverbrauch und ordentlicher Durchsatz.

Vorteile der Verwendung einer iGPU

• Geringerer Stromverbrauch und reduzierte Kühlanforderungen im Vergleich zur Ausführung nur auf der CPU
• Nutzt bereits in CPUs enthaltene Hardware und vermeidet dadurch zusätzliche Anschaffungskosten
• Besserer Durchsatz pro Watt als CPU-Kerne
• Entlastet CPU-Kerne bei Rechenaufgaben und verbessert so die allgemeine Systemreaktionsfähigkeit

Moderne Server enthalten oft leistungsfähige iGPUs. Selbst ältere oder weniger leistungsstarke Server können durch die Nutzung dieser integrierten Hardware eine spürbare Beschleunigung bieten.

Voraussetzungen

• Server-CPU muss über eine integrierte GPU (iGPU) verfügen
• Prüfen Sie, ob die iGPU in den BIOS-Einstellungen aktiviert ist
• IOMMU/VT-d (Intel) oder AMD-Vi (AMD) müssen möglicherweise für Passthrough aktiviert werden

---

Schritte auf hoher Ebene

Um die iGPU für private KI-Modelle zu verwenden, sind die folgenden grundlegenden Schritte erforderlich:

• Ressourcengruppe erstellen: Typ = "Host-GPU"
• iGPU-Gerät(e) von physischen Knoten zur Ressourcengruppe hinzufügen
• Die Ressourcengruppe einem oder mehreren KI-Modellen zuweisen

Eine Ressourcengruppe mit einer iGPU konfigurieren

1. Navigieren Sie zu Infrastruktur > Knoten und Doppelklicken Sie auf den Knoten der die iGPU enthält.
2. Wählen Sie die PCI-Geräte Karte oder Option im linken Menü.
3. Stellen Sie in der Geräteliste den Typ Filter (oben in der Spalte Typ) auf Anzeigecontroller ein, um nur Anzeigegeräte anzuzeigen.
4. Wählen Sie das iGPU-Gerät aus der gefilterten Liste aus. ⚠️ Seien Sie bei der Auswahl von Geräten für Ressourcengruppen vorsichtig. Die Wahl des falschen Geräts kann Probleme verursachen.
5. Klicken Sie Ressource erstellen im linken Menü.
6. Erstellen Sie eine neue Ressourcengruppe:

• Wenn keine Gruppen vorhanden sind, wird das Eingabeformular automatisch angezeigt.
• Andernfalls wählen Sie Zuweisen zu: --Neue Gruppe-- und klicken Sie auf Weiter

1. Ressourcengruppenfelder konfigurieren:

• Name: Geben Sie einen beschreibenden Namen an, z. B. "iGPU"
• Typ: Wählen Sie Host-GPU
• Max. vRAM: Beschränkt die Menge an Systemspeicher, die der iGPU zur Verfügung steht (Standard = 0; keine Begrenzung).

  • Auf Systemen mit anderen Workloads legen Sie einen maximalen vRAM fest, um Konflikte zwischen Workloads und der iGPU-Nutzung zu vermeiden.
  • Wenn der maximale vRAM zu niedrig eingestellt ist, können Modelle möglicherweise nicht geladen werden und Fehler verursachen.

1. Klicken Sie Absenden um die neue Ressourcengruppe mit der ausgewählten iGPU zu speichern.
2. Folgen Sie den Anweisungen oben im Dashboard, um den Knoten anzeigen, versetzen Sie den Knoten in Wartungsmodus (siehe Meldung oben im Knoten-Dashboard) und den Treiber neu laden (werden oben im Dashboard angezeigt, sobald sich der Knoten im Wartungsmodus befindet).
3. Wartungsmodus beenden auf dem Knoten, sobald das Neuladen des Treibers abgeschlossen ist.
4. Navigieren Sie zu Infrastruktur > Ressourcen > Gruppen und überprüfen Sie, ob Ihre neue Ressourcengruppe mit Aktiviert markiert angezeigt wird. Doppelklicken Sie auf die Gruppe, um die Knotenressourcen Abschnitt listet Ihr iGPU-Gerät auf.

---

Zusätzliche iGPUs desselben Knotens derselben Ressourcengruppe hinzufügen

iGPUs über Knoten hinweg bündeln

Indem Sie iGPUs von mehreren Knoten in dieselbe Ressourcengruppe aufnehmen, erstellen Sie einen gemeinsamen Pool an Beschleunigungsressourcen, auf den KI-Modelle zugreifen können. Weitere Details finden Sie unter Ressourcengruppen

Um weitere iGPUs hinzuzufügen:

• Wiederholen Sie die obigen Schritte 1–5.
• Wenn Sie aufgefordert werden, eine Ressourcengruppe Zuweisen zu, wählen Sie die vorhandene Host-GPU-Ressourcengruppe aus.
• Folgen Sie den Anweisungen im Dashboard, um den Knoten in den Wartungsmodus und den Treiber neu laden.
• Wartungsmodus beenden nachdem das Neuladen abgeschlossen ist.

---

Zuweisen der iGPU-Ressourcengruppe zu einem Modell

Nach der Konfiguration weisen Sie die Host-GPU-Ressourcengruppe Ihrem KI-Modell zu:

1. Navigieren Sie zu Private KI > Modelle.
2. Wählen Sie das KI-Modell aus, das Sie beschleunigen möchten.
3. Klicken Sie Bearbeiten im linken Menü.
4. Im GPU-Ressourcengruppen-Zuweisung Feld wählen Sie Ihre iGPU-Ressourcengruppe aus.
5. Klicken Sie Absenden um zu speichern.

Das Modell greift nun auf alle verfügbaren iGPUs in der Ressourcengruppe zu. Weitere Informationen zur Konfiguration von Private AI finden Sie unter Konfiguration von Private AI.