> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/knowledge-base/de/system-administration/using-igpu-ai-acceleration.md). # Eine iGPU für KI-Beschleunigung nutzen {% hint style="info" %} **Wichtige Punkte** * iGPUs (direkt in viele moderne Server-CPUs integriert) können beschleunigte KI-Inferenz für kleine bis mittelgroße KI-Modelle bereitstellen * Eine iGPU kann im Vergleich zur Ausführung nur auf der CPU oder mit dedizierten GPUs eine geringere Wärmeentwicklung, einen niedrigeren Stromverbrauch und einen soliden Durchsatz bieten * Durch die Verwendung einer iGPU können KI-Workloads die an Bord vorhandene GPU-Leistung nutzen, die sonst oft ungenutzt bliebe {% endhint %} {% hint style="info" %} **Weitere Informationen** Eine **iGPU** (integrierte Grafikeinheit) ist direkt in die CPU eingebaut und nicht als separate Grafikkarte vorhanden. Innerhalb von VergeOS kann eine iGPU für private KI-Beschleunigung verwendet werden, sodass Sie die in vielen modernen Servern bereits vorhandene Hardware nutzen können. Dieser Ansatz reduziert die Verarbeitungsbelastung der CPU-Kerne und benötigt in der Regel weniger Leistung und Kühlung als dedizierte Zusatz-GPUs. Da iGPUs für parallele Matrix- und Vektoroperationen optimiert sind, sind sie für Inferenz-Workloads im Allgemeinen effizienter als CPUs. iGPUs teilen sich den Systemspeicher mit der CPU, was ein Engpass sein kann. Für kleine bis mittelgroße Modelle ist diese Einschränkung jedoch meist beherrschbar. Wenn Ihr Ziel maximale Leistung ist, bleibt dedizierte GPU-Hardware die bevorzugte Option. Für leichte Inferenzaufgaben (z. B. kleine Sprachmodelle) sind iGPUs oft energieeffizienter. Für anspruchsvolle Trainings-Workloads ist weder CPU noch iGPU ideal. Auf persönlichen Servern, die moderate KI-Modelle ausführen, bietet iGPU-Inferenz einen guten Mittelweg: weniger Wärme, geringerer Stromverbrauch und ordentlicher Durchsatz. **Vorteile der Verwendung einer iGPU** * Geringerer Stromverbrauch und reduzierte Kühlanforderungen im Vergleich zur Ausführung nur auf der CPU * Nutzt bereits in CPUs enthaltene Hardware und vermeidet dadurch zusätzliche Anschaffungskosten * Besserer Durchsatz pro Watt als CPU-Kerne * Entlastet CPU-Kerne bei Rechenaufgaben und verbessert so die allgemeine Systemreaktionsfähigkeit Moderne Server enthalten oft leistungsfähige iGPUs. Selbst ältere oder weniger leistungsstarke Server können durch die Nutzung dieser integrierten Hardware eine spürbare Beschleunigung bieten. {% endhint %} {% hint style="warning" %} **Voraussetzungen** * Server-CPU muss über eine integrierte GPU (iGPU) verfügen * Prüfen Sie, ob die iGPU in den BIOS-Einstellungen aktiviert ist * IOMMU/VT-d (Intel) oder AMD-Vi (AMD) müssen möglicherweise für Passthrough aktiviert werden {% endhint %} *** ## Schritte auf hoher Ebene Um die iGPU für private KI-Modelle zu verwenden, sind die folgenden grundlegenden Schritte erforderlich: * Ressourcengruppe erstellen: Typ = "Host-GPU" * iGPU-Gerät(e) von physischen Knoten zur Ressourcengruppe hinzufügen * Die Ressourcengruppe einem oder mehreren KI-Modellen zuweisen ## Eine Ressourcengruppe mit einer iGPU konfigurieren 1. Navigieren Sie zu **Infrastruktur** > **Knoten** und **Doppelklicken Sie auf den Knoten** der die iGPU enthält. 2. Wählen Sie die **PCI-Geräte** Karte oder Option im linken Menü. 3. Stellen Sie in der Geräteliste den **Typ** Filter (oben in der Spalte Typ) auf ***Anzeigecontroller*** ein, um nur Anzeigegeräte anzuzeigen. 4. Wählen Sie das iGPU-Gerät aus der gefilterten Liste aus. ⚠️ *Seien Sie bei der Auswahl von Geräten für Ressourcengruppen vorsichtig. Die Wahl des falschen Geräts kann Probleme verursachen.* 5. Klicken Sie **Ressource erstellen** im linken Menü. 6. Erstellen Sie eine **neue Ressourcengruppe:** * Wenn keine Gruppen vorhanden sind, wird das Eingabeformular automatisch angezeigt. * Andernfalls wählen Sie **Zuweisen zu**: ***--Neue Gruppe--*** und klicken Sie auf **Weiter** 7. Ressourcengruppenfelder konfigurieren: * **Name**: Geben Sie einen beschreibenden Namen an, z. B. "iGPU" * **Typ**: Wählen Sie ***Host-GPU*** * **Max. vRAM**: Beschränkt die Menge an Systemspeicher, die der iGPU zur Verfügung steht (Standard = 0; keine Begrenzung). * Auf Systemen mit anderen Workloads legen Sie einen maximalen vRAM fest, um Konflikte zwischen Workloads und der iGPU-Nutzung zu vermeiden. * Wenn der maximale vRAM zu niedrig eingestellt ist, können Modelle möglicherweise nicht geladen werden und Fehler verursachen. 8. Klicken Sie **Absenden** um die neue Ressourcengruppe mit der ausgewählten iGPU zu speichern. 9. Folgen Sie den Anweisungen oben im Dashboard, um **den Knoten anzeigen**, versetzen Sie den Knoten in **Wartungsmodus** (siehe Meldung oben im Knoten-Dashboard) und **den Treiber neu laden** (werden oben im Dashboard angezeigt, sobald sich der Knoten im Wartungsmodus befindet). 10. **Wartungsmodus beenden** auf dem Knoten, sobald das Neuladen des Treibers abgeschlossen ist. 11. Navigieren Sie zu **Infrastruktur** > **Ressourcen** > **Gruppen** und überprüfen Sie, ob Ihre neue Ressourcengruppe mit **Aktiviert** markiert angezeigt wird. Doppelklicken Sie auf die Gruppe, um die **Knotenressourcen** Abschnitt listet Ihr iGPU-Gerät auf. *** ### Zusätzliche iGPUs desselben Knotens derselben Ressourcengruppe hinzufügen {% hint style="success" %} **iGPUs über Knoten hinweg bündeln** Indem Sie iGPUs von mehreren Knoten in dieselbe Ressourcengruppe aufnehmen, erstellen Sie einen gemeinsamen Pool an Beschleunigungsressourcen, auf den KI-Modelle zugreifen können. Weitere Details finden Sie unter [Ressourcengruppen](/run-the-platform/system-administration/device-pass-overview.md#resource-groups) {% endhint %} Um weitere iGPUs hinzuzufügen: * Wiederholen Sie die obigen Schritte 1–5. * Wenn Sie aufgefordert werden, eine Ressourcengruppe ***Zuweisen zu***, **wählen Sie die vorhandene Host-GPU-Ressourcengruppe aus**. * Folgen Sie den Anweisungen im Dashboard, um den Knoten in den **Wartungsmodus** und **den Treiber neu laden**. * **Wartungsmodus beenden** nachdem das Neuladen abgeschlossen ist. *** ## Zuweisen der iGPU-Ressourcengruppe zu einem Modell Nach der Konfiguration weisen Sie die Host-GPU-Ressourcengruppe Ihrem KI-Modell zu: 1. Navigieren Sie zu **Private KI** > **Modelle**. 2. Wählen Sie das KI-Modell aus, das Sie beschleunigen möchten. 3. Klicken Sie **Bearbeiten** im linken Menü. 4. Im **GPU-Ressourcengruppen-Zuweisung** Feld wählen Sie Ihre iGPU-Ressourcengruppe aus. 5. Klicken Sie **Absenden** um zu speichern. Das Modell greift nun auf alle verfügbaren iGPUs in der Ressourcengruppe zu. Weitere Informationen zur Konfiguration von Private AI finden Sie unter [Konfiguration von Private AI](/automate-protect-and-extend/private-ai/configuration.md). --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.verge.io/knowledge-base/de/system-administration/using-igpu-ai-acceleration.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.