> For the complete documentation index, see [llms.txt](https://docs.verge.io/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.verge.io/automate-protect-and-extend/de/private-ki/overview.md). # Überblick über Private AI VergeOS Private AI ermöglicht es Ihnen, große Sprachmodelle (LLMs) lokal innerhalb Ihrer VergeOS-Umgebung bereitzustellen und auszuführen. Die Modelle laufen vollständig auf Ihrer Infrastruktur, ohne externe API-Aufrufe oder Datenübertragung. ## Architektur Private AI besteht aus fünf Kernkomponenten: ```mermaid graph LR A[Client-Anwendung] --> B[OpenAI-kompatible API] B --> C[Assistent] C --> D[Modell] D --> E[Worker] ``` ### Modelle Modelle sind die LLM-Dateien, die KI-Funktionen bereitstellen. VergeOS unterstützt: * **Kuratierte Modelle**: Vorkonfigurierte Modelle, die per Ein-Klick-Installation verfügbar sind (Llama, Gemma, Phi, Qwen und andere) * **Benutzerdefinierte Modelle**: Jedes Modell im GGUF-Format von Hugging Face oder anderen Quellen Modelle definieren Ressourcenanforderungen (CPU-Kerne, RAM, GPU-Zuweisung) und Inferenzparameter (Kontextgröße, parallele Anfragen). ### Assistenten Assistenten sind konfigurierte Instanzen, die festlegen, wie Benutzer und Anwendungen mit einem Modell interagieren. Jeder Assistent legt Folgendes fest: * Welches Modell verwendet werden soll * System-Prompt (Verhaltensanweisungen) * Temperatur und andere Generierungsparameter * Kontextbewertung für RAG-Szenarien * Workspace-Dateien für den Dokumentenkontext Mehrere Assistenten können dasselbe zugrunde liegende Modell mit unterschiedlichen Konfigurationen verwenden. ### Worker Worker sind die Inferenz-Engines, die Modelle ausführen. Das System verwaltet zwei Typen: * **AI-Helper-Worker**: Verarbeitet API-Anfragen und Weiterleitung (startet automatisch) * **Modell-Worker**: Führen die Inferenz für jedes laufende Modell aus (skalieren automatisch basierend auf den Min/Max-Worker-Einstellungen) ### Chat-Sitzungen Chat-Sitzungen behalten den Gesprächsverlauf und Kontext bei. Sitzungen können: * über die VergeOS-Benutzeroberfläche für interaktives Testen erstellt werden * programmgesteuert über die API für die Anwendungsintegration verwaltet werden ### OpenAI-kompatible API Die API stellt standardmäßige OpenAI-Endpunkte bereit unter `https:///v1`, was die Integration ermöglicht mit: * Jeder OpenAI-Client-Bibliothek (Python, JavaScript, Go usw.) * IDEs und Entwicklungstools * Bestehenden Anwendungen, die für OpenAI/Ollama erstellt wurden Siehe [OpenAI-kompatible API](/automate-protect-and-extend/de/private-ki/open-ai-router.md) für die Endpunktdokumentation. ## Voraussetzungen * VergeOS 26.0 oder höher * Ausreichend RAM für Modelldateien (variiert je nach Modell, typischerweise 5–50 GB) * Speicherplatz für Modelldownloads ### GPU-Unterstützung GPU-Beschleunigung wird für Produktions-Workloads empfohlen. VergeOS unterstützt GPUs aller Hersteller (NVIDIA, AMD, Intel) über Resource Groups. Modelle können auch auf Systemen nur mit CPU ausgeführt werden, allerdings ist die Inferenz dann langsamer. ## Schnellstart 1. Navigieren Sie zu **KI → Modelle** 2. Klicken Sie auf **Zum Installieren klicken** bei einem kuratierten Modell, oder klicken Sie auf **Neues Modell** für benutzerdefinierte Modelle 3. Ressourcenzuweisung konfigurieren (Kerne, RAM, GPU) 4. Mit dem neuen Modell wird automatisch ein Assistent erstellt 5. Testen über **KI → Assistenten → \[Ihr Assistent] → Chat** Detaillierte Einrichtungsanweisungen finden Sie im [Konfigurationshandbuch](/automate-protect-and-extend/de/private-ki/configuration.md). ## Verwandte Dokumentation * [Konfiguration](/automate-protect-and-extend/de/private-ki/configuration.md) - Modell- und Assistenteneinrichtung * [OpenAI-kompatible API](/automate-protect-and-extend/de/private-ki/open-ai-router.md) - API-Endpunkte und Integration * [Chat-Sitzungen](/automate-protect-and-extend/de/private-ki/chat-sessions.md) - Verwendung der interaktiven Benutzeroberfläche --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.verge.io/automate-protect-and-extend/de/private-ki/overview.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.