Présentation de l’IA privée

Présentation de VergeOS Private AI, qui permet de déployer et d’exécuter localement de grands modèles de langage au sein de votre infrastructure, sans appels d’API externes ni transmission de données.

VergeOS Private AI vous permet de déployer et d’exécuter des grands modèles de langage (LLM) localement dans votre environnement VergeOS. Les modèles fonctionnent entièrement sur votre infrastructure, sans aucun appel à une API externe ni transmission de données.

Architecture

Private AI se compose de cinq composants principaux :

Modèles

Les modèles sont les fichiers LLM qui fournissent des capacités d’IA. VergeOS prend en charge :

• Modèles sélectionnés: Modèles préconfigurés disponibles pour une installation en un clic (Llama, Gemma, Phi, Qwen et autres)
• Modèles personnalisés: Tout modèle au format GGUF provenant de Hugging Face ou d’autres sources

Les modèles définissent les exigences en ressources (cœurs CPU, RAM, allocation GPU) et les paramètres d’inférence (taille du contexte, requêtes parallèles).

Assistants

Les assistants sont des instances configurées qui définissent comment les utilisateurs et les applications interagissent avec un modèle. Chaque assistant spécifie :

• Quel modèle utiliser
• Prompt système (instructions comportementales)
• Température et autres paramètres de génération
• Évaluation du contexte pour les scénarios RAG
• Fichiers de l’espace de travail pour le contexte documentaire

Plusieurs assistants peuvent utiliser le même modèle sous-jacent avec des configurations différentes.

Workers

Les workers sont les moteurs d’inférence qui exécutent les modèles. Le système gère deux types :

• AI-Helper Worker: Gère les requêtes API et le routage (démarre automatiquement)
• Workers de modèles: Exécutent l’inférence pour chaque modèle en cours d’exécution (mise à l’échelle automatique selon les paramètres de min/max workers)

Sessions de chat

Les sessions de chat conservent l’historique des conversations et le contexte. Les sessions peuvent être :

• Créées via l’interface utilisateur VergeOS pour des tests interactifs
• Gérées par programme via l’API pour l’intégration d’applications

API compatible avec OpenAI

L’API fournit des points de terminaison OpenAI standard à https://<your-vergeos-url>/v1, permettant une intégration avec :

• Toute bibliothèque cliente OpenAI (Python, JavaScript, Go, etc.)
• IDE et outils de développement
• Applications existantes conçues pour OpenAI/Ollama

Voir API compatible avec OpenAI pour la documentation des points de terminaison.

Prérequis

• VergeOS 26.0 ou version ultérieure
• Une RAM suffisante pour les fichiers de modèle (variable selon le modèle, généralement 5 à 50 Go)
• Stockage pour les téléchargements de modèles

Prise en charge du GPU

L’accélération GPU est recommandée pour les charges de travail de production. VergeOS prend en charge les GPU de tous les fournisseurs (NVIDIA, AMD, Intel) via les groupes de ressources. Les modèles peuvent également s’exécuter sur des systèmes uniquement CPU, bien que l’inférence soit plus lente.

Démarrage rapide

1. Accédez à IA → Modèles
2. Cliquez sur Cliquez pour installer sur un modèle sélectionné, ou cliquez sur Nouveau modèle pour les modèles personnalisés
3. Configurez l’allocation des ressources (cœurs, RAM, GPU)
4. Un assistant est créé automatiquement avec le nouveau modèle
5. Tester via IA → Assistants → [Votre assistant] → Chat

Pour des instructions de configuration détaillées, consultez le Guide de configuration.

Documentation associée

• Configuration - Configuration du modèle et de l’assistant
• API compatible avec OpenAI - Points de terminaison de l’API et intégration
• Sessions de chat - Utilisation interactive de l’interface utilisateur