Déploiements de clusters haute performance

Architecture de référence pour le déploiement de clusters VergeOS haute performance pour les charges de travail de science des données, d'apprentissage automatique et d'analytique, avec accélération GPU et stockage évolutif.

Déploiements de cluster haute performance

Les organisations cherchant à accélérer leurs processus d’analytique et d’entraînement de modèles peuvent tirer parti de VergeOS dans un modèle de déploiement de cluster haute performance. Ce document fournit une vue d’ensemble du déploiement de clusters haute performance VergeOS à l’aide d’un matériel puissant et évolutif, présente les principaux avantages et détaille les différentes configurations de cluster haute performance disponibles.

Exemple de Data Science Inc.

Data Science Inc. sera utilisée tout au long de ce document pour expliquer les concepts clés et les détails relatifs à un déploiement de cluster haute performance. Data Science Inc. a contacté VergeOS pour améliorer ses charges de travail d’apprentissage automatique et de traitement des données avec une solution offrant des performances élevées, de l’évolutivité et une gestion simplifiée.

Qu’est-ce qu’un cluster haute performance

Dans le contexte de VergeOS, un cluster haute performance désigne une solution robuste et évolutive conçue pour gérer des tâches de calcul intensives telles que l’entraînement de modèles et l’analyse de données à grande échelle. Un cluster haute performance VergeOS typique se compose de plusieurs nœuds optimisés pour les environnements à forte demande en E/S, avec un stockage haute performance (SSD ou NVMe) et un rapport mémoire/cœur de 8:1 à 16:1.

Pourquoi vous voudriez un cluster haute performance

Les clusters haute performance sont essentiels pour les organisations axées sur les données en raison de plusieurs avantages clés :

• Optimisation des performances: Alloue automatiquement les ressources en fonction des exigences de charges de travail spécifiques de science des données, y compris la prise en charge de la virtualisation GPU pour gérer efficacement les tâches de calcul intensives.
• Évolutivité: Mise à l’échelle facile des ressources pour gérer l’augmentation du volume de données et des besoins de calcul sans temps d’arrêt important ni changements de configuration. Des nœuds supplémentaires peuvent être intégrés de manière transparente à l’infrastructure existante.
• Gestion simplifiée: Un tableau de bord de gestion centralisé fournit des informations sur l’utilisation des ressources, les indicateurs de performance et la surveillance de l’état de l’infrastructure HCI, réduisant la charge informatique.
• Fiabilité et disponibilité: Des fonctionnalités de haute disponibilité garantissent un temps d’arrêt minimal et préservent l’intégrité des données lors de pannes de nœuds ou de la maintenance. Les solutions de sauvegarde et de reprise après sinistre sont adaptées aux ensembles de données à grande échelle et aux modèles d’apprentissage automatique.
• Sécurité: Des mesures de sécurité robustes, y compris le chiffrement des données, garantissent la protection des informations sensibles.

Vue d'ensemble

VergeOS propose une solution hautement adaptable et configurable pour les clients souhaitant déployer des charges de travail haute performance. Ce déploiement permettra à Data Science Inc. de tirer parti de capacités de calcul avancées pour ses tâches d’apprentissage automatique et de traitement des données. La solution est conçue pour être gérée de manière centralisée, offrant une intégration fluide et une évolutivité pour gérer l’augmentation des volumes de données et des besoins de calcul.

Résumé

Ce déploiement permet au personnel informatique de Data Science Inc. de gérer de manière centralisée ses charges de travail d’apprentissage automatique et de traitement des données. Ils déploieront des clusters distincts pour les charges de travail et le vSAN.

Matériel et fonctionnalités

Matériel

Pour le déploiement VergeOS de Data Science Inc., le matériel suivant est recommandé :

Réseau

• Commutation top-of-rack

  • (2x) FS N8560-32C, 32 ports 100 Gb QSFP28

Cluster de stockage vSAN

• (2x) nœuds contrôleurs vergeOS

  • CPU 8 cœurs à haute fréquence d’horloge
  • 768 Go de RAM ECC
  • (2x) NVMe de 2 To (vergeOS TIER0, 3 DWPD)
  • (2x) cartes réseau cœur vergeOS 100 GbE
  • (2x) cartes réseau externes 25 GbE
  • IPMI intégré
  • Alimentations redondantes
• (8x) nœuds vSAN vergeOS

  • (2x) 12 cœurs à 3 GHz (Xeon Gold 5317)
  • 512 Go de RAM ECC
  • (22x) SSD NVMe 2,5" de 7,68 To (1 DWPD)
  • (2x) cartes réseau cœur vergeOS 100 GbE
  • IPMI intégré
  • Alimentations redondantes

Cluster de charges de travail

• (35x) nœuds de calcul vergeOS

  • (2x) 32 cœurs à 2,1 GHz (Xeon Gold 6530)
  • 768 Go de RAM ECC
  • (1x) disque de démarrage vergeOS NVMe de 960 Go (1 DWPD)
  • (2x) cartes réseau cœur vergeOS 25 GbE
  • IPMI intégré
  • Alimentations redondantes

Fonctionnalités VergeOS

Le déploiement s’appuiera sur les fonctionnalités VergeOS suivantes :

• Allocation des ressources: Allocation automatique des ressources en fonction des besoins de la charge de travail
• Déduplication globale en ligne: Réduit la consommation de stockage en éliminant les données en double
• Virtualisation GPU: Prise en charge efficace des tâches de calcul intensives
• Référentiels de catalogues: Gestion centralisée des modèles de VM
• Instantanés système: Instantanés locaux pour une récupération rapide d’un site
• Sécurité: Mesures de sécurité robustes, y compris le chiffrement des données