高性能集群部署

用于将 VergeOS 高性能集群部署到数据科学、机器学习和分析工作负载的参考架构，具备 GPU 加速和可扩展存储。

高性能集群部署

希望加速其分析和模型训练流程的组织可以在高性能集群部署模式中利用 VergeOS。本文档概述了如何使用强大且可扩展的硬件部署 VergeOS 高性能集群，阐述其主要优势，并详细说明可用的不同高性能集群配置。

Data Science Inc. 示例

本文档将始终以 Data Science Inc. 为例，说明高性能集群部署的关键概念和细节。Data Science Inc. 选择 VergeOS，希望通过一种具备高性能、可扩展性和简化管理的解决方案来增强其机器学习和数据处理工作负载。

什么是高性能集群

在 VergeOS 的语境中，高性能集群是指一种稳健、可扩展的解决方案，专为管理模型训练和大规模数据分析等高强度计算任务而设计。典型的 VergeOS 高性能集群由多个针对高 I/O 需求环境优化的节点组成，配备高性能存储（SSD 或 NVMe），以及 8:1/16:1 的内存与核心比率。

为什么需要高性能集群

高性能集群对数据驱动型组织至关重要，原因包括以下几个关键优势：

• 性能优化：根据特定数据科学工作负载的需求自动分配资源，并支持 GPU 虚拟化，以高效处理高强度计算任务。
• 可扩展性：可轻松扩展资源，以应对数据量和计算需求的增长，而无需显著停机或进行配置更改。可将额外节点无缝集成到现有基础设施中。
• 简化管理：集中式管理仪表板可洞察资源使用情况、性能指标以及 HCI 基础设施的健康监控，从而降低 IT 管理开销。
• 可靠性与可用性：高可用性功能可确保将停机时间降至最低，并在节点故障或维护期间保持数据完整性。备份和灾难恢复解决方案专为大规模数据集和机器学习模型量身定制。
• 安全性：包括数据加密在内的强大安全措施，可确保敏感信息得到保护。

概述

VergeOS 为希望部署高性能工作负载的客户提供高度灵活且可配置的解决方案。此次部署将使 Data Science Inc. 能够利用先进的计算能力来处理其机器学习和数据处理任务。该解决方案旨在实现集中管理，提供无缝集成和可扩展性，以应对不断增长的数据量和计算需求。

总结

此次部署使 Data Science Inc. 的 IT 团队能够集中管理其机器学习和数据处理工作负载。他们将为工作负载和 vSAN 分别部署独立集群。

硬件与特性

硬件

针对 Data Science Inc. 的 VergeOS 部署，建议采用以下硬件：

网络

• 机架顶端交换机

  • （2 台）FS N8560-32C，32 端口 100Gb QSFP28

vSAN 存储集群

• （2 台）vergeOS 控制器节点

  • 8 核高主频 CPU
  • 768 GB ECC 内存
  • （2 块）2TB NVMe（vergeOS TIER0，3DWPD）
  • （2 块）100Gbe vergeOS 核心网卡
  • （2 块）25Gbe 外部网卡
  • 板载 IPMI
  • 冗余电源
• （8 台）vergeOS vSAN 节点

  • （2 颗）12 核 @3GHz（Xeon Gold 5317）
  • 512 GB ECC 内存
  • （22 块）7.68TB 2.5 英寸 NVMe SSD（1DWPD）
  • （2 块）100Gbe vergeOS 核心网卡
  • 板载 IPMI
  • 冗余电源

工作负载集群

• （35 台）vergeOS 计算节点

  • （2 颗）32 核 @2.1GHz（Xeon Gold 6530）
  • 768 GB ECC 内存
  • （1 块）960GB NVMe vergeOS 启动盘（1 DWPD）
  • （2 块）25Gbe vergeOS 核心网卡
  • 板载 IPMI
  • 冗余电源

VergeOS 功能

本次部署将利用以下 VergeOS 功能：

• 资源分配：根据工作负载需求自动分配资源
• 全局内联重复数据删除：通过消除重复数据减少存储占用
• GPU 虚拟化：高效处理高强度计算任务
• 目录仓库：VM 配方的集中管理
• 系统快照：用于快速恢复站点的本地快照
• 安全性：包括数据加密在内的强大安全措施