Implementaciones de clústeres de alto rendimiento

Arquitectura de referencia para implementar clústeres de alto rendimiento de VergeOS para cargas de trabajo de ciencia de datos, aprendizaje automático y analítica con aceleración GPU y almacenamiento escalable.

Despliegues de clústeres de alto rendimiento

Las organizaciones que buscan acelerar sus procesos de análisis y entrenamiento de modelos pueden aprovechar VergeOS en un modelo de despliegue de clúster de alto rendimiento. Este documento ofrece una visión general del despliegue de clústeres de alto rendimiento de VergeOS utilizando hardware potente y escalable, describe los principales beneficios y detalla las distintas configuraciones de clúster de alto rendimiento disponibles.

Ejemplo de Data Science Inc.

Data Science Inc. se utilizará a lo largo de este documento para explicar los conceptos y detalles clave de un despliegue de clúster de alto rendimiento. Data Science Inc. se acercó a VergeOS para mejorar sus cargas de trabajo de aprendizaje automático y procesamiento de datos con una solución que ofrece alto rendimiento, escalabilidad y una gestión simplificada.

¿Qué es un clúster de alto rendimiento?

En el contexto de VergeOS, un clúster de alto rendimiento se refiere a una solución robusta y escalable diseñada para gestionar tareas de cómputo intensivo, como el entrenamiento de modelos y el análisis de datos a gran escala. Un clúster de alto rendimiento típico de VergeOS consta de múltiples nodos optimizados para entornos con alta demanda de IO, con almacenamiento de alto rendimiento (SSD o NVMe) y una relación memoria-núcleos de 8-1/16-1.

Por qué querría un clúster de alto rendimiento

Los clústeres de alto rendimiento son esenciales para las organizaciones basadas en datos debido a varios beneficios clave:

• Optimización del rendimiento: Asigna recursos automáticamente en función de las demandas de cargas de trabajo específicas de ciencia de datos, incluido el soporte para virtualización de GPU para gestionar de forma eficiente tareas de cómputo intensivas.
• Escalabilidad: Escalado sencillo de recursos para gestionar aumentos en el volumen de datos y en las necesidades de cómputo sin tiempos de inactividad significativos ni cambios de configuración. Se pueden integrar nodos adicionales sin problemas con la infraestructura existente.
• Gestión simplificada: Un panel de gestión centralizado proporciona información sobre el uso de recursos, las métricas de rendimiento y la supervisión del estado de la infraestructura HCI, reduciendo la carga operativa de TI.
• Fiabilidad y disponibilidad: Las funciones de alta disponibilidad garantizan un tiempo de inactividad mínimo y mantienen la integridad de los datos durante fallos de nodos o tareas de mantenimiento. Las soluciones de copia de seguridad y recuperación ante desastres se adaptan a conjuntos de datos a gran escala y modelos de aprendizaje automático.
• Seguridad: Medidas de seguridad robustas, incluido el cifrado de datos, garantizan la protección de la información sensible.

Descripción general

VergeOS ofrece una solución altamente adaptable y configurable para clientes que buscan desplegar cargas de trabajo de alto rendimiento. Este despliegue permitirá a Data Science Inc. aprovechar capacidades de computación avanzadas para sus tareas de aprendizaje automático y procesamiento de datos. La solución está diseñada para gestionarse de forma centralizada, proporcionando una integración y escalabilidad sin interrupciones para manejar volúmenes de datos y demandas de cómputo crecientes.

Resumen

Este despliegue permite al personal de TI de Data Science Inc. gestionar de forma centralizada sus cargas de trabajo de aprendizaje automático y procesamiento de datos. Desplegarán clústeres separados para la carga de trabajo y vSAN.

Hardware y características

Hardware

Para el despliegue de VergeOS de Data Science Inc., se recomienda el siguiente hardware:

Redes

• Conmutación top-of-rack

  • (2x) FS N8560-32C, 32 puertos 100Gb QSFP28

Clúster de almacenamiento vSAN

• (2x) nodos controladores VergeOS

  • CPU de 8 núcleos con velocidades de reloj ALTA
  • 768 GB de RAM ECC
  • (2x) NVMe de 2TB (vergeOS TIER0, 3DWPD)
  • (2x) NIC principales VergeOS de 100Gbe
  • (2x) NIC externas de 25Gbe
  • IPMI integrado
  • Fuentes de alimentación redundantes
• (8x) nodos vSAN de VergeOS

  • (2x) 12 núcleos a 3Ghz (Xeon Gold 5317)
  • 512 GB de RAM ECC
  • (22x) SSD NVMe de 7.68TB 2.5" (1DWPD)
  • (2x) NIC principales VergeOS de 100Gbe
  • IPMI integrado
  • Fuentes de alimentación redundantes

Clúster de cargas de trabajo

• (35x) nodos de cómputo VergeOS

  • (2x) 32 núcleos a 2.1 Ghz (Xeon Gold 6530)
  • 768 GB de RAM ECC
  • (1x) unidad de arranque NVMe VergeOS de 960GB (1 DWPD)
  • (2x) NIC principales VergeOS de 25Gbe
  • IPMI integrado
  • Fuentes de alimentación redundantes

Características de VergeOS

El despliegue aprovechará las siguientes características de VergeOS:

• Asignación de recursos: Asignación automática de recursos en función de las demandas de la carga de trabajo
• Deduplicación global en línea: Reduce el consumo de almacenamiento eliminando datos duplicados
• Virtualización de GPU: Gestión eficiente de tareas de cómputo intensivas
• Repositorios de catálogo: Gestión centralizada de recetas de VM
• Instantáneas del sistema: Instantáneas locales para una recuperación rápida de un sitio
• Seguridad: Medidas de seguridad robustas, incluido el cifrado de datos