Utilizar una iGPU para aceleración de IA

Instrucciones para configurar una iGPU (GPU integrada) para aceleración de IA en VergeOS, incluida la configuración del grupo de recursos y la asignación de modelos.

Puntos clave

• Las iGPU (integradas directamente en muchos CPU de servidores modernos) pueden proporcionar inferencia de IA acelerada para modelos de IA pequeños y medianos

• Una iGPU puede ofrecer menor generación de calor, menor consumo de energía y un rendimiento sólido en comparación con la ejecución solo en CPU o con GPU discretas

• El uso de iGPU permite que las cargas de trabajo de IA aprovechen la potencia de la GPU integrada que a menudo estaría infrautilizada

Más información

Una iGPU (unidad de procesamiento gráfico integrada) está integrada directamente en la CPU en lugar de existir como una tarjeta gráfica separada. Dentro de VergeOS, una iGPU puede usarse para aceleración privada de IA, lo que le permite aprovechar hardware ya presente en muchos servidores modernos. Este enfoque reduce la carga de procesamiento en los núcleos de la CPU, al tiempo que normalmente requiere menos energía y refrigeración que las GPU adicionales dedicadas. Como las iGPU están optimizadas para operaciones paralelas de matrices y vectores, por lo general son más eficientes que las CPU para cargas de trabajo de inferencia.

Las iGPU comparten memoria del sistema con la CPU, lo que puede ser un cuello de botella. Sin embargo, para modelos pequeños y medianos esta limitación suele ser manejable. Si su objetivo es el máximo rendimiento, el hardware de GPU discreta sigue siendo la opción preferida.

Para tareas de inferencia ligeras (p. ej., modelos de lenguaje pequeños), las iGPU suelen ser más eficientes energéticamente. Para cargas de trabajo de entrenamiento intensivas, ni la CPU ni la iGPU son ideales.

En servidores personales que ejecutan modelos de IA modestos, la inferencia con iGPU ofrece un punto óptimo: menos calor, menor consumo de energía y un rendimiento decente.

Ventajas de usar una iGPU

• Menor consumo de energía y menores requisitos de refrigeración en comparación con la ejecución solo en CPU

• Aprovecha el hardware ya incluido en las CPU, evitando costes de compra adicionales

• Mejor rendimiento por vatio que los núcleos de la CPU

• Descarga la carga de cómputo de los núcleos de la CPU, mejorando la capacidad de respuesta general del sistema

Los servidores modernos suelen incluir iGPU capaces. Incluso los servidores más antiguos o menos potentes pueden ofrecer una aceleración significativa al utilizar este hardware integrado.

Requisitos previos

• El procesador del servidor debe tener una GPU integrada (iGPU)

• Verifique que la iGPU esté habilitada en la configuración de BIOS

• Puede ser necesario habilitar IOMMU/VT-d (Intel) o AMD-Vi (AMD) para el passthrough

---

Pasos de alto nivel

Para usar la iGPU para modelos privados de IA, son necesarios los siguientes pasos de alto nivel:

• Crear grupo de recursos: tipo = "GPU del host"

• Añada el/los dispositivo(s) iGPU de los nodos físicos al grupo de recursos

• Asigne el grupo de recursos a uno o más modelos de IA

Configuración de un grupo de recursos con una iGPU

1. Vaya a Infraestructura > Nodos y haga doble clic en el nodo que contiene la iGPU.

2. Seleccione el Dispositivos PCI tarjeta u opción del menú izquierdo.

3. En la lista de dispositivos, establezca el Tipo filtro (en la parte superior de la columna Tipo) en Controlador de pantalla para mostrar solo los dispositivos de pantalla.

4. Seleccione el dispositivo iGPU de la lista filtrada. ⚠️ Tenga cuidado al seleccionar dispositivos para grupos de recursos. Elegir el dispositivo incorrecto puede causar problemas.

5. Haga clic en Crear recurso en el menú de la izquierda.

6. Cree un nuevo grupo de recursos:

• Si no existen grupos, el formulario de entrada aparecerá automáticamente.

• De lo contrario, seleccione Adjuntar a: --Nuevo grupo-- y haga clic en Siguiente

1. Configure los campos del grupo de recursos:

• Nombre: Proporcione un nombre descriptivo, p. ej., "iGPU"

• Tipo: Seleccione GPU del host

• VRAM máxima: Limite la cantidad de RAM del sistema disponible para la iGPU (predeterminado = 0; sin límite).

  • En sistemas que ejecutan otras cargas de trabajo, establezca una vRAM máxima para evitar la contención entre las cargas de trabajo y el uso de la iGPU.

  • Si la vRAM máxima se establece demasiado baja, es posible que los modelos no se carguen y produzcan errores.

1. Haga clic en Enviar para guardar el nuevo grupo de recursos con la iGPU seleccionada.

2. Siga las indicaciones en la parte superior del panel para Ver el nodo, coloque el nodo en modo mantenimiento (consulte el mensaje en la parte superior del panel del nodo), y Recargar el controlador (se le indicará en la parte superior del panel una vez que el nodo esté en modo de mantenimiento).

3. Salir del modo de mantenimiento en el nodo una vez que se complete la recarga del controlador.

4. Vaya a Infraestructura > Recursos > Grupos y verifique que su nuevo grupo de recursos aparezca con Habilitado marcado. Haga doble clic en el grupo para confirmar la Recursos del nodo sección enumera su dispositivo iGPU.

---

Añadir iGPU de nodos adicionales al mismo grupo de recursos

Agrupación de iGPU entre nodos

Al añadir iGPU de varios nodos al mismo grupo de recursos, crea un grupo compartido de recursos de aceleración del que pueden extraer los modelos de IA. Para más detalles, consulte Grupos de recursos

Para añadir más iGPU:

• Repita los pasos 1–5 anteriores.

• Cuando se le solicite un grupo de recursos para Adjuntar a, seleccione el grupo de recursos de GPU del host existente.

• Siga las indicaciones del panel para poner el nodo en modo de mantenimiento y recargar el controlador.

• Salir del modo de mantenimiento después de que se complete la recarga.

---

Asignación del grupo de recursos iGPU a un modelo

Una vez configurado, asigne el grupo de recursos GPU del host a su modelo de IA:

1. Vaya a IA privada > Modelos.

2. Seleccione el modelo de IA que desea acelerar.

3. Haga clic en Editar en el menú de la izquierda.

4. En el Asignación del grupo de recursos de GPU campo, seleccione su grupo de recursos iGPU.

5. Haga clic en Enviar para guardar.

Ahora el modelo obtendrá recursos de cualquier iGPU disponible en el grupo de recursos. Para obtener más información sobre la configuración de IA privada, consulte Configuración de IA privada.