Clústeres de informática de alto rendimiento (HPC) en todas partes [part 2]

introducir

En este blog, cubriremos dónde y cómo se implementan actualmente los clústeres, qué hacen estos métodos de implementación y los actores clave en el espacio.

Este blog forma parte de una serie de blogs sobre HPC en los que te presentamos el mundo de la HPC.

• ¿Qué es la informática de alto rendimiento (HPC)? – Introducción a los conceptos de HPC
• Clústeres de informática de alto rendimiento (HPC) en todas partes: una introducción al alojamiento de clústeres de HPC
• ¿Qué es la supercomputación? Una breve historia de HPC y cómo comenzó como una supercomputadora
• Arquitectura de clúster de informática de alto rendimiento (HPC): descripción general de la arquitectura de clúster de HPC
• Código abierto en computación de alto rendimiento (HPC): una descripción general de cómo el código abierto impacta e impulsa HPC
• El futuro de la informática de alto rendimiento (HPC): echemos un vistazo a las arquitecturas emergentes que afectan a la HPC en la actualidad
• ¿Qué es una computadora de alto rendimiento (HPC): una descripción general de HPC y cómo se pueden usar en un automóvil para proporcionar nuevas funciones a su vehículo?

clúster de computación de alto rendimiento

Los clústeres de HPC ahora se pueden implementar en casi cualquier lugar. Comenzó con clústeres de supercomputación centrados en la investigación y pasó a clústeres de HPC dedicados. Sin embargo, las opciones para ejecutar clústeres de HPC en la nube han crecido enormemente en los últimos años debido a los continuos avances tecnológicos. Algunos incluso combinan estas opciones y tienen un clúster optimizado de costo localizado dedicado, luego irrumpen en la nube según sea necesario, aprovechando un enfoque de nube híbrida para la computación en clúster. A medida que la potencia informática, los casos de uso y las demandas continúan creciendo, algunos incluso recurren a ejecutar sus clústeres de HPC en el perímetro.

Informática de alto rendimiento en la nube

Los avances en computación en la nube, redes y almacenamiento ahora pueden ejecutar cargas de trabajo de HPC en la nube a una escala sin precedentes. Muchos proveedores de nube pública tienen recursos especializados con una base sólida en soluciones de HPC que pueden usar organizaciones de todos los tamaños. La computación en la nube ha sido la clave para brindar HPC a organizaciones que pueden necesitar expandirse o escalar más allá de lo razonable para un clúster dedicado, para organizaciones que recién están comenzando con HPC y es posible que no puedan mantener su inversión en infraestructura, o incluso solo un pequeño grupo experimental necesita un grupo privado. O recursos de experimentación o prueba que pueden no estar disponibles en el clúster dedicado de una organización, como GPU, FPGA u otras arquitecturas que pueden estar en las etapas iniciales de adopción.

Servicios web de Amazon

AWS ha sido uno de los actores clave en el impulso de la innovación en la prestación de servicios de nube pública para HPC. Su implementación del sistema Nitro de AWS fue clave para eliminar la sobrecarga de virtualización y permitir el acceso directo al hardware del host subyacente. Esto reduce la latencia y mejora el rendimiento, que son fundamentales para ejecutar cargas de trabajo y clústeres de HPC en la nube pública. Para poder satisfacer las demandas de las cargas de trabajo de HPC en términos de comunicación entre nodos, introdujeron el adaptador de tejido elástico, que es clave para reducir la latencia y mejorar el rendimiento de las cargas de trabajo que se comunican entre nodos y requieren interconexiones de alto rendimiento. Para satisfacer las necesidades de almacenamiento de los usuarios de HPC, Amazon ha agregado una oferta de almacenamiento dedicada basada en Lustre llamada Amazon FSx for Lustre. Además de esto, también ofrecen productos para la programación utilizando soluciones como AWS ParallelCluster y AWS Batch.

microsoft azure

Azure es un actor clave en la conducción de HPC en la nube pública, ya que proporciona tipos de instancias potentes que usan tecnologías de HPC tradicionales, como Infiniband, que proporciona capacidades RDMA para una latencia y un rendimiento óptimos. También tienen tipos de instancias para aquellos que buscan reducir la cantidad de núcleos expuestos a las cargas de trabajo que están limitadas principalmente por el ancho de banda de la memoria en lugar de los núcleos disponibles. Incluso ofrecen una supercomputadora como servicio, que es su solución Cray. Además de esto, también ofrecen almacenamiento centrado en HPC, su Cray ClusterStor.

Nube de Google

Google Cloud Platform proporciona máquinas virtuales HPC preconfiguradas que están bien documentadas con los usuarios. Adoptan un enfoque muy basado en documentos para habilitar las cargas de trabajo de HPC y brindan una guía clara para todo lo relacionado con las cargas de trabajo de MPI para las imágenes de HPC, brindando a los usuarios información clara y práctica sobre cómo aprovechar al máximo GCP para las cargas de trabajo de HPC.

Infraestructura en la nube de Oracle

Oracle es uno de los primeros en habilitar HPC en la nube pública. Adoptan un enfoque completo para HPC en la nube pública, ofreciendo tipos de instancias completas con redes RDMA de latencia ultrabaja, ofreciendo una solución cercana a un clúster de HPC privado dedicado.

Clúster HPC privado dedicado

Los clústeres privados dedicados siguen siendo una opción sólida en HPC para aquellos que buscan optimizar el costo, el control o incluso requisitos de seguridad o propiedad de datos muy específicos. Existen numerosas soluciones que brindan a los usuarios capacidades de administración similares a las de la nube para recursos locales en las instalaciones. El principal desafío con los clústeres de HPC privados es la alta inversión inicial y la experiencia requerida. Esto se puede mitigar trabajando con socios como Canonical y sus socios, ya que le brinda acceso a soluciones y conocimientos expertos que hacen que la adopción sea más viable. Y los ahorros de costos potenciales se pueden realizar en términos de costo total, al mismo tiempo que requieren una inversión inicial.

HPC híbrido

El uso combinado de recursos locales y basados ​​en la nube pública es muy popular en el espacio de HPC, ya que ofrece a los usuarios los beneficios de la optimización de costos y el control local junto con la escalabilidad extrema de los clústeres basados ​​en la nube pública. Esencialmente, el uso de la nube híbrida presenta los desafíos asociados con el uso de clústeres de nube pública y privada, al mismo tiempo que brinda muchas ventajas potenciales de ambas soluciones. En cierto modo, ofrece una solución complementaria donde los efectos negativos de uno se ven mitigados por los efectos positivos del otro. El principal desafío adicional con esta configuración puede ser una mayor complejidad, pero en general tiene el potencial de conducir a una mayor resiliencia general. Con soluciones en nubes públicas y privadas, Canonical puede ayudarlo a simplificar la complejidad cada vez mayor de su configuración.

Informática de alto rendimiento en el perímetro

Muchas cargas de trabajo de HPC diferentes, especialmente aquellas que requieren procesamiento en tiempo real o son muy sensibles a la latencia, ahora se implementan en el perímetro.Esto significa que generalmente están en un pequeño grupo, o incluso en una computadora muy dedicada, a menudo denominada Computadora de alto rendimiento (HPC), aunque comparte un acrónimo con High-Performance Computing, se refiere al uso de una sola computadora de alto rendimiento en lugar de un clúster. La HPC en el borde se puede ver desde cualquier lugar en una empresa de telecomunicaciones o en un automóvil que se implemente en el borde de 5G. El principal desafío de la HPC en el borde es que la implementación y el mantenimiento pueden presentar cierta complejidad debido al acceso limitado, lo que hace que un pequeño obstáculo para administrar el ciclo de vida de la solución. Afortunadamente, tenemos una solución a este problema.

Usar HPC canónico

Nuestras soluciones, como Ubuntu, se pueden utilizar para necesidades informáticas de alto rendimiento en todas las nubes, donde puede acceder a una cantidad prácticamente ilimitada de recursos informáticos. Ofrecemos soluciones como Charmed OpenStack que le permiten ser dueño de su propia nube optimizada en costos, brindando el máximo valor de rendimiento con plena soberanía, y ofrecemos MAAS para aquellos que buscan la mejor experiencia en la nube en la administración de clústeres bare metal. Brinda el máximo rendimiento y flexibilidad . O puede combinar cualquiera de estos y adoptar una estrategia de nube híbrida. Sean cuales sean sus requisitos, sea cual sea la cantidad de cómputo, Canonical tiene una solución para usted. Contáctanos y te ayudaremos a determinar tus necesidades.

generalizar

Este blog presenta a los principales actores de la nube pública en el espacio de clústeres de HPC y cómo están impulsando la innovación y la evolución en el espacio de soluciones de HPC. Y una introducción a la nube híbrida, los clústeres y la HPC perimetral.

Si está interesado en obtener más información, consulte el blog anterior de la serie «¿Qué es la computación de alto rendimiento (HPC)?», cómo Scania está dominando la multinube para los sistemas HPC con Juju, o profundice en algunos de nuestros otros blogs de contenido HPC.

En el próximo blog, exploraremos la historia de la HPC y la supercomputación, y cubriremos cómo comenzó y cómo evolucionó hasta convertirse en la HPC que vemos hoy.