Estamos muy contentos de anunciar Ya hemos enviado La primera versión de nuestra solución de big data: chispa encantadora. Charmed Spark incluye una distribución compatible de Apache Spark y la optimiza para su implementación en Kubernetes, que es la dirección hacia la que se está moviendo la mayor parte de la industria hoy en día.
Tabla de Contenidos
Reimaginando cómo utilizar big data
La oportunidad de repensar la forma en que se procesan los big data significa que podemos desafiar el status quo basándonos en pilas de Hadoop YARN más tradicionales.Utilice nuestros Kubernetes encantados y Micro K8 System, contamos con una familia de administradores de clústeres muy simplificada pero poderosa que permite la implementación a gran escala de clústeres de big data y brinda una experiencia de usuario consistente en entornos locales, locales y de nube. Por supuesto, no está limitado a nuestra distribución de Kubernetes: puede usar Charmed Spark en otros Kubernetes que cumplan con los requisitos, como AWS EKS.
y reinventar el almacenamiento de big data
Para el almacenamiento, elegimos Ceph, compatible con API de S3, en lugar del sistema de almacenamiento Hadoop HDFS, aunque esta solución está diseñada para funcionar con la mayoría de las soluciones de almacenamiento de escalamiento horizontal compatibles con S3. HDFS tiene muchos problemas como su NameNode Todo el mapeo de inodos del sistema de archivos de big data contenido en el montón de Java o Arquitectura de conmutación por error activa/pasiva para NameNode. Elegimos evitarlos y adoptar una solución de almacenamiento de objetos más moderna como capa de soporte preferida para nuestra solución. A través de redes modernas de alta capacidad (por ejemplo, > 100 GbE), los bits generalmente se transfieren entre clústeres de Spark más rápido de lo que el clúster de Spark puede procesar los datos, por lo que el paradigma de diseño HDFS que introduce problemas computacionales en los datos permite una transferencia de datos más rápida. Sintiendo hoy. Por supuesto, los usuarios aún pueden conectar Charmed Spark a HDFS si lo desean.
Simplifique las operaciones
Operacionalmente, queremos mantener la experiencia del consumidor ascendente de Apache Spark tanto como sea posible para que los consumidores puedan usar fácilmente nuestro tiempo de ejecución como reemplazo de la imagen del contenedor Spark Kubernetes ascendente. Los comandos CLI como `spark-submit`, `pyspark` y `spark-shell` funcionan exactamente como espera.proporcionamos un Kit de instantáneas de Ubuntu Viene con herramientas de cliente para ayudarle a comenzar rápida y fácilmente, y puede instalarse en los nodos perimetrales de un clúster de big data.
La suite snap también incluye nuestro Chispa 8t Biblioteca Python y CLI para administrar cuentas de servicio y perfiles para operaciones en un clúster de Kubernetes. Nuestro objetivo con esta herramienta es facilitar la vida de los administradores de clústeres, ingenieros de datos y científicos de datos al permitirles preconfigurar los ajustes de los trabajos de Spark para diferentes tipos de cargas de trabajo y las diferentes cuentas de servicio de Kubernetes bajo las cuales se ejecutarán los trabajos. .
También ofrecemos Zhu Zhu encantador para Servidor de historial de Spark. Juju Charm es como un copiloto para su aplicación, contiene el conocimiento de codificación sobre cómo operarla. Esto le ayuda a implementar y operar Spark History Server en Kubernetes de una manera sencilla. Lea la documentación para comenzar. Juju es un potente sistema para la gestión de operaciones del día 2 de sistemas distribuidos complejos en la nube y Kubernetes. Con el tiempo, agregaremos más Juju Charms a la solución Spark, cubriendo más funciones.
Comience rápidamente
Hemos integrado JupyterLab en la solución Charmed Spark para que pueda usar Docker para iniciar fácilmente un entorno Jupyter en un nodo perimetral y hacer que inicie una sesión de Spark en un clúster MicroK8, lo que facilita el uso de Spark en K8. Aprenda a usar JupyterLab con Charmed Spark.
El paquete de documentación completo para Charmed Spark está disponible en: canonical.com/data/docs/spark/k8s También tenemos una guía de arquitectura de referencia disponible para descargar.
Es bueno saberlo: ofrecemos soporte pago de nivel empresarial para toda la solución a través de la suscripción de soporte Ubuntu Pro +, que cubre hasta 10 años Soporte para fallas/reparaciones y mantenimiento de seguridad para cada versión importante, en línea con nuestro compromiso más amplio de soporte a largo plazo. Si estás interesado en aprender más, Contacta con nuestro equipo de ventas vía formulario o llámanos.También podemos brindar asistencia para la implementación de soluciones a través de nuestro servicio de implementación de tarifa fija: obtenga más información aquí.El soporte comunitario está disponible a través de nuestro servidor de chat y nuestro Foro Comunitario.
Próximamente habrá más soluciones de Data Fabric
Charmed Spark es en realidad la primera de una serie de soluciones de sistemas de gestión de perfiles que lanzaremos en los próximos meses. Puede registrarse en el programa beta ahora y probar la apasionante tecnología del mañana.
Si asistirá a Gitex Dubai o KubeCon Norteamérica este otoño, le invito a que venga al stand de Ubuntu (es decir, el stand B31 DevSlam de Gitex y el stand A2 de KubeCon) y se reúna conmigo en persona; me encantaría hablar sobre cómo podemos ayudar. aceleras la innovación.
