大数据时代 金山云容器引擎实践为用户创造更多价值

本篇文章2137字，读完约5分钟

随着云本地技术的加速普及，kubernetes逐渐成为it技术架构的基石，推动了各行业技术架构的转型升级。在“infoq编辑部谈及2020年值得关注的十大技术趋势”的报告中，写道其中一个趋势是集装箱化加速了大数据基础设施的普及。

今天，我们将分享金山云容器引擎在大数据平台的应用实践。

大数据平台拥抱库本内斯金山云容器引擎

众所周知，hadoop的出现加速了大数据技术的应用和普及。随着应用场景的不断丰富，近年来出现了许多优秀的计算框架，如spark和flink。以前，在大数据分布式调度平台中，纱线被广泛使用。然而，随着应用场景的丰富和规模的扩大，一些问题逐渐显现出来，如资源隔离限制较弱、监控信息不完善、灵活性较弱以及gpu支持不足等。

随着集装箱化的快速发展，基于kubernetes的技术架构正在取代原有的Hadoop 纱线大数据分布式任务调度模式。凭借轻量级二级部署、一次性构建和随处运行的巨大优势，容器促进了快速和自动化的工作流。同时，kubernetes强大的布局能力和蓬勃发展的社区生态为大数据集装箱化提供了便利的平台。

大数据系统本身支持kubernetes。例如，spark可以直接在kubernetes 上运行，自2.3版以来没有任何修改。这是一个里程碑事件，指明了未来技术架构的发展方向。

容器引擎是金山云推出的库本内特服务产品，是在原有库本内特的基础上开发和改编的，无缝集成了金山云生态的其他基础资源和产品服务。

目前，金山云容器引擎覆盖主流应用的多个版本库本内特，支持一键创建，在多个可用区域进行高可用性部署，并提供旧版本的一键升级功能，持续保护用户资产；集成云平台功能，如网络解决方案(法兰绒和运河)、持久存储(数据块存储和文件存储)和安全性(多租户隔离和主机加固)；图像仓库支持docker hub和gcr.io的图像加速、图像的高速内部网下载和11个9的可靠性保证；控制台支持kubernetes的软件包管理工具helm，提供金山云的官方helm 图，支持helm应用的在线可视化部署。

此外，金山云容器引擎大大降低了kubernetes的使用门槛和综合成本，使用户开发团队更加专注于自己的业务。

统一管理和灵活扩展为用户创造更多价值

由于大数据应用的复杂性，许多类型的模型将被用作工作节点，例如使用云主机来应对快速的流量扩展，使用云物理服务器来提供无性能损失的能力，以及使用云计算gpu服务器的大规模线程和高速计算能力的优势来满足计算需求。

金山云容器引擎为混合集群提供统一管理服务，可以实现对一个集群中各类节点的统一管理，并通过设置标签实现整体资源的统一调度和部署，避免使用多个集群。一方面，它大大降低了使用成本，另一方面，它有效地提高了管理效率。

大数据业务的计算需求是动态的，波动很大。金山云容器引擎支持集群 自动伸缩，实现集群工作节点的灵活伸缩，节省开支。目前，金山云容器引擎本身对外免费使用，同时提供免费的企业容器镜像仓库服务。用户只需为使用的资源付费，工作节点支持灵活的计费策略，如预付费年度订阅、每日配置支付和每小时配置计费。

整体框架图

大数据云平台利用容器引擎集群、云物理机集群和云服务器集群构建大数据控制平台和共享服务资源库，为用户提供租户隔离、安全可靠的大数据托管服务。

容器引擎中大数据平台的部署方案如上图所示:

1.在端点容器引擎集群中部署微服务架构，例如数据管理(元数据管理、数据许可、数据质量、数据映射等)。)，数据服务，数据收集，共享组件mysql ，redis和其他基本服务。

2.大数据集团蜂巢，火花，弗林克，赫贝斯，卡夫卡，动物园管理员，弹性搜索，等等。部署在在线/离线容器引擎集群中的目前使用hdfs存储用于hive、hbase，而zookeeper、elasticsearch和kafka使用nfs和ks3存储。

目前，金山云大数据平台已经使用容器引擎平台部署了在线和离线服务，以支持海量数据处理。在整个过程中，两个团队都积累了使用大数据的丰富经验，并不断优化spark on kubernetes和kube-scheduler调度策略的动态资源，升级产品功能，并赋予更广泛的大数据相关用户为用户创造更多价值的能力。

作为cncf基金会的金牌会员之一，金山云致力于推动基于容器技术的云原生产品解决方案的实施。目前，金山云通过了cncf kubernetes服务提供商认证，容器引擎通过了cncf kubernetes一致性认证、可信云容器解决方案认证和可信云kubernetes认证。此外，金山云拥有一批经cncf cka和ckad认证的高级技术专家，为用户提供专业的产品和服务支持。

详情请点击(金山云集装箱引擎:www.ksyun/post/product/kce.html)

每当我们见面，他总是微笑，给人一种非常友好和舒适的感觉。这是煤化工运营公司青能项目部党支部书记、经理马进力给我的第一印象。他是怎么跑进《外出》的...

应该肩负起在北疆实施心脏工程的使命。在陕蒙交界的智能公司马地梁矿，就有这样一群人，牢记工程建设的初衷，不忘开拓疆域、荆棘丛生、破浪前进、团结带领北疆部队的使命...