当前位置：新闻详细
转载：https://news.zol.com.cn/893/8934727.html
2024-08-19 09:56:07·[??中关村在线 原创??]·作者：新闻快讯
近日，东方国信自主研发的企业级大数据平台、云原生多模数据平台、云业务平台与鲲鹏在代码开发，流水线构建，兼容性测试，性能优化、商用版本发布等方面进行了鲲鹏原生开发技术创新合作：基于鲲鹏硬件+openEuler+鲲鹏DevKit+鲲鹏BoostKit，实现1套代码+1条流水线->多平台版本，持续发布性能领先的商用版本。
目前，东方国信的这三款软件均已顺利完成Kunpeng NATIVE认证，这是国内运营商行业首张鲲鹏原生开发认证证书，在业内树立了大数据、云设施、云业务创新实践的新标杆。
企业级大数据平台是基于Hadoop体系的一款面向企业级的大数据基础计算产品。支持多版本多服务器多系统，支持批流/湖仓一体计算，支持用户资源隔离和权限访问一体化，具备多集群管理和运维自动化。该产品在鲲鹏原生开发过程中基于鲲鹏基础技术架构完成软件产品鲲鹏版本的构建发布，在性能方面完成算子下推和加速、HBase二级索引调优、参数调优、存储Ceph加速等方面的性能验证。
云原生多模数据平台以K8S容器和KVM虚拟机技术为基础，拉通Hadoop生态、数据库、AIGC组件及诸多其他中间件服务的多模态数据基础设施。支持计算与存储的松耦合，满足数据源及数据存储多样性，满足计算虚拟化后资源弹性伸缩、故障自动转移等诸多场景。该产品基于鲲鹏基础技术架构完成软件产品鲲鹏版本的持续构建发布和虚拟化负载感知加速系统的验证。
云手机平台是管理云手机用户、推送APP广告、版本发布、云手机分配等功能集于一体的后台云业务管理系统。该产品基于鲲鹏基础技术架构完成软件产品鲲鹏版本的持续构建发布。
鲲鹏DevKit融入现有开发流水线，版本发布效率平均提升35%
在原生开发过程中，技术人员在现有Jenkins流水线中集成了鲲鹏DevKit迁移扫描、毕昇JDK、测试、性能分析等四个关键能力，门禁阶段通过迁移扫描工具快速检查并修改不兼容代码和软件包，确保代码在多样性的算力平台上兼容。在编译构建阶段，无感切换毕昇JDK；自动化测试阶段，提供测试框架和案例来提高效率和软件质量。最后的结果在第一次测试的时候，我们的平均效率提升到35%。
目前，东方国信三个产品都基于改造后的流水线构建了新版本，改造后开发效率提升18%，构建效率提升40%，测试效率提升50%，版本发布效率平均提升35%。
【流水线改造前后版本发布效率】
通过鲲鹏BoostKit优化大数据组件，性能提升50%+
在代码开发过程中，开发人员使用鲲鹏BoostKit提供的算子下推、算子加速、二级索引等场景化加速能力，对大数据组件进行了优化。其中，企业级大数据平台产品OmniData算子下推sql性能提升在25%-73%；Louds Tries Index代替原生LEAF Index索引后顺序读写和随机读写分别能提升性能10%和25%。BoostKit算法库利用鲲鹏Cache容量大的特点，提升访存效率50%以上。
【大数据组件基于鲲鹏BoostKit优化前后对比】
除了上述性能优化项目我们还验证了OmniAdvisor基于AI算法训练通过数次采样，AI模型可以得出运行最快的参数配置，大大降低了任务优化的成本投入。该智能调优也可以应用到虚拟机环境中显著提升虚拟机的使用体验。
【东方国信原生开发全景架构图】
随着数字化、智能化等技术的不断发展和应用，鲲鹏生态展现出巨大的发展潜力。东方国信也将与鲲鹏继续加深、加速、加强产品的重构与优化：持续加深业务融合，联创构筑领先竞争力；持续加速在虚拟化、存储、软硬加速、隐私计算、鲲鹏昇腾一体化合作；持续加强原生开发技术，开展与AI代码优化、AI编译优化、AI性能调优工作。为运营商行业提升新质生产力，实现业技融合，筑牢技术基石。
友情链接