2月14日,华为云发布分布式编译构建系统CodeArts Build,旨在支撑企业实现高效的软件开发,缩短产品上市周期,帮助企业的软件产品快速形成关键竞争力。
如何提升软件编译构建效率?
编译构建效率的提升是个系统工程,需要构建工程、构建工具、构建环境等各个方面协同优化。通过自动化的构建过程、高效的构建机制、最大化共享的基础设施,才可实现端到端的编译构建效率提升。
第一、将编译构建的过程自动化
软件是将源代码及其所依赖的二进制文件等,通过编译、链接、打包等过程形成的二进制文件。通过持续集成实现编译构建的自动化,已在业界普遍推行。软件生成过程的自动化能够减少人工干预和重复操作,实现软件的快速验证,更快地发现错误并修复。软件开发大师Martin Fowler曾这样解释持续集成:“持续集成是一种软件开发实践,团队成员频繁地集成他们的工作,通常每人每天至少集成一次,每次集成通过自动化构建(含测试)能够更高效地查找错误,使团队更加迅速地开发软件。“
第二、将自动化的每个环节提速
保持快速的构建,每减少一分钟的构建时间,就为每个开发人员在每次提交时节省一分钟。编译构建通常包含如下过程:第一步,将代码下载到构建服务器;第二步,依赖二进制下载到构建服务器;第三步,编译、链接、打包;第四步,归档软件包或镜像。每个环节都可能成为构建效率的瓶颈,从而导致软件产品开发迭代效率低、发布周期长。如车载软件往往基于AOSP(Android Open Source Project,Android开放源代码项目)开发,代码仓多达数百甚至上千个、代码量达千万行甚至亿行规模,一次软件构建长达数小时。提升代码下载效率和编译效率,是提升软件开发迭代效率、缩短软件发布周期的关键。
第三、最大化地共享基础设施
在企业内部的开发场景中,各个开发团队往往独自搭建基础设施,每个团队或个人独占自建的构建资源,导致有的团队构建资源冗余而浪费,有的团队构建资源不足而开发效率低下。通过云化将基础设施的算力充分共享,实现统一调度,是解决上述问题的最有效方式,不但能更加高效地构建基础设施,也可大幅节省资源。由此可见,云化是编译构建系统的不二选择。
华为云CodeArts Build让编译构建极速“狂飙”
在华为的敏捷软件开发历程中,软件的编译构建一直被重点关注。从最初始的单机自动化构建、到多机自动化构建、再到云化的分布式构建,如今,软件的高效编译构建已很好地支撑了华为无线、数通、车、计算、存储、终端等各个业务的高速发展,实现更高效的软件发布。
华为云CodeArts Build当前已支撑华为6万研发人员的软件高效集成,每日构建任务量达77万次,集中弹性调度24.8万台构建服务器。通过代码按需下载、云化、分布式、精准增量、弹性调度等关键技术,端到端加速软件集成过程,让开发人员编译结果分钟级反馈、版本包30分钟集成、亿级代码全量构建1小时完成。
具体来看,华为云CodeArts Build的极速构建能力体现在如下六个方面:
1、环境搭建快:开箱即用,环境无感知,快速搭建持续集成系统
华为云CodeArts Build内置130多种构建环境、30多个模板、20多个插件,用户开箱即用。同时,CodeArts Build支持多平台、多系统构建,包括x86、ARM等计算架构,以及Linux、Windows、MacOS等操作系统。通过内置上述的跨平台环境,可消除人工搭建编译服务器、配置持续集成软件等环节,帮助用户快速完成持续集成系统的搭建。
2、代码下载快:基于文件内容指纹的代码缓存技术,让代码极速下载
随着产品的规模增加,产品的代码量也会急剧膨胀,构建过程中的代码下载时间也变得越来越长。以AOSP项目13版本为例,代码量为140G,千兆带宽全量下载一次代码需要20多分钟左右,代码下载时长成为影响构建效率的关键瓶颈之一。如果将代码固定到构建执行机上,每次构建增量下载,又可能会存在代码不一致或代码在构建过程中被污染的问题。
华为云CodeArts Build提供代码下载加速技术,通过对源码文件树进行特征识别码计算,基于构建专用的分布式文件存储系统,对源码进行权限加密和去重存储,实现文件一次缓存多次复用,大大减少了从代码仓下载文件的次数。同时,通过VPC内的专用网络通道,高效地从缓存复用代码,从而实现构建时代码的高效下载。
3、编译速度快:大规模分布式、精准增量编译,突破单机物理限制,构建效率成倍提升
大型嵌入式项目通常包含数量庞大的模块或组件,如车载软件、基站、智能终端、存储产品等,且C/C++代码量巨大,上千万行甚至上亿行,编译执行时间长是阻碍产品迭代开发效率提升的关键因素。传统的软件开发构建,一般在单机上编译,受限于编译服务器的性能,一次复杂软件的全量构建时间往往长达几小时甚至数十小时。
华为云CodeArts Build提供分布式编译、精准增量等技术,突破单台机器的性能瓶颈,通过云的大规模弹性资源实现C/C++语言的编译加速。同时通过共享的分布式缓存和精准的依赖识别,实现编译命令的按需分发,在节约成本的基础上成倍提升构建效率。
4、组件集成快:提供BuildFlow编排模式,多任务并行构建,实现多组件的高效集成
大型软件项目往往涉及到多个团队协作开发,同时软件构建时也可能涉及多种计算架构和多种操作系统。如华为5G基站产品,一次软件构建,需要集成来自4条产品线、20多个团队提供的组件,并且需要同时在x86和ARM计算架构上集成出包。各个组件间基于软件架构的设计,形成有向无环图,需要一次完成软件包的集成。
针对这一涉及到多个团队协作、多种计算架构、多种操作系统和构建工程存在依赖的复杂构建场景,华为云CodeArts Build提供了BuildFlow编排模式,开发或集成工程师基于多组件依赖关系的按需编排,可让构建任务按照任务依赖关系以有向无环图的方式构建。通过高效、灵活的BuildFlow构建模式,不仅可以满足复杂的构建要求,还可以将现有的构建任务以模块化的方式进行拆分,通过多任务并行构建,实现软件包的快速构建集成。
5、多代码仓下载快:提供基于Repo工具的多仓下载模式,实现多代码仓高效集成
智能终端、车载软件、物联网设备等嵌入式软件领域,通常基于鸿蒙、AOSP等系统开发,一次构建需要同时集成数百甚至上千个代码仓,多代码仓的集成下载效率至关重要。华为云CodeArts Build集成Repo下载工具,用户只需进行简单配置即可实现多个代码仓的联动集成下载。同时也可集成代码缓存技术,实现多个代码仓的联动高效下载。
6、资源利用效率高:支持企业范围内的资源共享,高效利用构建资源
华为云CodeArts Build可通过统一弹性调度华为公司无线、数通、光、车、计算、存储等各产品线的构建资源,实现企业级数十万台构建资源的共享。相比各产品、项目团队自建、独占构建资源,可节省70%构建资源。同时,对于不同产业的不同产品研发场景,提供对应的编译构建算力,用极低成本实现高效的研发作业。通过实践外溢,可帮助企业实现构建资源的高效利用。
华为云CodeArts Build支撑华为公司云计算、网络、终端、芯片、汽车等各个业务的高速发展。例如,CodeArts Build通过极致的构建加速能力,帮助光产品线各产品亿级代码全量构建时长缩短20倍,组件间集成周期从1周缩短到1小时;通过云的弹性调度能力,实现构建资源的按需获取和低成本构建,构建服务器消耗从3.6万台降低到1万台。
面向未来,华为云CodeArts Build将基于AI决策实现更为高效、精准的弹性调度能力,面向更多复杂语言的软件产品,实现多语言的编译构建框架,与客户、伙伴和广大开发者一起,不断书写软件世界的新篇章。