【51CTO.com快译】软件测试面临的挑战被大大低估了,难免没有得到重视。即便是看似基础的应用程序,比如常见的移动应用程序,您也可能采用数量惊人的测试方法、演练大量的路径和条件,并对大量的设备配置进行测试。在如今近乎持续的发布周期中,确保每次更新都增加价值,又不干扰用户体验是一项艰巨的任务。
对于大企业组织而言,尤其困难重重。大规模环境下的测试需兼顾以下方面:
- 复杂的应用程序堆栈,平均涉及900个应用程序。单笔事务平均涉及82种不同的技术,从大型机和旧式自定义应用程序到微服务和云原生应用程序,不一而足。
- 根深蒂固的手动测试流程,它们专为瀑布式交付节奏和外包测试而设计,而不是面向敏捷、DevOps和“一切持续”模式。
- 要求极高的可靠性。据IDC声称,企业环境中一小时的停机时间可能造成50万美元到100万美元的损失。在许多行业,“快速行动时破坏系统”行不通。
尤其在大企业环境,测试是交付延迟的第一大原因,手动测试仍然很普遍(只有15%是自动化测试),测试成本平均耗用IT支出总额的23%到35%。
不过,许多知名组织找到了克服这些障碍的方法。它们将测试转化为数字化转型计划的助推器,从而加快交付,并腾出预算用于创新。
它们的做法有何不同?贵组织相比之下又如何?
引入企业应用程序测试基准
为了阐明行业领导者如何测试其公司乃至全世界依赖的软件,Tricentis发布了首份《全球知名组织如何测试?》报告,介绍了全球知名组织在如何进行测试。这些数据是通过与代表多个团队的高级质量经理和IT主管进行一对一访谈收集而来的。参与者代表的团队使用各种注重质量保证(QA)的功能测试自动化工具:开源及其他商业工具。开发人员测试和安全测试活动不在本文探讨范围。
该报告重点关注从采访的100家知名组织收集而来的数据:《财富》 500强企业以及美洲、欧洲和亚太地区的知名政府实体。这里的所有营利性公司的收入不少于50亿美元。
考虑到平均团队规模和团队数量,我们估计该报告显示了这些领先组织中成千上万测试人员的活动。
几大要点
总的来看,来自这些知名组织的结果显示了39%的测试自动化,但是误报率高、低风险覆盖率以及异常慢的测试周期。以下是几个具体的要点。
- 缺乏稳定性的自动化:平均测试自动化率(39%)比较高,但误报率也比较高(22%)。对于缺乏稳定做法(比如测试数据管理和服务虚拟化)的早期测试自动化工作而言,这很常见。
- 测试与风险不符:需求覆盖率(63%)高,但风险覆盖率低(25%)。团队可能会为每个需求分配数量相同的测试资源,而不是将精力集中在对业务最重要的功能上。
- 开发和测试周期不同步:平均测试周期时间(23天)非常不适合当今快节奏的开发周期(其中87%早在2018年是两周或更短)。由于测试周期这么漫长,测试难免落后于开发。
- 质量很高(在一些情况下):报告的缺陷泄漏率(3.75%)很低,通常<10%被认为可以接受,<5%被认为很好,<1%则很罕见。然而,只有约10%的受访者跟踪了缺陷泄漏,因此总的缺陷泄漏率可能更高。跟踪该度量指标的组织往往拥有更成熟的流程。
- 良好的基础:组织在掌握测试成功的基本要素(采用适当的角色、建立测试环境以及培养协作文化)等方面取得了长足的进步。
- “一切持续”还没有发生……很少有组织拥有> 75%的测试自动化率,或者采用诸如服务虚拟化和测试数据管理之类的稳定实践。有鉴于此,有限的CI / CD集成不足为奇。但是这一切在组织的优先级列表上处于靠前的位置。
- 最大差距:领导者和落后者之间的最大差距在于,每天执行的自动化测试的百分比、风险覆盖率、泄漏到用户验收测试(UAT)的缺陷和测试周期时间等方面。
- 主要改进目标:众多组织希望在六个月内做出最大短期改进的三个方面是:风险覆盖率、泄漏到UAT的缺陷、误报率和测试周期时间。
原文How the World’s Top Organizations Test,作者:Cynthia Dunlop
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】