平台对比
测试管理平台是贯穿测试整个生命周期的工具集合,它主要解决的是测试过程中团队协作的问题,比如缺陷管理、用例管理、测试任务管理等。 目前市面上比较流行的测试管理工具有ALM(QC)、 Mantis、 BugZilla、TestLink、Redmine等。有开源软件,也有商业软件。这些软件的各自侧重点不同:比如Mantis、BugZilla偏重缺陷管理,TestLink则偏重测试用例管理,ALM则更加全面,Redmine项目管理的概念又更强一些。下表从以下九大功能对各个工具进行对比:测试需求管理、测试用例管理、测试套件管理、测试版本管理、测试计划管理、测试执行管理、缺陷管理、发布管理和分析报表。
国内开源平台
1. TestLink:http://www.testlink.org/
TestLink是开源的基于web的测试用例管理系统,主要功能有产品需求管理、测试用例管理、测试计划管理,并且还提供了一些简单的统计功能。
需求管理:维护用户需求,并可做到与测试用例关联,及统计用例对需求的覆盖度。
测试用例管理:可制定测试计划,维护测试用例及生成测试用例集,记录测试执行结果。
测试计划包括构建一个测试活动,选择测试用例范围,指定哪些人测试哪些用例,测试用例风险及优先级等。
维护测试用例包括对测试用例的增加/删除/修改/导入等操作。
记录测试结果包括记录用例执行的各个状态(尚未执行、通过、失败、锁定)便于后续度量分析。
测试用例输入模式为:
度量分析:包括用例执行进度,主要问题存在点,哪些用例无法执行。及通过分析用例执行结果,报告哪些需求未被测试到,分析测试风险。
可与Mantis、bugzilla、JIRA集成进行缺陷管理。
2. 禅道: http://www.zentao.net/
禅道是国产的一个比较优秀的开源测试管理工具,它从产品、研发和测试分视图进行管理,做到了以下几方面的管理功能,以下各图显示了各个视图下的可见项。禅道这种分视图三级管理界面使得各种分类变得非常清晰。
产品管理:包括产品、需求、计划、发布、路线图等功能。
项目管理:包括项目、任务、团队、build、燃尽图等功能。
质量管理:包括bug、测试用例、测试任务、测试结果等功能。
文档管理:包括产品文档库、项目文档库、自定义文档库等功能。
事务管理:包括todo管理,我的任务、我的Bug、我的需求、我的项目等个人事务管理功能。
组织管理:包括部门、用户、分组、权限等功能。
统计功能:丰富的统计表。
搜索功能:强大的搜索,帮助您找到相应的数据。
灵活的扩展机制,几乎可以对禅道的任何地方进行扩展。
强大的api机制,方便与其他系统集成。
3. TestCenter
TestCenter是国内一个新兴的开源测试管理软件,可以支持需求管理、测试管理和缺陷管理,甚至可以支持事务管理。但经过试用,功能多而不细,故不作详述。
国外商用平台
TestRail(http://www.gurock.com/testrail/)TestRail是一个集中在测试用例的管理工具,可以创建测试用例和用例集,跟踪执行和报告。此外,它集成了许多跟踪工具,使得外部系统需求与测试用例关联起来。它附带了一个基于http API集成自动化测试结果的收集功能。一个最常见的集成是Gemini,这是一个事件/票务管理系统(支持敏捷)。TestRail是一个商业产品,免费试用
qTest(http://www.qasymphony.com/qtest.html)由QASymphony开发的qTest是基于云计算的测试管理工具,有各种典型的关键特性。qTest在连接器的帮助下,它可以集成JIRA整个端到端质量的解决方案,它还集成了其他工具,比如Bugzilla、FogBugz, Rally等。不开源。
ALM,ALM是HP提供的企业应用级商业软件,提供项目与组合跟踪功能、版本管理程序、具体需求、测试管理程序、手动测试执行过程、缺陷跟踪程序、测试自动化规划/执行支持服务以及跨项目报告、资产共享和重复利用、开发过程洞察和问题根因分析。
对于需求和测试,它可以做到:
映射需求到一个测试(Linking Requirements to a Test)
映射测试到一个需求(Linking Tests to a Requirement)
映射需求和测试之间的覆盖(Linking Requirements and Tests Coverage)
从测试执行过程可以看到QC提供了强大的分析统计能力——分析需求,分析测试计划,分析测试执行及结果,分析缺陷修复。
Jira(https://www.atlassian.com/software/jira)Jira是Atlassian公司开发的一款缺陷跟踪和任务管理软件,可以对需求、任务、缺陷和改进进行跟踪管理。Jira可以和其他系统如CVS、SVN、VSS,Perforce、LDAP、邮件服务等整合,可扩展性好。Jira与敏捷开发无缝结合,支持story分解。适用于中大型项目。Jira是款商业产品,但对开源项目免费提供缺陷跟踪服务,因此在开源领域应用广泛。
IBM Rational Quality Manager (http://www-03.ibm.com/software/products/en/ratiqualmana) IBM推出的测试管理产品,典型特征是——测试计划、设计、执行、跟踪和报告。它集成了许多合理的产品的自动化、源代码控制和bug跟踪。
JIRA集成的用例管理
xray://www.greatytc.com/p/50e0289a4656
SynapseRT:https://blog.csdn.net/qq_32532165/article/details/87931147
小结
1.开源平台,Testlink和禅道会比较合适公司目前的测试管理。公司缺陷管理平台是JIRA,Testlink通过xml-rpc可以和JIRA无缝集成,但Testlink也存在一些不足:a)统计功能较弱,需要更多的二次开发;b)没有软件版本管理功能;c)社区活跃度较差,版本更新较慢。禅道管理的是一整套的软件开发流程,从需求、用例、缺陷到敏捷开发迭代,都集中到一个平台,减少维护成本。但禅道也存在一些不足:a)界面风格单一,易用性不足;b)表单和流程无法自定义,相比之下,在扩展性方面远逊于JIRA;c)开源版本,一些高级功能无法应用,如甘特图、svn/git集成、短信通知等。
2.商用平台,HP-ALM功能最为强大,最大的优势在于其贯穿整个研发流程的透明化,及其详尽的报告内容,有破解版。TestRail功能也很强大,管理并协调整个测试过程,可使用仪表板和活动报告跟踪各个测试,里程碑和项目的状态。同时有丰富的api接口,和JIRA、robot-framework可方便集成。但价格比较昂贵,私有部署TestRail Server,100 Users,$13,365/年。
综上所述,平台的最终选型需要从公司预算,系统维护成本,旧系统迁移工作量等综合评估。开源平台,个人倾向于Testlink或禅道;商用平台,个人倾向于HP-ALM或TestRail。