主要观点总结
本文介绍了Maroš Kutschy在QA Challenge Accepted大会上关于人工智能在自动化测试结果分析中的应用分享。他提到了他们在自动化测试结果分析中遇到的挑战以及如何通过引入ReportPortal工具,利用人工智能来简化分析过程,节省时间并减少人为错误。文章还涉及了概念验证、集成、反馈试用、确保工具可靠性等方面的内容。
关键观点总结
关键观点1: 自动化测试结果的分析是测试活动的重要且具挑战性的部分。
Maroš Kutschy强调了自动化测试结果分析的重要性,并分享了他们在寻找更高效、少出错的分析方法过程中面临的挑战。
关键观点2: ReportPortal工具的使用可以简化分析过程。
Kutschy介绍了他们如何引入ReportPortal工具,该工具使用人工智能来分析自动化测试结果,帮助团队专注于新出现的失败的测试。
关键观点3: 面临的挑战和解决方案。
Kutschy分享了在使用人工智能进行自动化测试分析过程中遇到的挑战,如初始的数据输入质量和人工智能的“学习”能力,以及如何通过概念验证、集成、反馈试用和工具设置调整来解决这些问题。
关键观点4: 人工智能在自动化测试领域的应用前景。
Kutschy提到虽然目前讨论更多的是使用人工智能来生成测试自动化代码,但他们发现自动化测试结果分析也是人工智能非常适用的领域,并且可以在测试的多个场景中使用人工智能,包括生成式人工智能。
正文
ReportPortal 会显示分析结果;你可以看到有多少测试是因产品缺陷、自动化缺陷、环境问题导致的,以及还有多少失败的测试处于“待调查”状态。
Kutschy 说,当你刚开始使用这个工具时,它对失败的测试一无所知。测试人员需要决定测试失败是产品缺陷、自动化缺陷还是环境问题导致的。当下一次相同的测试再次失败时,工具会根据之前的判断,利用人工智能为失败分配正确的状态。
Kutschy 提到,仪表盘通过展示分析结果提供了测试和应用程序状态的概览视图。实时可见的分析状态让你可以看到谁正在处理哪个失败的测试,这有助于决定是否可以发布应用程序。
使用这个工具可以节省分析时间,因为它们只关注新失败的测试,而不是所有失败的测试,正如 Kutschy 所说的:
区别在于,如果你今天有 100 个失败的测试,其中只有 2 个是新出现的,你只需要查看这 2 个。如果你不使用这个工具,就需要查看 100 个。
由于工具会根据之前的决策对旧的失败测试进行分类,因此减少了人为错误。这有助于将注意力集中在新出现的失败测试上,Kutschy 说。
如果人类用错误的数据训练人工智能,人工智能也会做出错误的决定,Kutschy 说。如果你是一个糟糕的老师,你的学生(ReportPortal)也会表现不佳:
有时,一个同事会将失败的测试链接到错误的 Jira 任务,或者为失败的测试分配错误的状态。
你可以通过手动修改来“取消学习”,Kutschy 说。
如果正确使用人工智能,它可以为你节省大量时间并减少人为错误,Kutschy 说。在确认它可以正常运行之后,你就可以信赖它,不再需要你们手动对失败的测试进行分类。