手动运行功能测试
功能测试指的是针对当前测试场景内选择的步骤,按照设置的顺序执行。通过对测试场景运行功能测试,判断各接口在业务流程下的实际表现是怎样的。
设置运行配置
通用配置
你可以在测试场景右侧的 tab 页中调整以下设置:
运行环境
测试步骤中每个接口的运行链接(前置 URL),详情见《管理运行环境》。
测试数据
测试场景支持导入外部测试数据集。当测试场景运行时,系统会循环运行数据文件里所有的数据集,并且会将数据集里的数据赋值对应的变量,详情见《数据驱动测试》。
循环次数
循环次数是指整个测试场景完整执行的轮次。
线程数
线程数指的是同时并发运行测试场景的线程数,每个线程都会按顺序运行选中的所有步骤。注意这是一个处于 Beta 阶段的功能,可能会出现预期之外的问题。
运行于
实际消耗硬件资源运行测试场景的机器。所有测试场景中发起的请求,会从这里指定的机器发起,所以有可能因为请求机器的网络环境不同导致产生不同的测试结果。注意:此设置不会保存为测试场景的运行配置中,每次都是默认使用本机运行测试场景。并且这个设置不会在批量运行、CLI 运行时生效,使用以上方式运行时还是消耗当前机器资源发起请求。
指定机器发起测试场景运行,如果该测试场景中使用了文件(请求发送文件、数据库连接、外部程序、SSL 证书等),则需要将所有要用到的文件存放在指定机器本地才可正常使用。了解如何将文件放在正确位置。
通知
是否在手动运行本测试场景完成之后,发送一个通知信息给指定的对象,信息内会有测试总览结果和详情链接。打开后可以设置是只要完成运行即进行通知还是在仅发生失败时进行通知,用以减少无效通知的打扰。通知对象的详细说明请参考此处。
共享
点击高级设置右侧的“共享”选项后,每次运行测试场景后的测试报告都将会自动共享给项目内的其它成员。你可以在“测试报告”中的“共享” tab 页中查看所有已在团队内共享的测试报告。有关于测试报告的内容,详细说明请参考《查看测试报告》。
如果当前测试场景步骤中存在从其它项目导入的接口,那么你可以参考《管理外部项目接口运行环境》。
高级设置
在高级设置中,你还可以调整:
遇到错误时的策略
当某个测试步骤执行出错时,例如出现断言错误、数据格式校验错误或服务器错误等情况,系统根据预设的策略进行处理,提供以下 3 种策略:
- 忽略:跳过当前异常步骤,继续执行后续步骤。
- 跳到下一轮循环:结束当前循环测试,跳转到下一轮循环测试。
- 结束运行:停止测试,并标记为失败。
间隔停顿
前一个测试步骤运行完成后,停顿一段时间,再运行下一个步骤。
保存请求 / 响应详情
开启后将保存接口的实际请求、请求响应 headers 与 bodies,但数据过多有可能会影响性能,你可以选择保存“全部请求”或“仅失败请求”。
保存变量变化值
测试场景运行结束后,将测试过程中有变化的环境/全局变量值保存至项目中的环境/全局变量。
使用全局 Cookie
- 如果使用全局 Cookie,则在测试场景中,所有接口的请求都将带上全局 Cookie。
- 如果不使用全局 Cookie,则在测试场景中,每个接口的请求都将带上自己的 Cookie。
保存 Cookie 到全局
测试场景运行结束后,将已变化的 Cookie 值保存至当前项目内的全局 Cookie 中。
确认选中想要执行的步骤与配置运行环境后,点击“运行”按钮开始进行测试。
在编排模式中调整运行配置
如果你进入了编排模式,相关的运行配置被收起到“运行”按钮的右侧。将鼠标 Hover 在此设置按钮上,即可看到本测试场景的详细运行配置。
运行功能测试
运行功能测试后将进入测试场景运行页。下图中的饼状图显示运行结果总览,并且在测试场景的运行过程中实时变化;饼状图下面是具体执行的测试步骤,在运行中将会显示每个测试步骤的执行情况。
功能测试运行结束后,你可以点击接口步骤中的“更多详情”查看该接口在测试过程中的各项指标和状态,包括接口名称、请求方式、请求地址、响应状态码、响应时间、响应内容、据校验及断言情况等。详细说明请参考《查看测试报告》。
运行包含其它项目接口的测试场景
运行测试场景时,如果测试场景中包含了从其它项目中导入的接口,那么这些接口的运行环境中的请求地址将会从“环境关联”中的预设前置 URL 中获取。
例如当测试场景指定了使用“正式环境”,当测试步骤运行到从“医疗问答信息系统”项目内导入的接口时,将会按照环境关联页中所指定正式环境:http://www.nhc.gov.cn
发起请求,其它接口则按照“正式环境”内预设的地址发起请求。