Portman模糊测试教程：自动生成异常请求与边界值测试用例

Portman模糊测试教程自动生成异常请求与边界值测试用例【免费下载链接】portmanPort OpenAPI Specs to Postman Collections, inject test suite and run via Newman ‍项目地址: https://gitcode.com/gh_mirrors/po/portmanPortman是一款强大的开源工具能够将OpenAPI规范转换为Postman集合并自动注入测试套件通过Newman运行。其中模糊测试功能可以帮助开发者自动生成异常请求和边界值测试用例有效检测API的健壮性和错误处理能力。什么是API模糊测试模糊测试Fuzzing是一种自动化软件测试技术通过向程序提供无效、意外或随机的数据作为输入来发现程序中的漏洞、错误和异常行为。对于REST API而言模糊测试可以通过构造异常的请求参数、请求体和请求头触发API的错误处理机制验证API在各种异常情况下的响应是否符合预期。Portman提供的自动模糊测试功能能够基于OpenAPI规范中的请求属性为API生成多种“不开心路径”unhappy path的测试用例。这些测试用例可以帮助开发者发现API在处理无效输入、缺失必填字段、超出边界值等情况下可能存在的问题。为什么选择Portman进行模糊测试使用Portman进行API模糊测试具有以下优势自动化生成测试用例Portman能够根据OpenAPI规范自动识别可模糊的请求属性生成多种异常请求测试用例减少手动编写测试的工作量。全面覆盖支持对请求体、查询参数和请求头进行模糊测试覆盖API的各种输入方式。可定制化可以通过配置文件灵活设置模糊测试的选项如启用/禁用特定类型的模糊规则。与Postman集成生成的测试用例作为Postman集合可以直接在Postman中运行或通过Newman进行自动化测试。合同测试集成可以为模糊测试生成的每个变异请求自动注入合同测试验证响应状态码、内容类型、JSON模式等是否符合OpenAPI规范。准备工作安装与配置Portman安装Portman首先需要在本地环境中安装Portman。Portman是基于Node.js开发的可以通过npm进行安装npm install -g apideck/portman克隆项目仓库如果需要参考官方示例进行模糊测试可以克隆Portman项目仓库git clone https://gitcode.com/gh_mirrors/po/portman cd portmanPortman的模糊测试示例位于examples/testsuite-fuzzing-tests/目录下包含了完整的配置文件和OpenAPI规范示例。Portman模糊测试核心功能详解Portman的模糊测试功能主要通过配置文件中的fuzzing选项来实现。该选项允许对API的请求体、查询参数和请求头进行模糊处理生成多种异常请求测试用例。模糊测试的目标与范围在Portman的配置文件中可以通过openApiOperation和openApiResponse属性指定模糊测试的目标API操作和预期响应状态码。例如variationTests: [ { openApiOperation: *::/crm/*, openApiResponse: 422, variations: [ // 模糊测试配置 ] } ]上述配置表示对所有路径以/crm/开头的API操作进行模糊测试并预期这些操作在接收到异常请求时返回422Unprocessable Entity状态码。支持的模糊测试类型Portman支持对请求体、查询参数和请求头进行以下类型的模糊测试1. 必填字段缺失requiredFields移除OpenAPI规范中标记为“必填”的字段测试API对缺失必填字段的处理能力。2. 数值类型边界值minimumNumberFields / maximumNumberFieldsminimumNumberFields将数值字段的值设置为小于OpenAPI规范中定义的minimum值。maximumNumberFields将数值字段的值设置为大于OpenAPI规范中定义的maximum值。3. 字符串长度边界值minLengthFields / maxLengthFieldsminLengthFields将字符串字段的长度设置为小于OpenAPI规范中定义的minLength值。maxLengthFields将字符串字段的长度设置为大于OpenAPI规范中定义的maxLength值。模糊测试配置示例以下是一个完整的Portman模糊测试配置示例位于examples/testsuite-fuzzing-tests/portman-config.crm.json文件中{ version: 1.0, tests: { variationTests: [ { openApiOperation: *::/crm/*, openApiResponse: 422, variations: [ { name: Unprocessable, fuzzing: [ { requestBody: [ { requiredFields: { enabled: true }, minimumNumberFields: { enabled: true }, maximumNumberFields: { enabled: true }, minLengthFields: { enabled: true }, maxLengthFields: { enabled: true } } ], requestQueryParams: [ { requiredFields: { enabled: true }, minimumNumberFields: { enabled: true }, maximumNumberFields: { enabled: true }, minLengthFields: { enabled: true }, maxLengthFields: { enabled: true } } ], requestHeaders: [ { requiredFields: { enabled: true }, minimumNumberFields: { enabled: true }, maximumNumberFields: { enabled: true }, minLengthFields: { enabled: true }, maxLengthFields: { enabled: true } } ] } ], tests: { contractTests: [ { statusCode: { enabled: true }, contentType: { enabled: true }, jsonBody: { enabled: true }, schemaValidation: { enabled: true }, headersPresent: { enabled: true } } ] } } ] } ] } }在上述配置中对requestBody、requestQueryParams和requestHeaders都启用了所有类型的模糊测试并为每个生成的模糊测试用例添加了合同测试验证响应的状态码、内容类型、JSON体、模式和 headers。实战使用Portman生成并运行模糊测试用例步骤1准备OpenAPI规范和配置文件确保已经准备好OpenAPI规范文件如crm.openapi.yml和Portman配置文件如portman-config.crm.json。官方示例中提供了这两个文件位于examples/testsuite-fuzzing-tests/目录下。步骤2生成Postman集合使用Portman的CLI命令根据OpenAPI规范和配置文件生成包含模糊测试用例的Postman集合portman --cliOptionsFile ./examples/testsuite-fuzzing-tests/portman-cli-options.json其中portman-cli-options.json文件指定了输入的OpenAPI文件、输出的Postman集合文件以及Portman配置文件的路径{ local: ./examples/testsuite-fuzzing-tests/crm.openapi.yml, output: ./examples/testsuite-fuzzing-tests/crm.postman.json, portmanConfigFile: ./examples/testsuite-fuzzing-tests/portman-config.crm.json }运行上述命令后Portman会生成一个Postman集合文件crm.postman.json其中包含了原始的“开心路径”请求和自动生成的模糊测试变异请求。步骤3在Postman中查看和运行模糊测试用例打开Postman导入生成的crm.postman.json集合。在集合中可以看到一个名为“Variation Tests”的文件夹里面包含了所有自动生成的模糊测试用例。每个模糊测试用例的名称都清晰地标识了其模糊类型例如“Create lead[Unprocessable][required name]”表示该用例测试缺失必填的“name”字段的情况。点击某个模糊测试用例可以查看其请求详情和自动生成的测试脚本。例如下图展示了一个模糊测试用例的测试脚本用于验证响应状态码是否为422、内容类型是否为JSON等步骤4对比“开心路径”与“不开心路径”测试在Postman集合中原始的API请求如“Create lead”属于“开心路径”测试用于验证API在正常输入情况下的响应。而“Variation Tests”文件夹中的请求则属于“不开心路径”测试用于验证API在异常输入情况下的响应。通过对比这两种路径的测试结果可以全面了解API的功能正确性和健壮性。步骤5使用Newman运行自动化测试除了在Postman中手动运行测试还可以使用NewmanPostman的命令行运行器批量运行生成的模糊测试用例newman run ./examples/testsuite-fuzzing-tests/crm.postman.jsonNewman会执行集合中的所有测试用例并输出详细的测试报告包括每个测试用例的通过情况、响应时间等信息。高级技巧定制模糊测试规则Portman允许通过配置文件灵活定制模糊测试规则以满足特定的测试需求。以下是一些常用的高级配置技巧禁用特定类型的模糊测试如果不需要对某些类型的字段进行模糊测试可以在配置文件中将其enabled属性设置为false。例如禁用对请求头的模糊测试requestHeaders: [ { requiredFields: { enabled: false }, minimumNumberFields: { enabled: false }, maximumNumberFields: { enabled: false }, minLengthFields: { enabled: false }, maxLengthFields: { enabled: false } } ]针对特定API操作进行模糊测试通过openApiOperation属性可以指定只对特定的API操作进行模糊测试。例如只对POST::/crm/leads操作进行模糊测试openApiOperation: POST::/crm/leads自定义模糊测试的变异名称通过name属性可以自定义模糊测试变异请求的名称使其更易于识别。例如variations: [ { name: Missing required fields, fuzzing: [ { requestBody: [ { requiredFields: { enabled: true } } ] } ] } ]常见问题与解决方案问题1生成的模糊测试用例过多解决方案可以通过excludeForOperations属性排除某些不需要进行模糊测试的API操作或者只启用部分模糊测试类型。问题2模糊测试用例执行失败但API实际行为正确解决方案检查OpenAPI规范中定义的响应是否与API的实际行为一致。如果API的实际响应状态码或模式与OpenAPI规范不符需要更新OpenAPI规范或调整Portman配置中的openApiResponse属性。问题3Postman变量被意外模糊解决方案Portman会自动跳过对Postman变量的模糊处理。如果发现Postman变量被模糊可能是因为变量的格式不正确确保变量使用{{variableName}}的格式。总结Portman的模糊测试功能为API开发者提供了一种简单、高效的方式来生成和运行异常请求测试用例。通过自动化生成测试用例和集成合同测试可以帮助开发者在API开发的早期发现潜在的问题提高API的健壮性和可靠性。无论是对于新手还是有经验的开发者Portman都是一个值得尝试的API测试工具。通过本文介绍的步骤你可以快速上手Portman的模糊测试功能并将其集成到你的API开发和测试流程中。如果你想了解更多关于Portman的高级功能可以参考官方文档和示例代码位于项目的docs/和examples/目录下。祝你在API测试的道路上越走越远 【免费下载链接】portmanPort OpenAPI Specs to Postman Collections, inject test suite and run via Newman ‍项目地址: https://gitcode.com/gh_mirrors/po/portman创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考