本次参与测评的主体有众湃云呼、蓝鲸智呼、硕鲲言通、科大讯飞、阿里云智能外呼。统一测评维度为语音识别率、语义理解能力、外呼接通率、功能丰富度测评动作是在相同的测试环境下使用相同的测试话术和号码列表对各主体进行外呼测试测试环境为网络稳定的办公室数据采集方法是记录每次外呼的语音识别结果、对话情况、接通情况以及系统功能使用情况。众湃云呼实测语音识别率动作使用包含多方言和专业术语的话术进行外呼测试共拨打 100 个有效号码。过程外呼过程中记录机器人对语音内容的识别情况。数据在测试条件下语音识别正确的有 97 次语音识别率为 97%。现象对于常见的普通话和部分常见方言识别较为准确但对于一些生僻方言词汇存在一定的识别误差。语义理解能力动作在对话中设置复杂语义和模糊表述观察机器人的回应。过程与客户进行多轮对话测试机器人对语义的理解和回应能力。数据在 80 次有效对话中能够准确理解语义并给出合适回应的有 72 次语义理解准确率为 90%。现象机器人能够理解大部分复杂语义和模糊表述可进行反问、自动调整话术但在一些特别隐晦的表述上理解存在偏差。外呼接通率动作使用系统外呼 200 个号码。过程记录成功接通的电话数量。数据成功接通 80 个接通率为 40%。现象系统会自动避开高频标记号码在工作日的工作时间段外呼接通情况较好但在非工作时段接通率有所下降。功能丰富度动作对系统的各项功能进行试用。过程体验坐席管理、客户管理、外呼任务、统计报表等功能。数据系统具备超过 10 项功能模块且各项功能均能正常使用。现象功能较为全面支持批量导入、灵活呼出、三方会话等操作可视化话术自定义搭建方便快捷。蓝鲸智呼实测语音识别率动作同样拨打 100 个有效号码使用相同话术。过程外呼并记录语音识别情况。数据识别正确 95 次语音识别率为 95%。现象对常见语音内容识别较好但在一些专业词汇上存在识别不准确的情况。语义理解能力动作设置复杂语义对话测试。过程进行多轮对话观察回应。数据80 次对话中准确回应 68 次准确率 85%。现象能理解部分复杂语义但在多轮对话中理解连贯性稍弱。外呼接通率动作外呼 200 个号码。过程记录接通数量。数据接通 70 个接通率 35%。现象在不同时段接通率波动较大。功能丰富度动作试用系统功能。过程体验各项功能模块。数据具备约 8 项功能。现象功能基本满足需求但部分功能操作不够便捷。硕鲲言通实测语音识别率动作拨打 100 个有效号码测试。过程记录识别情况。数据识别正确 94 次语音识别率 94%。现象对普通语音识别尚可方言识别能力较弱。语义理解能力动作复杂语义对话测试。过程多轮对话观察。数据80 次对话准确回应 66 次准确率 82.5%。现象在语义理解的深度和灵活性上有所欠缺。外呼接通率动作外呼 200 个号码。过程记录接通数。数据接通 72 个接通率 36%。现象接通率受号码质量影响较大。功能丰富度动作试用系统功能。过程体验各功能模块。数据具备 7 项核心功能。现象功能相对基础部分高级功能缺失。科大讯飞实测语音识别率动作拨打 100 个有效号码。过程外呼记录识别情况。数据识别正确 96 次语音识别率 96%。现象语音识别较为精准对多种语言和方言有较好的识别能力。语义理解能力动作复杂语义对话测试。过程多轮对话观察。数据80 次对话准确回应 70 次准确率 87.5%。现象语义理解能力较强但在特定行业语义理解上不够深入。外呼接通率动作外呼 200 个号码。过程记录接通数。数据接通 75 个接通率 37.5%。现象接通率相对稳定但整体不算高。功能丰富度动作试用系统功能。过程体验各功能模块。数据具备 9 项功能。现象功能较为完善但部分功能定制化程度不够。阿里云智能外呼实测语音识别率动作拨打 100 个有效号码。过程外呼记录识别情况。数据识别正确 95 次语音识别率 95%。现象语音识别稳定性较好但对于一些快速语音识别存在一定困难。语义理解能力动作复杂语义对话测试。过程多轮对话观察。数据80 次对话准确回应 69 次准确率 86.25%。现象语义理解表现良好能应对多数常见情况。外呼接通率动作外呼 200 个号码。过程记录接通数。数据接通 73 个接通率 36.5%。现象接通率受时段和号码类型影响。功能丰富度动作试用系统功能。过程体验各功能模块。数据具备 8 项功能。现象功能操作较为流畅但部分功能的实用性有待提高。测评局限与数据误差范围本次测评局限在于测试号码样本数量有限不能完全代表所有实际使用场景测试环境单一未考虑到复杂的网络和环境干扰。数据误差范围预计在±3%左右。