天下大事必作于细，聊聊腾讯兼容测试的升级“打怪”历程
作者：lane，腾讯适配测试负责人、WeTest专家兼容测试负责人
商业转载请联系腾讯WeTest获得授权，非商业转载请注明出处。
原文链接：http://wetest.qq.com/lab/view/305.html
WeTest 导读
互联网产品测试，测试的是产品质量，但也同时考验着测试者的质量。
什么是兼容性测试？指的是设计程序与硬件、软件之间的兼容性的测试，考验的是程序，软件，硬件三者的能力，缺一不可。而什么是好的兼容测试？我个人理解是一个双向检验的过程：“测试产品质量的同时，也在考验测试者的质量”。只有当两个“质量”都达标的时候，才是真正的测试通过。天下大事必作于细，我们从基础环节便严格要求，围绕质量高于一切的理念打造精品兼容服务。以下跟大家分享一下腾讯游戏兼容测试一步步走来的经历。
一、腾讯游戏兼容测试的源起
腾讯最早做兼容性测试其实是在端游时代，目标是为了给腾讯产品建立一道专业的测试防线，保证产品兼容性方面的质量。兼容测试可以说是见证了英雄联盟、天天爱消除、王者荣耀这些里程碑式的游戏崛起，也在路上修炼了自己的功力。兼容测试根据服务对象和测试内容可分为2大类：PC端的兼容测试和移动端兼容测试。两者之间有着天壤之别，最大差别就是测试环境，PC端游的玩家环境相对简单集中，所以兼容性测试环境易搭建，流程简单并且覆盖面广，所以，在功能测试通过后，兼容性暴露出的问题往往并不严重。以下主要介绍下腾讯移动兼容性测试团队是如何运作的。
二、建立最有效的Top用户机型库
从2011年手游市场起步，手机用户数量增长，每年超过1000款新机型的上市，安卓碎片化问题严重，移动游戏对兼容测试的服务需求越来越强。腾讯移动兼容性团队也随着不断调整和更新测试角度、方法和范围，投入专业测试人力，帮助产品发现和规避兼容性缺陷；
为了保障兼容性测试的有效性，甄选最能代表市场的测试设备成为了团队面临的第一个问题。测试设备选择需要一个科学的范围，很多人觉得测试设备越多越好，在不考虑其他成本的情况下这的确是一个无限接近正确的答案。而事实上这是一个不可能完成的任务，投入越多测试设备，测试成本的边际效应表现越明显。通过腾讯游戏大数据对机型和缺陷进行统计，我们选择了TOP100的测试范围，这部分机型在市场占比接近60%，兼容性缺陷触发率在70%左右，硬件和品牌覆盖面完整，此外，这部分设备上发现的问题有一定代表性，也便于开发更有效地修复和解决问题，性价比综合评定下最高。在服务腾讯游戏的过程中也获得了项目组的认可，最终被应用到腾讯游戏的测试标准中。
为了保障每次测试项目组都可以拿到有效的Top机型，我们会定时采购来匹配动态变化中的Top机型库。除此以外，我们还会有针对性地去采购新上市机型，以便满足游戏的特殊需求，同时根据经验来调整测试范围。
三、“质量＞效率”的测试坚持
腾讯兼容性测试团队大部分使用人工测试，其实测试成本非常高。
所以在早期，因为团队人力紧张，排期有压力的时候，我们也考虑过采购第三方自动化兼容测试服务。但实际用下来，效果上有几点比较难受：
1. 问题的准确性、完整性不足
我们团队反馈问题必须要求验证必现性，＞5次100%出现才会归类为必现，还需反馈信息完整并且会根据市场占比评估出当前缺陷影响的人数范围，提出建议性的优先处理等级；而第三方服务会提出非常多的问题，需要测试投入精力去甄选出真正有效的问题，反而增加了确认工作的人力成本消耗。
2、测试深度较浅，核心功能很难覆盖
第三方服务一般会测试到新手引导，但其实腾讯游戏对兼容测试的需要至少是覆盖核心功能和主要场景的。
3、无法实现复杂操作
专业测试人员对缺陷的敏感度高，对缺陷定位准确。可以实现复杂操作步骤，如动作类、竞速类或随机事件。对音效、重力感应、AR/VR、智能玩具测试上无可替代。
整体评估下来效率有提升，但服务效果会有比较大的下滑。为了保障游戏测试的品质，也响应公司精品游戏的战略，在效率和质量2者中，我们最终选择了质量。我们愿意花更多的时间和成本把效果做好。
虽然兼容测试以人工测试为主，但我们始终也没有放弃对效率的追逐，团队其实也一直在研究自动化测试方案。其中，包括可以快速验证兼容的标准兼容测试，保障人工测试品质同时提高测试效率的多机同步助手；针对一些项目组提来的重度兼容需求，例如《王者荣耀》的5v5自动化测试，我们还针对性研发了GAutomator框架，获得Unity官方推荐，也是目前腾讯unity游戏的标配框架，被应用在《火影忍者》、《龙之谷》等众多项目的各种测试场景中。
多机同步助手演示效果视频地址：https://v.qq.com/x/page/s03936my587.html
GAutomator框架示意图
目前，腾讯移动兼容性测试团队除了负责腾讯所有游戏的兼容性质量，也通过WeTest平台向外部开发者开放了同品质的兼容性测试服务。
然而这却并不是腾讯兼容团队和WeTest兼容服务努力的终点，我们期待着将越来越智能的测试AI深度介入游戏测试的各个环节，让云端化的游戏测试成为一件可以随时触发的自动化流水工作。通过技术的力量解放开发者，专注体验做出更好的产品，最终实现“You Create，We Test”。
欢迎对兼容性测试同样精益求精的同行们来体验服务，共同交流。
点击链接即可使用专家兼容测试服务：http://wetest.qq.com/product/expert-compatibility-testing
如果对使用当中有任何疑问，欢迎联系腾讯WeTest企业qq：800024531
亲爱的读者，为了能够提供更好的网站内容，希望您填写我们的问卷，我们会随机抽取读者回馈20Q币以示感谢！问卷入口：https://wj.qq.com/s/1221194/26ad