【手游测试】WeTest-高效率低成本的云测试方案
发表于2015-12-14
WeTest-高效率低成本的专项测试方案
作为一个上了年纪的Tester，对于我的需求来说，主要的目的是找到足够准确，高效率并且低成本的测试方案。使用过近年来兴起的各式各样的云平台、测试工具，也对这些个测试服务提供商有了一定的了解。下面将以各专项的维度，对部分的服务提供商进行相应比较。以便挑选出真正符合需求的服务提供商。
一、适配测试
适配测试是使用云平台的主要目的，也是各大服务提供商的招牌业务之一。而这种业务，对于大多数平台商来说，会存在种种的限制。
包体大小：通常来说，常见的平台商会将包体限制在200M上下，超过这个范围的包体基本不太可能上传到相应平台中。但Wetest允许的包体大小，远超过这个数字，对于包体较大的3DRPG手游来说，这个容量简直就是福音。
设备选择：
对于常见的平台商来说，适配测试还是其主要的收入来源，基本不会开放免费的设备以供选择，或是限制免费设备的数量以及仅提供低端设备进行测试。甚至对于测试次数也有着严格的控制。而以Wetest目前的情况来看，并未进行收费，即便后期收费，以目前的价格来看，也是较为合理！
测试时间：
通常云测试大概花费的时间短则4-8小时，长则达到12小时。但某些时候，由于项目组的临时紧急需求，往往会让测试人员和测试服务提供商忙的焦头烂额，Wetest在这一块表现的尤为突出，经过我的统计，每次测试时间基本都能控制在2小时以内。对于紧急需求来说，简直是不二选择。
报告解读：
市面上相对流行的做法是将页面报告以及导出报告文件的方法集成，大而化之的描述对应设备的适配情况。 而Wetest不仅对各设备的适配情况进行了反馈，还对各设备上游戏的性能表现进行了评估，最终形成的概述性的总结，展示在报告的首页，使一些运营，商务，产品的同学更容易读懂报告。但必须要说的是，与某行业大佬——某某鸟的报告对比，仍然是缺乏了一些深度，相信这也是WeTest接下来的优化内容之一。
二、性能测试
市面上多见的是类似腾讯的GT、某易的Emmagee等手机端的测试。这些工具的使用难度不一，支持程度也不一，甚至得出的结果也不一，可信度确实存疑。另外，测试环境的纯净度的保障、测试场景的设计、测试数据的分析都会成为制约测试结果科学性的瓶颈。
而Wetest采用的方式有两种：
手机端工具性能测试
云端真机性能测试
Wetest手机端工具在测试数据的分析上，能够指导新手测试和帮助测试老鸟节省时间，而云端真机性能测试，则是更加方便了。
三、弱网测试
相信目前大部分公司开展的弱网测试都是较为原始的，不外乎是利用无线网卡的wifi热点以及各种网络限制工具搭建的环境（更为原始的路测就不在此处探讨了），但在这过程中，相应的弱网模型就显得尤为重要了，典型的弱网环境能够让大多数的问题暴露，而不那么科学的弱网环境，则对游戏本身的稳定性、友好程度不会有什么帮助。
Wetest依托于腾讯的背景，在弱网测试上有较多的积累，加上我们自身补充的特有模型，覆盖率上想必会有大大的提升。
四、安全测试
游戏跨越端游时代，页游时代，进入到了手游时代，睿智的中国玩家们对于游戏的开发者来说，越来越形成挑战，从CE，OD等各种内存修改工具（手游时代的烧饼，八门等等），到WPE等各种协议篡改工具，再到SQL注入、各种渗透手段。游戏的安全隐患越来越成为开发者的肉中刺。
传统的安全测试，基本使用遍历的方式对游戏的各个模块进行测试，这样对于技术要求以及时间成本都有着巨大的需求。
Wetest提供了代码扫描以及APK扫描的两种方式，从组件权限、网络数据安全、本地数据安全、代码质量等多个维护进行检查，虽无法保障100%覆盖率，但对于测试人员来说，仍然是省却了大量的工作，仅需针对核心数据再进行测试。
Wetest除包含了上述描述的几个专项以外，还提供了真机租用以便进行问题定位（目前这项业务貌似被某平台抄袭），由于设备、环境与适配/性能测试的一致，对于测试出的问题，能够进行有效的复现从而定位。从某种程度上来说，实现了云测试的闭环。
虽然说在我看来，Wetest整体的评分，远优于大多数市面流行的平台，但也正因为测试时间短而被质疑深度不够，同时iOS业务较为薄弱的关系，WeTest仍然有大量可以改进的地方！
在最后我要说，Wetest应该是目前云平台业务中高效率低成本的典型代表了！