1、什么是可用性测试？
根据国际ISO的定义，可用性的概念是指：“特定的用户在特定的使用场景下，为了达到特定的目的而使用某些产品时，所感受到的有效性、效率及满意度。”
可用性测试是通过观察有代表性的用户，完成产品的典型任务，从而找出可用性问题的过程。
2、为什么要做可用性测试
对于SaaS平台来说，实际运作过程中往往因为时间、人力成本问题而无法兼顾所有诉求，这时的解决方法是优先满足有效性，再找出最具代表性的其他问题，在可控的时间和人力成本下，尽量使产品的可用性得到提升，所以我们需要可用性测试。
此外，通过可用性测试，还能获得一手客户信息，预知风险，提前发现产品问题。
3、可用性测试类型
行成性评估：在软件开发或改进过程中，请用户对产品或原型进行测试，通过测试后收集的数据来改进产品或设计直至达到所要求的可用性目标。
总结性评估：横向评估多个版本或者多个产品，输出评估数据进行对比。
结合成本和目的，实际应用中，知鸟平台都是做行成性评估。
4、可用性测试整体思路
先分析：设计师和产品经理一起排查可用性问题，确定可用性测试的切入点。
后实验：准备测试环境/原型，召集真实用户，观察验证此前的分析结论和发现新问题。
完整的可用性测试流程如下，如果时间和精力允许，可以不断的测试、迭代优化、再测试…
5.1 测前思考（5W）
测试可以验证一些设计中的疑惑，或者找出现有的界面、流程设计上的问题。对于知鸟来说，我们还会通过满意度调研和系统用户建议收集用户意见，定期分析，如果发现某功能咨询量大或反馈的问题较多，就会考虑组织可用性测试。
时间一般是需要和测试者协调的。
地点一般选择在安静的会议室即可，如果公司有专门的实验室那就最好不过了。
测试者一般是我们的目标用户，作为SaaS平台，需要划定角色范围。
对于SaaS平台来说，一次可用性测试不建议测试范围太广，否则无法得出精确的结论。建议选取特定场景，测试流程和界面设计中有争议和疑问的地方。
5.2 方案设计
确定调研方法
分析阶段可使用的方法有专家评审、启发式评估、认知走查等方法。由于知鸟平台的自身业务逻辑复杂，客户场景多，我们选择专家评审法，组织熟悉业务的产品和设计专家，共同分析现有可用性问题。实验阶段可使用卡片分类、面对面测试、远程测试、A/B测试、走廊测试、原型测试等方法。实际上，做功能分类和导航结构测试时，我们一般使用卡片分类法；做业务流程类和信息布局类测试时，我们会将面对面测试、远程测试和原型测试三种方法进行不同的组合来使用。考虑到成本和当时的疫情，2022年大多采取远程测试。测后调研可以使用的方法有一对一访谈、焦点小组、ASQ(After Scenario Questionnaire)问卷、SUS问卷等方法。由于实验阶段大多是远程测试，用户也是分散的，所以基本上决定了我们的测后调研只能是一对一访谈，外加一个ASQ问卷来做数据统计。1）设定条件，立足自身产品，选取有效的维度标准，可能需要知道用户的年龄、性别、使用频率、个性特征等甄别是否为典型用户。例如：我们为了验证一个刚更新迭代的功能是否具有可用性，我们会通过后台数据，筛选出高频（平均每月3次以上）使用该功能但版本更新后暂未使用的用户，来了解新版本对他工作造成的影响。2）覆盖所有参与角色：例如审批中心的可用性测试，会覆盖超级管理员、审批发起人、审批人3个角色。以上截图来源于一个量化用户体验工具网站：https://measuringu.com/calculators/problem_discovery/建议2-3名设计师参与一个可用性测试，确定好每个环节的责任人，并给每项任务定个时间计划。5.3 测前准备
设计测试脚本
为了让用户能更好的投射到任务中，我们需要给用户架构一些真实的故事场景，对每个任务设计目标，越细致越好，一次可用性测试宜设置3-5个任务，具体做法是：1）列出所有需要测试的场景以及每个场景涉及的功能点、使用的环境。2）构造真实的故事线，将功能点串联起来，按顺序设计为用户需要完成的任务。对于任务而言，用户最主观的感受就是两个：界面和流程。设计访谈提纲
因为测试完成后要立刻进行访谈，所以建议提前设计好访谈提纲。我们根据用户可能出现的几种主要情绪，设计了一些提问方向，如下图：
准备软件和硬件
测试原型（可点击原型，如果是远程客户，要确保客户能访问原型）测试资源（图片素材如封面图、背景图，数据资源例如试题、审批链、话术等）测试员辅助设备，专业设备如下（前三个我们用的比较多）：
音设备（手机或录音笔都可以）
摄像机：记录动作、部分表情（可用手机代替）
QuickTime (iOS)：PC端屏幕
Mobizen (Android)：记录屏幕、手势
Display Recorder (iOS)：手势、声音
SCR (Android)：记录屏幕、手势、表情、声音
Magitest (iOS)：记录屏幕、手势、表情、声音
Mobizen +AirDroid (Android)：现场观察并记录手势、表情、声音
眼动仪：可以追踪眼球的焦点轨迹，不适合移动端
鼠标轨迹记录：记录鼠标轨迹，只适用于PC端
邀约用户
通过电话的方式与测试用户进行邀约，电话中一定要告知一些关键信息，和用户确认时间和地点。不管是一般的用户访谈还是可用性测试，用户爽约的情况时有发生，所以在开始前一天的晚上也要再提醒测试用户，确认是否到场。设置奖励，提升用户参与的积极性。因为经费有限，我们当时跟部门长申请了知鸟学习卡、知鸟定制的周边等礼品，容易获取且具有平台特色。
远程测试需跟用户确定好接入方式：平安内勤优选快乐平安（预订好电话会议），外部用户使用外部会议系统（确定被测用户需要共享哪一端屏幕）
正式实施可用性测试前的一次模拟，有助于发现问题，这时候邀请同事即可。把正式测试的流程走一遍，包括设配的调试、访谈切入、问题的提问、记录者的记录等，然后把记录的录音、视频等放出来看看效果如何，效果不如意则需要进行调整。5.5 正式测试
测试人员分工
观察者：注意观察用户的表情、肢体动作。在测试中保持和用户的交流状态，在用户犹豫时进行简单地询问，但要做到不影响用户的判断。远程测试的时候，因共享了屏幕，基本看不到用户的表情和肢体，所以关于用户情绪只能通过现场访谈得知。记录者：注意使用快捷的笔记记录的方式。可以分别记录用户的行为、任务完成路径和想法。1）开场白：做简单介绍，说明录音录屏情况
2）事前访谈：询问用户背景、基本信息，及任务相关内容
3）事前说明：发声思考法介绍演示、设备的简单操作等
4）任务执行：提示任务并观察
5）事后访谈：按照事先准备的访谈提纲，询问用户有什么感想、评价和期望等。并引导用户填写ASQ问卷
6）结束：送礼、感谢、送客
5.6 结果分析
评估模型
以上表格是根据我们现阶段的可用性测试目的设置的得分标准和权重，可按实际需要修改进行修改。完成测试后，统计每个参与测试用户的最终得分，再算出平均分，就可以多个任务、多个功能横向比较目前亟须优化的优先级。由于我们当时最关键的指标是任务完成情况（验证有效性）和任务完成时间（验证效率），所以我们将这两个指标的得分权重设置得比较高。根据最终统计数据，我们还发现，完成率低的任务，往往伴随低效率，说明该功能亟待优化。说明：做SaaS平台可用性测试，如果最终参与测试的用户不足5人，4人的结果也是可以接受的，大约可以发现75%、发生概率为在30%以上的问题（数据计算模型来自该网站：https://measuringu.com/calculators/problem_discovery/）。观察任务操作路径，可进一步佐证任务完成效率的根本原因，并且帮助我们发现常规流程之外的问题。用户情绪会对满意度产生影响，偏好和建议可以对我们下一步优化提供参考。问题统计
用户体验旅程图
综合用户操作流程、共性问题、用户情绪变化、偏好和建议，我们绘制出了用户体验旅程图，共享给产品、研发和测试等团队成员，直观展示该功能体验过程中存在的问题和问题解决方向，如下图：
将所有的问题记录在表，按照问题发生频次、影响程度进行分级，排期优化解决。输出优化方案后，如果时间允许，可以再发起新一轮可用性测试，来验证新方案的可用性。6、结语
作为SaaS平台，随着功能的不断更新和迭代，我们需要进行充分的可用性测试，充分了解各大用户的需求和使用场景。结合大部分用户的业务流程、使用习惯和心理预期，设计出符合大多数用户使用习惯的交互方式，避免用户操作时的障碍和误操作，以确保设计能够满足大多数用户的需求和使用场景。未来，我们还会继续做可用性测试，继续进行SaaS平台体验优化探索。