开发者后台-虚拟助理列表可用性测试

ruyi第三方技能开放平台-虚拟助理列表可用性测试

项目背景

魔戒为ruyi第三方技能开放平台主要是做技能(chatbot/skill)开发工具。作为知识图谱和人工智能应用的业务之一。开发者通过平台制作的技能可对接智能硬件、智能家居、微信公众号等终端。同时也可通过各大技能平台(百度Dueros/小米水滴/天猫精灵/Rokid等)连接到千万硬件上让更多的用户体验到技能。

测试目的

虚拟助理列表页的常用功能的可用性测试,UI/UX的设计是否影响到用户的目标和使用体验。

测试人员

Fan,负责可用性界面的测试和执行记录和数据分析。

测试用户

随机抽取11名不同工作和不同使用经验的同事进行虚拟助理可用性测试

魔戒-测试用户

测试设备及环境

测试环境:小会议室(现场测试)
硬件设备:MacBook Pro (Retina, 13-inch, Mid 2014)
原型:Axure可交互原型
软件:Quick Time Player 录屏记录

魔戒-测试设备及环境

可用性测试预置条件

  • 1.测试前测试人员需对测试任务细节保密,以还原真实场景,告知测试时长。
  • 2.虚拟助理列表的基本功能和交互都能满足包括弹窗页面跳转和交互。
  • 3.在操作开始前打开录屏实时记录测试用户的动作。

有效性测试的内容与方法

界面的可用性主要以认知走查法来研究和发现用户的使用效果。

首先列出虚拟助理列表的主要任务

  • 1.创建一个虚拟助理
  • 2.编辑虚拟助理
  • 3.删除创建的助理
  • 4.复制appkey
  • 5.跳至助理主页面(开发者后台页面)
  • 6.帮助中心
  • 7.去首页
  • 8.返回虚拟助理列表

用户按照上面的8个任务在原型上进行操作,通过记录和观察用户在这些任务上的完成时间、完成度、交互的流程度等(如:是否有迟疑、是否可以快速锁定目标任务)来找寻设计上的优化点。

魔戒-任务测试原型界面

魔戒-用户测试录屏图

数据分析

成功完成各任务的用户比例
(√ 表示本用户完成了任务,× 表示未完成本任务)
魔戒-成功完成各任务的用户比例

总体来看,任务“创建虚拟助理”、“去首页”及“返回虚拟助理列表”的用户完成率非常高,可以达到100%,说明这些任务的设计完全符合所有用户的使用习惯;而任务“跳至助理主界面”和“帮助中心”的用户完成率偏低,只有54%,说明本任务流程的设计违背了用户的使用习惯。

魔戒-测试用时和使用经验

从上图我们可以看到,使用经验和测试用时不是正相关,换句话来说测试的用时不因使用经验
而影响,使用经验达到一定数量其实任务完成时间就在150秒之间。

魔戒-完成度和使用经验

从上图我们可以看到,在最初的20天里和90天左右,它的完成度在80%以上。20天大概两周的时间我们可以定义为记忆的首因效应;90天左右是一个记忆和熟练度的稳定期,超过90天对于熟练度和完成度的增量影响已经不大;从测试用时和使用经验也可以看到这一方面的特点,90天左右任务完成的时间将趋于平稳。

虚拟助理列表方案设计图

显示字段(助理描述)方案设计
魔戒-显示字段(助理描述)方案设计

appkey方案设计
魔戒-appkey方案设计

新方案设计用户投票统计

魔戒-新方案设计用户投票统计

魔戒-新方案设计用户投票统计2

新设计方案优化点

  • 1.从观察可以看出每个人进入帮助页的入口不一样,任何时候用户都有可能需要帮助,因此帮助入口需要尽可能醒目 和容易得到 。
  • 2.数据显示进入助理主界面的任务失败率高,原先的设计在交互上,违反用户使用习惯,交互视觉暗示偏弱,所以可 点击的需要明显的hover效果。
  • 3.功能区块需要分开和有差异设计,一些功能按钮可以做成icon。
  • 4.大多数用户诉求在界面简洁的情况下尽可能知道更多的内容,效率和简洁是体验的关键点。

交互细节

魔戒-交互细节

新方案设计

魔戒-虚拟助理列表新方案设计