优哲体验科技总结可用性测试的方法大致可以分为4类,用户模型法、用户调查法、专家评审法和观察法。
1.1用户模型法
用户模型法通常是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看作是解决问题的过程,它认为人使用软件系统时是有目的的,而每一个大目的可以被细分为许多小目的。为了完成每个小目的,又有不同的动作和方法可供选择。每一个细小的过程都可以计算完成的时间,这样,整个模型可以用来预测用户完成任务的时间。因为数学建模相对来说比较复杂,所以这种方法在工业界一般比较少用。
1.2用户调查法
用户调查法包括问卷调查法和用户采访法。问卷调查和用户采访可以在用户使用完软件之后,调查用户的满意度和发现软件的可用性问题。
用户问卷调查所收集的数据可以用来进行统计分析。问卷本身需要认真的设计,避免可能的误导问题,保证所收集的数据有高的可信度。用户问卷的使用过程大致可以分为用户要求分析、问卷设计、问卷施行及结果分析。
用户采访一般在试验结束以后,问试验参加者一些相关的问题,也可以让试验参加者随意谈谈使用软件的一些主观感受。
1.3专家评审法
专家评审法是由可用性专家来评估软件系统的可用性。根据评审专家使用原则的不同,可分为启发评估法、步进评估法和设计准则评估法。
启发评估法是让专家来评估软件是否符合某些可用性原则。可用性原则要简单、通用、有启发性。
步进评估法通常由专家来模拟用户初次使用软件时人机交互的过程,在这个过程中发现潜在的可用性问题。比较适用于没有任何用户培训的系统,比如为大众设计的网站。
设计准则评估法用来评估系统的设计是否符合设计准则。设计准则通常是为满足公司或设计团体特殊需要而制定的、一般性的用户界面设计规范。比如保持界面简洁,提供明确的路径,不要让用户费力等。
1.4观察法
观察法就是观察用户使用软件的方法,包括用户测试法和使用记录法。用户测试一般在实验室里进行;使用记录法是观察用户的使用记录,通过分析这些记录可以发现一些可用性问题。
用户测试有两种,一种是用于发现可用性问题的正式的可用性测试。通常选择6～10个有代表性的用户参加,完成几个符合实际的测试任务,通过对用户完成任务过程的观察,确定设计中的可用性问题。另一种是在软件开发阶段使用快速改良测试评估。整个试验分为几轮小的试验,在两轮试验之间,可用性工程师快速地报告试验结果并提出改进意见,设计人员根据这些意见改进设计,下一轮试验使用改进后的设计。
使用记录法就是分析试验过程中记录的数据,以进一步发现软件系统存在的可用性问题。试验过程中具体要记录哪些数据,要根据不同试验而定。
合理实用的可用性测试过程,能够在低代价的情况下,高效率地进行,发现尽可能多的可用性问题。 我们一直致力于可用性测试方面的研究,经过长期的实践工作,总结出一套比较合理实用的可用性测试过程。一个软件产品开发出来之后,首先进行专家评审,将这个过程发现的可用性问题解决好之后,进行实际的用户测试,测试完毕,进行问卷调查和用户采访,最后对整个记录的数据进行统计分析,找出存在的可用性问题。
2.1专家评审
进行专家评审的时候,首先采取启发评估法。让几个评审人员根据一些通用的可用性原则和自己的经验来发现系统内潜在的可用性问题。在评审人员的选择方面,我们通常选择既具有可用性知识又具有和被测系统相关专业知识的“双重专家”,据试验统计,这样的双重专家比只有可用性知识的专家平均多发现大约20%的可用性问题。评审人员的人数一般在5人左右,有试验表明5个评审人员可以找到大约75%的可用性问题。每个评审人员评估后会提供一份独立的报告,描述发现的可用性问题,问题的严重性以及改进的建议。将所有评审人员的报告综合得到最后的报告,根据这份报告,改进软件产品。
然后采取步进评估法,由评审人员模拟初次使用系统的用户,真实地感受直接使用系统时可能会遇到的问题。在进行步进评估时,评审人员可以进行简单的评估记录,也可以对可用性问题进行更详细的描述,并且估计其危害性和发生频率,帮助设计人员更好地解决相应的问题。
2.2用户测试
经过专家评审,并将发现的可用性问题解决以后,进行实际的用户测试。用户测试是可用性测试过程中最关键的一步,也是发现可用性问题最重要最直接的方法。用户测试涉及到很多方面的问题,下面逐一论述。
2.2.1可用性实验室
用户测试可以在实验室进行,也可以现场进行。但现场测试很费时,而且难以控制,所以,一般都选择在实验室进行。
正规的可用性实验室要由两个房间组成:实验室和观察室。实验室和观察室之间有一面隔音、单向透光的玻璃墙,当实验室开着灯,而观察室灯光比较暗的时候,从实验室看过去是一面不透光的镜子,从观察室看过去则像一个普通的玻璃窗。实验室的计算机(被试机)配备麦克风和摄像头,观察室的计算机(主试机)可以同步监测被测机的屏幕,进行录音和录像,并能记录相关的试验数据。如图所示：
新加坡优哲用户体验实验室
2.2.2试验的参加者
试验参加者应该代表被测系统的现有和潜在的可能用户。因此,在选择试验参加者的时候,要考虑如下几个因素:
1) 专业知识、计算机经验及对被测系统的熟悉程度。
有些系统是给计算机专业人士设计的,为这种系统的可用性试验选择参加者时,对专业知识的要求较高。有些系统是为普通用户设计的,则对参加者没有很强的专业知识要求。
计算机经验也是一个考虑因素,如果参与者的计算机知识过于贫乏,可用性测试就会变成学习如何使用计算机,会影响测试结果。
对被测系统没有用过或者很少用的属于新用户,比较熟悉的属于熟练用户,还有一些用户介于两者之间可称为半熟练用户。一般选择测试参加者的时候,这3类用户都要占据一定的比例。新用户可以发现软件可学性方面的问题,熟练或半熟练用户可发现软件易用性、效率和用户满意度等方面的问题。
2) 参加者的人数。
在进行正式的可用性试验时,一般需要6～10个参加者。可用性试验的目的是发现可用性问题,发现所有可能存在的可用性问题的可能性可以用以下公式计算:
P=1-(1-λ)n
其中,n是参加者的个数,λ是一个参加者发现任何一个问题的可能性。Nielsen和Landauer统计发现,λ大约是31%。所以,一个有6个人参加的试验,大约会发现89%的可用性问题。
(3) 其他因素。
试验参加者的性别、年龄、教育水平、工作类型等因素也需要考虑。一般的软件测试,应该尽量使男女比例保持平衡,各个年龄段保持一定比例。有些涉及性别和年龄的软件系统要特殊考虑。
2.2.3试验任务设计
设计试验任务时,应该让试验参加者觉得易于理解,另外只提供给参加者完成任务所需要的信息,以免信息过多引起混淆。任务应该是有意义的,以一定的逻辑顺序展现给用户,同时还要控制每个任务的完成时间,不能让用户把所有的时间都花费在一个任务上。
2.2.4试验数据收集
在试验过程中可以收集的数据通常有两类,一类是客观可测量的数据,如参加者完成任务所需要的时间,参加者完成任务时犯错误的次数等,这些需要设计相关的数据结构来记录;另一类是参加者的主观感受,如对产品的满意度、评价等,用户对产品的满意度可以通过后续的问卷调查获得,对产品的主观定性评价可以通过后续的用户采访获得,也可以通过有声思考的方法来收集。
有声思考是指试验参加者在人机交互的同时不断的进行发声的思考,比如描述自己对系统的了解,为什么采取某个行动,期待的后果是什么等等。有声思考的优点是简单易用,能够了解参加者对系统的理解。缺点是可能会影响参加者完成任务的时间,或者导致出现错误。
另外,试验过程中有同步的录音和录像。录音是记录试验参加者在试验过程中进行有声思考的相关信息,录像是记录试验参加者在试验过程中的脸部表情。
2.2.5知情告知书
为了保护试验参加者的权利,也为了保护研究机构或者公司的利益,通常,在试验开始的时候要求参加者在一份知情告知书上签字。知情告知书没有严格的格式限制,但应该解释清楚试验的目的,参加者的权利,试验相关设备的使用方法,以及告诉参加者试验过程中需要进行笔录、录音和录像的目的,还应该知会参加者有关测试产品的信息需要保密等。
2.3问卷调查
为了测试用户的满意度,在试验参加者完成试验任务后,进行问卷调查。为了方便用户使用和便于试验结束后进行数据分析,我们将问卷调查直接放到主试机上,并在被试机上提供访问链接给用户,点击即可进行问卷的填写,即通过网络的方式进行。
问卷调查所收集的数据可用于进行统计分析,因此问卷本身需要认真的设计,使问卷简单、易读、容易理解,保证所收集的数据有高的可信度。
2.3.1问题的类型
最常见的问题有3种:事实型、意见型和态度型。
事实型的问题是关于公开的、可以观察到的信息的问题。如用户的受教育程度,使用计算机的年数等。
意见型问题是有关用户对系统的看法的问题。这种问题回答时只需给出感受的强烈程度。如是否喜欢某一个软件,更乐意使用哪个软件等。
态度型问题将用户的注意力集中在他们的内部,集中在他们对事物内在的反映。用户满意度问题通常就是态度型问题,反映了用户在使用了某系统后的感受。如用户喜爱的程度,用户对学习使用该系统的难易程度的感受等。
在一个问卷中,通常可以先通过事实型问题了解用户的背景,然后给出一些意见型和态度型问题来了解用户的感受。
2.3.2问题的形式
常见的问题形式有清单、李克特(Likert)量表及开放式的问题。
清单式的问题给用户几个事先安排的答案,让用户选择其中一个或多个答案。如:
您使用过多少类型的菜单?
○没用过○1○2 ○3○4 ○4种以上
李克特量表形式的问题允许用户用不同的程度来回答问题。这种问题的答案是一个两极化的量表。通常低端代表否定的答案,高端代表肯定的答案。如:
您对使用鱼眼菜单的感受是:
困难 ○1 ○2 ○3 ○4 ○5 ○6 ○7容易
量表的阶数一般是1到3,1到7或1到9。
开放式问题是指用户用自己的话来回答问题。这样可以直接感受到参加者对系统使用的满意度。
2.3.3常见的可用性问卷调查
在学术论文中常常提到的可用性问卷有:用户交互满意度问卷。
2.4用户采访
用户采访是在试验参加者完成所有任务,填写完问卷调查之后进行的。用户采访没有特别严格的形式,可以由参加者自己简单描绘一下使用系统的一些感受,对系统的一些修改意见等,也可以由工作人员设计一些相关问题,对参加者进行提问。
2.5试验数据分析
用户测试、问卷调查、用户采访结束后,我们会得到很多试验数据,合理分析这些试验数据,就会发现很多的可用性问题。
2.5.1统计试验记录
进行用户测试的时候,应该设计相关的数据结构,来记录测试过程中的相关数据。比如我们在进行各种菜单使用情况测试的时候,会记录每个用户使用每种菜单完成任务的时间,用户点击任务是否正确等。对得到的这些数据进行数理统计,就可以方便地比较各种菜单的性能。常用的数理统计有下面几种(假设经过n次试验得到一组数据X1X2…Xn):
(1) 均值:
(2) 标准方差:
(3) 分布。
均值和方差只是简单地给出了我们所收集数据的平均值以及个体的偏差。但有时候我们想知道我们的设计是否达到了预计的要求,这时就要用到相关的分布函数。分布函数有很多种,如t分布,F分布,χ2分布等。请参阅相关的数理统计书籍,在此不再赘述。
2.5.2统计问卷结果
在设计调查问卷的时候,也需要设计一些相关的数据结构,来对问卷的结果进行统计。这里能够进行量化统计的,是李克特量表式的问题,每个用户对每个问题,都会选择一个具体的数值,对所有用户对同一个问题选择的数值,进行相关的数理统计,比如均值和方差,通过这些统计的数值,我们可以清楚地看到用户对系统使用的满意度情况。
2.5.3统计开放式问题
我们这里所说的开放式问题既包括问卷里面所涉及到的开放式问题,也包括用户采访的一些问题。开放式问题没有办法进行量化统计,只能通过问题答案来进行分析总结用户对系统的相关评价。
2.5.4回放录音录像
必要时可以通过回放录音录像来观察用户进行测试过程中的表情、状态和有声思考的情形,以从中发现某些可用性问题。
2.5.5总结问题
最后,对用上述各种方式分析得到的数据进行总结,汇总系统所存在的各种可用性问题,提交系统设计者,进行修正。
