信度和效度都是衡量量表质量的重要指标,通常用于评估量表的可靠性和有效性。信度分析的方法主要有以下三种:Cronbach α信度系数法、折半信度法、重测信度法。效度可分为四种类型:内容效度、结构效度、区分效度、聚合效度。

一、信度分析

信度主要评价量表的精确性、稳定性和一致性,即测量过程中随机误差引起测量结果的变异程度。用于测量样本回答结果是否可靠、样本有没有真实作答量表类题项。常用的信度指标有克隆巴赫α信度系数、折半信度、McDonald's ω信度系数、theta信度系数、重测信度5类。接下来分别进行介绍。

1、克隆巴赫α信度系数

Cronbach α系数是目前最常用的信度系数,该系数评价的是量表中各题项得分间的一致性,属于内在一致性系数。通过计算评估内部各项指标之间的相关性来衡量一致性。它基于各项指标的方差和协方差,给出一个在0到1之间的值,数值越大表示内在信度越高。
(1)计算公式Cronbach α系数公式为

式中,k为测量的题目数;Si为第i题得分数的方差;Sx为测验总分的方差。

(2)评价标准

(3)软件操作及指标解读

①软件操作

量表题的数据格式为:一列代表一个问题,一行代表一个样本,分别用数字1-5表示量表题被选择项,将数据整理成如下格式:

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择Cronbach α系数;操作如下图:

注意:信度分析以维度为单位进行分析,最终需要将α系数值进行汇总整理成表格输出。

②分析结果

SPSSAU输出Cronbach信度分析结果如下:

  • 校正项总计相关性(CITC):该分析项与余下各项和之间的Pearson相关系数,反映了该项与余下各项之间的相关程度。此指标用于判断题项是否应该作删除处理,如果值小于0.3,通常应该考虑将对应项进行删除处理。

  • 项已删除的α系数:该分析项删除后,余下分析项的α系数。此指标用于判断题项是否应该作删除处理,如果该值明显高于”α系数”值,此时应该考虑将对应项进行删除处理。

2、折半信度

折半信度是指将全部题项按奇项、偶项或者其他标准分为尽可能相等的两半,计算两组题项之间的相关系数,然后通过公式计算得到折半信度系数值。折半信度需要进行斯皮尔曼—布朗(Spearman-Brown)公式校正,求出整个量表的信度系数rrt。
(1)计算公式

斯皮尔曼—布朗校正公式为:

式中,rxx为整个量表的信度估计值;rhh为两半测验分数的相关系数。需要注意的是,如果测量题目较少,比如10题以下,就不适合用这种方法来估计信度。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。如果折半系数值介于0.7~0.8之间,则说明信度较好;如果折半系数值介于0.6~0.7,则说明信度可接受;如果折半系数值小于0.6,说明信度不佳。
(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择折半系数;操作如下图:

SPSSAU输出折半信度分析结果如下:

  1. Cronbach α系数:折半信度会同时输出Cronbach α系数,可以简要描述即可。

  2. 折半系数(等长&等长):如果说测量题数量为偶数,则刚好两部分题项数量相等,反之则不相等。分析时需要结合两部分题项是否相等,查看对应的折半系数。

  3. Guttman Split-Half系数:有时候还可以直接使用Guttman Split-Half 系数衡量信度质量,但此类情况较少,更多关注于折半系数。

3、McDonald 's ω信度系数

McDonald's ω信度系数的计算原理是利用因子分析浓缩信息,然后得到loading载荷系数值,进而计算。他考虑了各项指标的载荷以及测量误差的方差,与Cronbach α系数相比,McDonald's ω系数可以更准确地估计总体的可靠性,提供了一种更严格的内在信度估计方法。
(1)计算公式

McDonald's ω信度系数的计算公式如下:

式中,loading为载荷系数值,uniqueness为1-loading^2。

从上式可知,loading值整体绝对值越大时,McDonald's ω信度系数值也会越高。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。如果McDonald's ω系数值介于0.7~0.8之间,则说明信度较好;如果McDonald's ω系数值介于0.6~0.7,则说明信度可接受;如果McDonald's ω系数值小于0.6,说明信度不佳。

(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择McDonald's ω系数。SPSSAU输出McDonald's ω信度系数分析结果如下:

  1. 项已删除的McDonald's ω系数:如果“项已删除的McDonald Omega信度系数”值明显高于McDonald Omega信度系数,此时可考虑对将该项进行删除后重新分析。

4、theta系数


(1)计算公式

theta系数计算公式如下:

式中,N为分析项个数入为最大特征根值。从上式可以看到,当分析项个数越多时,theta信度系数很可能会越大,而且最大特征根越大,theta信度系数值也会越大。

(2)评价标准

其判断标准可参考α信度系数的衡量标准。

(3)软件操作及指标解读

将数据上传至SPSSAU系统,在【问卷研究】模块选择【信度】,具体选择theta系数。SPSSAU输出theta信度系数分析结果如下:

  1. 项已删除的theta系数:如果“项已删除的theta信度系数”值明显高于theta信度系数,此时可考虑对将该项进行删除后重新分析。

5、重测信度

重测信度,又称再测信度、稳定性系数,应用同一测验方法,对同一组被试者先后两次进行测查,然后计算两次测查所得分数的关系系数。该信度能表示两次测试结果有无变动,反映了测验分数的稳定程度。

  1. 计算公式

重测信度通常使用Pearson相关系数计算:

式中x和x一bar是第一次测量的实得分及实得分的平均值,y和y一bar是第二次测量的实得分及实得分的平均值。
重测信度用重测相关系数来表示,相关系数越趋近于1,则重测信度越高。

  1. 软件操作

重测信度使用相关分析进行,具体操作可查看下方相关分析帮助手册:
相关分析帮助手册

二、效度分析

效度主要评价量表的准确度、有效性和正确性,即量表是否真正反映了我们希望测量的东西。效度用于反映实际测量结果与预想结果的符合程度,由于无法确定目标的真实值,因此效度的评价比较复杂,常常需要与外部标准作比较才能判断。一般来讲,有4种类型的效度:内容效度、结构效度、区分效度、聚合效度。接下来,分别进行介绍。

1、内容效度

内容效度分析是指问卷题对相关概念测量的适用性情况,即题项设计的是否合理。内容效度通常使用文字叙述形式对问卷的合理性、科学性进行说明。
在具体分析过程中,通常内容效度分析主要描述问卷中测量量表题有着严谨的参考依据,问卷设计是否得到专家的认可、是否对问卷进行修正等。在问卷研究过程中,一般需要对内容效度进行说明。

2、结构效度


(1)概念

结构效度指题项与变量之间的对应关系。通常使用探索性因子分析(EFA)进行验证,如果输出结果显示题项与变量对应关系基本与预期一致,则说明结构效度良好。


(2)分析步骤

第一:首先分析KMO值;如果此值高于0.8,则说明研究数据非常适合提取信息(从侧面反应出效度很好);如果此值介于0.7~0.8之间,则说明研究数据适合提取信息(从侧面反映出效度较好);如果此值介于0.6~0.7,则说明研究数据比较适合提取信息(从侧面反映出效度一般),如果此值小于0.6,说明数据不适合提取信息(从侧面反映出效度一般)(如果仅两个题;则KMO无论如何均为0.5);

第二:接着分析题项与因子的对应关系;如果对应关系与研究心理预期基本一致,则说明效度良好;

第三:如果效度不佳;或者因子与题项对应关系与预期严重不符,也或者某分析项对应的共同度值低于0.4(有时以0.5为标准);则可考虑对题项进行删除;

第四:删除题项共有常见标准;一是共同度值低于0.4(有时以0.5为标准);二是分析项与因子对应关系出现严重偏差;

第五:重复上述1~4共4个步骤;直至KMO达标;以及题项与因子对应关系与预期基本吻合,最终说明效度良好;

第六:对分析进行总结。


(3)操作

将数据上传至SPSSAU系统,在【问卷研究】模块选择【效度】,将所有题项拖拽到右侧分析框,选择维度,操作如下图:

3、区分效度

(1)概念

区分效度(又称判别效度、区别效度),其实质也是一种结构效度。区分效度强调本不应该在同一因子的测量项,确实不在同一因子下面。比如说,测量项A1和B1分别测量两个属性,应该分属于因子A和因子B中,如果确实是这样,那么说明区分效度很高;但是如果二者属于同一因子下,则说明区分效度不明显,量表设计的不好。

(2)操作

区分效度与聚合效度都使用验证性因子分析进行研究,上传数据后,将题项按维度分析放入右侧分析框中,编辑“因子名称”,操作如下图:

(3)检验方法

区分效度常用的有3类检验方法:AVE平方根判断法、HTMT法、MSV和ASV法。接下来将分别进行介绍。

  1. AVE平方根判断法

AVE平方根值可表示因子的‘聚合性’,相关系数表示相关关系,如果因子‘聚合性’很强(明显强于与其它因子间的相关系数绝对值),则能说明具有区分效度;当每个因子的AVE平方根值均大于“该因子与其他因子的相关系数的最大值”,此时说明具有良好的区分效度
计算公式:AVE值=Average(loading平方然后求和),loading值为标准化载荷系数


分析上表:针对因子A,其AVE平方根值为0.7782,大于因子间相关系数绝对值的最大值0.7341,意味着其具有良好的区分效度。同理分析因子B、C、D都具有良好的区分效度。

  1. HTMT法

HTMT(heterotrait-monotrait ratio)异质-单质比率,也就是特质间相关与特质内相关的比率。他是不同构面间指标相关的均值相对于相同构面间指标相关的均值乘积的开方的比值。如果HTMT值小于0.85(有时以0.9作为标准),则说明该两因子之间具有区分效度

分析上表:从HTMT分析结果来看,所有的HTMT值均小于0.85,意味着因子之间均有良好的区分度,量表的区分效度良好。

  1. MSV和ASV法

MSV(Maximum Shared Variance)最大共同方差和ASV(Average Shared Variance)平均共同方差,这两个指标也可用于区分效度判断;当MSV值小于AVE的值,并且ASV值小于AVE值则说明具有区分效度

从上表可以看出,大部分因子的MSV值和ASV值都不小于AVE值,说明因子之间的区分效度并不好,进而量表的区分效度也比较差。
注意:不同的区分效度检验方法得到的检验结果可能不同。例如上述例题中三种检验区分效度的方式,得到的检验结果就不相同。此时,一般情况下只要有一种检验方式能够说明量表的区分效度良好,就可以认为量表有比较好的区分效度了。并不要求每种检验方式都要通过,才能认为区分效度良好。

4、聚合效度


(1)概念

聚合效度(convergent validity),又称收敛效度,是指测量同一变量的测量项会落在同一因子上,强调本应该在同一因子下的测量项,确实在同一因子下。即一个变量的测量题项之间要高度相关。从题项角度讲,聚合效度是维度内所有题项相关性要高。进行聚合效度分析的主要目的在于检验同一变量的各指标之间的相关程度。
(2)检验方法

聚合效度常用的有2种检验方法:①标准载荷系数值均大于0.7为佳,0.5以上也可以接受;②AVE和CR指标,通常情况下AVE大于0.5且CR值大于0.7,说明聚合效度较高。

  1. 标准载荷系数

因子载荷系数值的统计意义就是变量i与公共因子j的相关系数(程度),范围为[-1,1],绝对值越接近1,说明变量与公共因子的关系越密切。
标准载荷系数是指经过标准化处理的因子载荷系数。验证性因子分析使用标准载荷系数判断聚合效度。各个测量项的标准载荷系数值大于0.7,说明量表的聚合效度好,或者放宽要求在0.5以上也能接受(社会学科研究编制的量表因子载荷量都不会太高)。


分析上表:标准载荷系数值除D3外,均在0.7,以上,说明该量表的聚合效度较高。

  1. AVE和CR指标

AVE平均方差萃取(Average Variances Extracted),AVE值= Average(loading平方然后求和),loading值为标准化载荷系数。从公式不难看出,当loading值(标准载荷系数)越大时,AVE值越大,聚合效度越高,一般AVE值大于0.5为好。
CR组合信度(composite reliability),CR值=Sum(loading)^2 / [sum(loading)^2 + sum(e)],e为残差标准载荷系数。从公式依旧可以看出,当标准载荷系数越大时,CR值越大,聚合效度越高,一般CR值大于0.7为好。
综上,当AVE值大于0.5,且CR值大于0.7时,量表的聚合效度较高。


分析上表:本例中4个因子的平均方差萃取AVE值均大于0.5,且组合信度CR值均大于0.7,说明本次分析的量表数据具有良好的聚合效度。

举报/反馈

SPSSAU

1.5万获赞 1.3万粉丝
SPSSAU 数据科学 一点就好
SPSSAU官方账号,优质教育领域创作者
关注
0
0
收藏
分享