问卷信效度分析的步骤
读书爱摘录2020-09-24 14:45
问卷设计是科研工作中的常见问题，如何设计出高信效度问卷，台湾学者吴明隆给出了很好的答案。
第一步 编拟预试问卷
在预试问卷的编制或修订上，应根据研究目的、相关文献数据与研究结构等方面加以考虑，如果有类似的研究工具，可根据研究当时的实际情形，加以修订、增删；如果是自己重新编制问卷，问卷内容应依据研究结构的层面，加以编制。
在编制问卷时应注意：
1．如果问卷的题项内容过于敏感，应在问卷中穿插数题“测谎题”，以探知填答者是否据实填答。
2．态度量表通常采用的是李克特式量表（Likert-type Scale）法，量表填答方式以4 点量表法至6 点量表法，最为多人或研究者所采用。
应采用几点量表法，学者Berdie(1994 ）根据研究经验，综合提出以下参考：
1.在大多数的情况下，5 点量表(points)是最可靠的，选项超过5 点，一般人难有足够的辨别力。
2.3点量表限制了温和意见与强烈意见的表达，五点量表则正好可以表示温和意见与强烈意见之间的区别。
3．由于人口变量的异质性关系，对于没有足够辨别力的人而言，使用7 点量表法，会导致信度的丧失；对于具有足够辨别力的人而言，使用5 点量表，又令人有受限的不适感。
4．量表的点数愈多，选答分布的情形就愈广，变异数也会变得更大，有些人认为这种情形在统计检验上会具有很好的区别力，然而，(1)．这种选答很广的分布缺乏可信度，故完全没有意义；(2)．较大的选答变异数，表示也会有较大的抽样误差，就统计数据分析的意义而占，是不该有太大的变异数的（彭仁信）。
李克特式量表法，重视其“内在一致性程度”，这是量表题项两两之间关系强度的函数，也是题项与潜在变量间的关系指针，函数值大小与题项数多寡有密切关系，题项数愈多，愈有可能涵括所要测量的潜在变量：不过，题项数过多，在实际研究情境中多数会有实际的困难，如受试者时问不允许或造成填答者不用心作答等。
学者DoVellis, (1991)对于预试问卷题项数提出以下两点看法，可作为研究者参考：
1．如果研究者是编制或发展一个正式的测验或量表，作为其它心理测量之用，则预试题项数最好是将来所需正式题项总数的3～4倍。
2．在某些特定内容范围中，有些量表题项的发展不容易，或先前相关的研究显示，这些设想不需要过多的题项即可获得良好的内在一致性，预试量表的题项数约为正式量表题项数的l.5倍即可，如正式量表题项数预计在20 题附近，则须试问卷时，其预试题项数大约为30 题。
第二步 预试
预试问卷编拟完后，应实施预试，预试对象的性质应与将来正式问卷要抽取的对象性质相同，预试对象人数以问卷中包括最多题项之“分量表”的3～5 倍人数为原则
如调查预试问卷中，包括三种分量表．每种分量表包含的题项分别为40 题、35 题、25 题，则预试对象，最好在120 位至200 位中间，如果样本较为特殊，在预试人数的选取上可考虑再酌减一些。
预试时选取样本数应该多大最为适宜？应考虑问卷量表是否进行因素分析。因为因素分析时，以较大样本分析所呈现的因素组型（factor pattern），比一个只用较小样本所出现的因素组型，要来得稳定。
进行因素分析时，量表的题项数愈多及预期要有较多的因素层面的话，应包括愈多的受试者（DeVellis）。
进行因素分析时，学者Tinsley 和Tinsley ( 1987 ）建议，进行因索分析时，每个题项数与预试样本数的比例大约为1:1 至1:10 之间，如果受试者总数在300 人以上时，这个比例便不是那么重要。
Comrey ( 1958 ）提出，如果量表的题项数少于40题，中等样本数约是150 位，较佳的样本数是200位，
第三步 整理问卷与编号
问卷回收后，应一份一份检查筛选，对于数据不全或不诚实填答之间卷，应考虑将之删除；
对于填答时皆填同一性答案者，是否删除，研究者应考虑问卷题项本身的内容与描述，自行审慎判断。
筛选完后的问卷应加以编号，以便将来核对数据之用；之后再给予各变量、各题项一个不同代码，并依问卷内容，有顺序的键入计算机。
第四步 项目分析
项目分析即在求出每一个题项的“临界比率”(critical ratio；简称CR值），其求法是将所有受试者在预试量表的得分总和依高低排列，得分前25％至33％者为高分组，得分后25% 至33％者为低分组，求出高低二组受试者在每题得分平均数差异的显著性检验（多数数据分析时，均以测验总分最高的27％及最低的27% ，作为高低分组界限），如果题项的CR 值达显者水准（a＜0.05或＜0.01 )，即表示这个题项能鉴别不同受试者的反应程度。
第五步 因素分析
项目分析完后，为检验量表的结构有效度（construct validity)，应进行因素分析。
结构效度系指态度量表能恻量理论的概念或特质之程度。因素分析目的即在找出量表潜在的结构，减少题项的数目，使之变为一组较少而彼此相关较大的变量，此种因素分析方法，是一种“探索性的因素分析”（exploratory factor analysis）。
在因素分析时，一项重要工作是要保留多少个共同因素，在探索性因素分析中，常用的原则；
1．根据Kaiser的观点，保留特征值大于1 的因素，但此方法，题项如果太多，可能会抽出较多的共同因素。避免抽出过多的共同因素，研究者也可限定因素抽取的数目，但此方面通常多用于“验证性因素分析”上面，
2．根据陡坡图（steep Plot ）因素变异量递减情形来决定。在陡坡图中，如果因素变异量图形呈现由斜坡转为平坦，平坦状态以后的共同因素可以去掉。
在统计分析中，因素层面是否加以限制，或由电脑自行抽取，研究者均要自行考虑
如先在题项编制时，研究者己确定量表的层面数，在统计分析时可限定因素抽取的数。
在实际教育研究中，量表有效性建构有时需要进行2 -3 次因素分析，因为部份量表在第一次因素分析时，因素层面所涵括的题项内容差异太大，纳入同一层面，解释较不合理，因而可能需要删除部份题项，由于删除了题项，量表的效度要再重新建构。
如果量表不采用结构效度检验方法，研究者亦可考虑采用其它效度分析法，如“内容效率”（content validity）、“专家效度”、“效标关联效度”等。
第六步 信度分析
因素分析完后，继续要进行分析的是量表各层面与总量表的信度检验。所谓信度( reliability )，就是量表的可靠性或稳定性，在态度量表法常用检验信度的方法为L .J. Cronbach 所创的a 系数，其公式为：
其中K 为量表所包括的总题数。
S2为测验量表总分的变异星。
S21为每个测验题项总分的变异量。
a系数值界位于0-l之间 , a 出现O 或l 两个极端值的概率甚低，但究竟a 系数要多大，才算有高的信度，不同的方法论学者对此看法，也未尽相同。
学者Nonnal1y ( l978 ）认为a系数值等于0.70 是一个较低，但可以接受的量表边界值;
学者DeVellis( l99l ）认为：系数值如果在O .60 -0.65 之间最好不要；。系数值界于0.6-0.70 之间是最小可接受值；a 系数值界于在0 .70 -0.80 之间相当好；系数值界于在0 .80-0.90 之间非常好。
求出量表的折半信度（split-half reliability) ，所谓折半信度是将量表的题目分成两半分，根据受试者在两半题项上所
第七步 再测信度
如果要继续求出量表的再测信度（test-retest reliability) ，要以正式量表对同一组受试者前后测验两次，根据受试者前后两次测验分数得分，求其积差相关系数。再测信度又称稳定系数（coefficient of stability〕，反应量表的稳定与一致性程度，一般而言，间隔时间愈长，稳定系数愈低。
至于最后定稿的正式量表题项数，应该为多少题最为适宜，实无一定而绝对的标准，就一般情形而论，若该份量表是测量一种“普遍的”或多重向度的变量，其题数在20-25 题，即己足够；若要测量的是特定的变量，以7-10 题为宜：若每个量表包括不同因素层面之子量表时，每个子量表（因素层而）所包括的题项以3-7 题较为适宜。
量表题项数的多少，应考虑实际研究脉络，如一份问卷共使用了几种量表，受试对象的年龄与身心成熟度如何、受试者的时间是否许可等因素，兹将以上量表编制建构的流程。
量表编制流程图—节选自《SPSS统计应用实务》吴明隆编著—北京：科学出版社，2003
举报/反馈
0
0
收藏
分享
