【警告参与者粗心填答将招致惩罚，你收回来的问卷会更靠谱、更有效吗？[并不简单]】
问卷调查是一种廉价而方便的研究方法，但填问卷的人真的会认真思考问卷上的问题吗？出于对此的疑虑，一些研究者会在问卷中警告他们的参与者：问卷嵌入了能够检测出粗心回应的方法，一旦查出，立即取消报酬。这种手段能够改善信效度吗？

美国期刊《商业与心理学杂志》刊登了美国一家商业公司等机构研究者的一项研究，他们对美国581名参与者开展了2个随机化实验。这些参与者不仅需要评价自己的人格，还需要邀请熟人来评价他们的人格。

这些参与者被随机分为3组：没有警告；警告粗心反应会被监控，但未提惩罚；警告粗心反应会被监控，且将导致报酬被取消。

结果发现：

①有警告 vs. 没警告，7个「粗心填答」指标均无显著差异：对罕见事件的同意程度（例如报告自己去过世界上所有国家）；要求参与者直接勾选特定选项；页面停留时长；近义条目的关联；反义条目的关联；马氏距离；个体内部反应变异性。

②在线样本中，对于「外向」测量，带有惩罚的警告导致问卷信度（克隆巴赫α）显著降低。

在线样本中，对于「尽责」测量，不带惩罚的警告导致问卷信度显著降低。

对于宜人、情绪稳定、经验开放的测量信度，警告没有显著影响。学生样本中，对于所有5个维度的信度，警告与不警告均无显著差异。

③对于大五人格的每个维度，参与者自评的分数均与熟人评价的分数显著正相关；然而，无论何种警告均无法显著影响熟人评分、也无法显著调节自评与熟人评分之间的关联。

④研究者还选取了既往文献证实的4对关系（外向–生活满意、情绪稳定–生活满意、宜人–人际冲突、尽责–任务绩效）以检验效标关联效度。

结果显示，有警告 vs. 没警告，4对关系的关联程度几乎都没有显著差异，除了1个例外：仅在学生样本中，警告使得尽责程度对任务绩效的预测作用显著变强。

研究者指出，这些结果令人们有理由质疑在问卷中插入此类警告的有效性。警告粗心反应会被监控，并未显著减少粗心填答、改善收敛效度或效标关联效度，且在一些情况下还可能破坏测量信度。作者认为，除非开发出新的形式，否则几乎没有理由继续使用当前形式的警告手段。

来源：Roebke, M. A., Bowling, N. A., & Burns, G. N. (2026). The effects of careless responding warnings on the construct validity of self-report measures. Journal of Business and Psychology, 41(2), 265–283. doi: 10.1007/s10869-025-10055-2