“研究发现脸越宽越强势”“实验表明笑得越多越好看”“某比例达到显著差异”。这些句子看起来都在引用科学,却可能来自完全不同的证据:十几名观察者看了四张精挑照片,一千名在线用户看了同一组生成脸,或临床前后照片被不同人评分。只看标题和 p < .05,很难知道结论能走多远。
面孔知觉研究还有一个特别容易被忽略的结构:研究既抽样观察者,也抽样被观察的脸。参与者再多,如果目标只有两张脸,结果可能只是那两张照片的故事;目标很多,如果所有参与者来自同一小群体,结论又未必能推广到其他观察者。
此外,一张脸同时包含形状、肤色、表情、年龄感、发型、光线与拍摄姿态。研究声称操纵其中一项时,其他项有没有跟着变化,决定了我们能否谈因果。统计显著只说明在模型假设下数据与某个零假设不太相容,不告诉我们差异是否大、是否稳定、是否值得现实应用。
本文提供一套可重复使用的阅读方法。核心不是把每位读者训练成统计学家,而是让一篇论文的主张经过六道门:问题是否明确、参与者是否适配、刺激是否代表、测量是否有效、分析是否匹配、外推是否克制。
先把论文结论写成一条完整证据链
一项研究至少包含六个环节:
- 研究问题:比较什么变量,要描述相关、预测还是因果。
- 观察者样本:谁来评价,来自何处,人数和排除规则是什么。
- 目标刺激:看了哪些脸,是照片、视频、生成脸还是三维扫描。
- 测量任务:问的是吸引、亲和、支配,还是实际选择与行为。
- 统计分析:以参与者、目标脸还是单次评分为单位,控制了什么。
- 结论范围:推广到哪些人、哪些脸、哪些情境和多长时间。
只要中间一步改变,最后一句都应变化。例如,“大学生对 20 张中性男性白人脸的支配评分与面宽相关”不能删去限定词,变成“脸宽决定领导力”。前句是特定刺激中的印象相关,后句跨到真实能力和所有人群,证据链已经断裂。
改写实例:把一条新闻标题还原成可检验结论
标题写“对称脸更受欢迎”。回到方法后发现,48 名参与者比较由 20 张原图制作的对称增强版本,任务是二选一吸引力。可核查结论应写:在该样本和所用图像处理条件中,参与者更常选择对称增强图为更有吸引力。
这仍是有意义的结果,但没有证明完全对称最好、没有测现实约会选择,也没有排除处理同时平滑纹理。限定词不是削弱科学,而是保存科学。

摘要适合导航,不适合完成判断
摘要通常只容纳研究目的、主要方法和最亮眼结果。它很少完整报告刺激筛选、所有排除、量表原文、模型随机效应和稳健性分析。媒体报道再压缩一次,边界更容易消失。
阅读顺序可以先用摘要定位,再跳到方法中的参与者、刺激和任务;随后看主要图表与结果,最后读讨论中的限制。若文章要支持医疗、招聘或真实人格主张,还应查看补充材料、数据与预注册。
不要只按论文叙述顺序被带着走。先自己写下“作者到底比较了什么”,再看每个分析是否回答该问题,能更快发现主张与操作不一致。
观察者样本:人数之外还要看谁被代表
参与者人数重要,但不是唯一质量指标。50 名经过明确筛选、每人完成平衡任务的观察者,可能比 500 名注意力检查失败率很高、设备混乱的样本更可解释。要记录招募平台、国家与语言、年龄范围、性别构成、视力条件、熟悉度和排除比例。
便利样本不等于无效。大学生样本可以回答“这批大学生怎样评价”,问题出在把它写成“人类普遍如此”。在线平台扩大规模,也可能集中于熟悉网络任务、教育程度较高的用户;多人来自同一国家,不自动形成文化代表性。
还要看每名参与者评价多少张脸、是否重复看到同一身份、任务是否过长。连续评价几百张脸可能出现疲劳和量表重标;每人只看几张,则个体评分不够稳定。参与者数量与每人试次数共同决定精度。
样本实例:1000 人每人看 1 张,为什么未必胜过 100 人每人看 40 张?
前者有很多独立观察者,却无法估计每个人的评分基线,也难分析同一观察者如何比较不同刺激;后者有重复测量,可以分开观察者差异与目标差异。哪种更好取决于问题。
若研究只比较总体点击率,前者可能合适;若要拆分谁在看和看哪张脸的贡献,交叉重复设计更有力。不能只拿总评分次数比大小。

目标脸也是样本,不是实验道具
研究者常认真计算需要多少参与者,却随手从数据库挑几张“看起来合适”的脸。目标脸如果是理论上更大人群的代表,就必须问它们怎样被选择,覆盖哪些性别、年龄、族群、表情和图像条件。
如果结论声称适用于自然面孔,刺激却全是计算机平均脸,外推就需要验证;如果研究声称某个局部线索有效,刺激中该线索恰好与年龄或表情共同变化,关联不能只归给局部。
最危险的是按结果挑刺激:先从大量照片中选出“最可信”和“最不可信”各三张,再用新样本证明两组有差异。新参与者避免了评分者重复,却没有验证特征在未筛选的新脸上是否仍预测结果。
身份数、图片数和变形档位必须分开计数
论文写“使用 300 个面孔刺激”,可能是 300 个不同身份,也可能是 10 个人各 30 张照片,或一张基础脸生成 300 个参数档位。三种设计的数据点看似相同,能推广的对象完全不同。
若问题是同一个人在不同照片中的印象变化,多图少身份可以提供细致的身份内比较;若问题是某种线索能否推广到一般面孔,就需要更多独立身份。把一个身份制作成很多档位,会精确描绘这张基础脸的曲线,却不会自动增加身份层证据。
同一身份的多张图也不是彼此独立。它们共享结构、肤色和许多身份特征,模型应把图片嵌套于身份,或明确只对这些图片作结论。若 20 个身份各有 10 张照片,不能在目标层写成 200 个独立的人。
生成脸还要追问“种子”数量。模型从一个平均脸沿参数轴生成 50 档,与从 50 个独立种子各生成两个条件不同。后者才能估计操纵是否在多种基础形态上稳定。
计数实例:500 张图为什么可能只有 5 个目标样本?
研究拍摄 5 个人每人 100 帧视频,再把每帧当作目标观察,得到 500 张图。帧可以帮助研究表情时间变化,却仍只有 5 个身份。如果标题说“500 人的脸显示某规律”,就是把图片单位冒充人物单位。
阅读方法表时,应分别写 观察者 N、目标身份 N、每身份图片数 和 生成条件数。四个数字缺一,样本规模就容易被误读。

研究案例一:为什么要把参与者和刺激都当作随机来源?
Judd、Westfall 与 Kenny 指出,社会和认知实验常让多名参与者回应一组刺激,却只把参与者差异放进统计模型,隐含地把所用刺激当成固定全集。他们用交叉随机效应混合模型说明,忽略刺激变异会低估不确定性并提高假阳性风险。论文 DOI:10.1037/a0028347
面孔研究正是典型场景:观察者 A、B、C 都评价目标脸 1、2、3。评分既因观察者严宽不同,也因目标脸不同;某项操纵还可能只对部分目标有效。模型若只有参与者随机截距,就假设结论只需对这几张脸成立,却常在文字中推广到“面孔”。
交叉模型通常至少考虑观察者和目标刺激的随机截距;设计允许时,还考虑操纵效应在观察者或目标间的随机斜率。具体模型应与抽样和外推意图匹配,不是随机项越多越高级。
双重样本实例:一张脸如何制造“显著的组别效应”?
研究选 5 张 A 组脸和 5 张 B 组脸,恰好 A 组中有一张自然微笑,B 组全为严格中性。200 名参与者都看这 10 张图,A 组平均亲和更高。把 200 人当成 200 次独立证据,会让标准误很小;实际组别差异可能主要由一张目标驱动。
在目标层检查逐脸结果、把脸作为随机因子,或换一批目标复现,才知道效应能否推广到组别,而不是这一组图片。

研究案例二:参与者和刺激数量如何共同决定统计功效?
Westfall、Kenny 与 Judd 系统分析参与者样本和刺激样本同时存在时的功效与设计。增加参与者可以减少观察者抽样误差,增加刺激则减少目标抽样误差;当效应在不同脸之间变化很大时,只堆参与者会很快遇到收益上限。论文 DOI:10.1037/xge0000014
这解释了一个常见错觉:一万名用户评价两张头像,能非常精确地说明这两张图的差异,却不一定能说明“微笑头像”总体优于“中性头像”。若两张图还属于不同的人,身份差异与表情差异完全混杂。
设计阶段应同时规划观察者数、目标身份数、每个身份的条件数和每名观察者的试次数。最优组合取决于各层方差与成本,不能套用“每组 30 人”或“越多人越好”。
如何判断刺激操纵是否真的只改了一个变量?
先看操纵方式。镜像生成对称脸可能同时平滑纹理;拉宽下颌可能改变面宽、脸长感和男性化;增加露齿量可能连带改变嘴角、唇形和笑容强度。软件参数只有一个,不代表知觉变化只有一个。
其次看操纵检查。独立样本是否确认目标变量确实变化?是否也评价潜在混杂,如年龄感、表情强度、自然度和吸引力?如果处理让图片明显不自然,评分变化可能来自异常感。
最后看身份复制。同一操纵应应用到多名目标,并检查方向是否一致。只在一张基础脸上制作十档变形,档位很多,独立目标仍只有一个。
操纵实例:把嘴角上移,测到的是亲和还是微笑?
研究者把中性脸嘴角上移,发现亲和评分提高。如果论文结论是“嘴角位置影响亲和印象”,证据基本匹配;若写成“天生嘴角上扬的人性格更亲切”,就把短暂表情样线索变成了结构与人格。
还应让另一批观察者评价笑容强度与自然度。若两项同时提高,机制更可能是情绪过度泛化,而不是单独的口角几何规律。

测量稳定,不代表测到了作者声称的东西
评分信度回答“重复测量是否相对一致”。一组观察者对同一批脸的亲和排序很接近,或同一观察者隔周评分相似,说明测量噪声较小。但高信度不证明量表测的是现实亲和人格,也不证明一个词在所有参与者心中含义相同。
构念效度要看任务是否真正对应理论概念。“你觉得此人可信吗”测外观可信印象;“你愿意把 10 元交给此人吗”加入风险和个人选择;目标随后在博弈中的返还金额才是一种行为指标。三者可以相关,但不能互相改名。
量表若由多个项目组成,还应看项目内容而非只看内部一致性。把“友善、温暖、好看”放在同一量表,可能得到很高一致性,却把亲和与吸引混在一起。因子分析能描述项目关系,仍需理论解释和新样本验证。
信度实例:大家一致觉得一张脸“可靠”,为何仍可能全部判断错?
观察者共享相似的表情刻板线索,因此评分高度一致。若目标人物真实行为与该线索无关,共识只是大家共同使用同一规则,不是共同接近事实。
研究若只报告评分者一致度,可以讨论社会知觉共识;要讨论准确性,必须把评分与独立、可靠、和评价时间对应的真实标准比较。

相关、预测和因果是三种不同主张
自然照片中面宽与支配评分相关,属于相关。用一批脸训练模型、在保留的新脸上预测评分,属于样本外预测。随机操纵同一身份的面宽并使支配评分改变,才更接近该图像变化对印象的因果效应。
即使第三种成立,也只证明图像操纵改变观察者评分,不证明目标人物真实支配行为改变。要谈行为,需要独立行为指标;要谈长期人格,需要可靠的纵向或多来源测量。
读论文时圈出动词很有用:associated with、predicted、caused、mediated 和 accurately detected 证据要求逐级增加。新闻标题常把第一个动词偷偷换成最后一个。
分析单位错了,会出现“伪重复”
一项实验有 80 名观察者、40 张脸,每人评价全部刺激,共得到 3200 条评分。n = 3200 是观测行数,不是 3200 个相互独立的人,也不是 3200 张独立脸。若把每行放进普通回归而忽略聚类,标准误往往过小。
聚合到每位观察者一个均值可以处理部分重复,却丢失目标差异;聚合到每张脸一个均值又丢失观察者差异。交叉混合模型利用单次评分,同时明确它们共享观察者和目标。研究问题不同,也可以先按预定单位聚合,但必须让推断单位与结论一致。
还有身份内伪重复:同一人 20 张照片不等于 20 个独立目标;双眼、左右脸或多个测量点也不能都当独立人。临床前后照更是配对数据,不能当两组陌生人比较。
表格实例:论文写“共获得 12 万次评分”说明了什么?
它说明数据量和任务负担,却不直接说明有效样本。12 万次可能来自 30 人反复评价 4000 次,也可能来自 12 万人各评价一次。前者适合精细研究少数观察者的过程,后者适合估计人群平均,二者不能只凭行数比较证据强弱。
读者应寻找参与者、身份、图片、条件和站点各层数量,以及模型怎样处理这些层级。

研究案例三:效应量为什么比“显著”更接近实际问题?
Lakens 的实用指南说明,效应量用于表达差异或关联的大小,也让后续功效分析和元分析能够累积证据;不同设计中的 Cohen's d、相关系数和方差解释量需要按对应公式计算,不能混用。论文 DOI:10.3389/fpsyg.2013.00863
p < .05 不表示效果大于 5%,也不表示重复成功概率为 95%。样本足够大时,量表上 0.05 分的差异也可能显著;样本很小时,现实上值得重视的差异又可能没有达到阈值。
效应量也不能孤立解释。标准化效应会受样本变异影响,相关系数不直接给出量表上的变化,平均差可能掩盖分布重叠。最好同时查看原始尺度差异、标准化效应、置信区间和数据分布。
效应实例:7 分量表相差 0.2,算不算“明显改变”?
若两条件平均为 4.0 和 4.2,p = .001,可以说有统计证据支持均值差异;是否明显要看标准差、区间、个体重叠和实际用途。若 90% 的评分仍落在相同范围,肉眼或现实决策未必可感。
文章应写出 0.2 分、效应量及区间,而不是用“显著提升”让读者自行想象幅度。

怎样理解置信区间和不确定性?
点估计是当前数据下的一个最佳摘要,置信区间表达在既定方法和假设下估计精度。区间很宽,说明数据同时兼容较小和较大的效应;区间跨过零,不等于证明没有效应,只表示当前设计未排除零附近结果。
反过来,区间完全在零一侧,也不保证应用价值。若所有兼容值都很小,结果可能稳定但无实务意义。研究若预先定义“最小值得关注效应”,读者就能判断区间是否排除了有意义范围。
面孔研究还应给目标层的不确定性。仅画参与者均值的标准误,可能看起来极窄,却不反映换一批脸后的波动。
P 值到底回答什么,不回答什么?
美国统计协会声明强调,P 值衡量在指定统计模型下数据与假设的不相容程度;它不测假设为真的概率,不测效应大小,也不应由某个阈值单独决定科学结论。论文 DOI:10.1080/00031305.2016.1154108
看到 p = .049 和 p = .051,不应把前者叫存在、后者叫不存在。两者提供的连续证据几乎相同。更应该比较估计值、区间、设计质量、先验计划和其他研究。
“不显著”也不能证明两个脸型完全相同。等效性问题需要定义可忽略范围,并用相应检验或区间判断数据是否排除值得关注的差异。
研究案例四:灵活分析如何制造看起来可信的阳性结果?
Simmons、Nelson 与 Simonsohn 通过模拟和实验展示,当研究者可在收集过程中决定何时停止、选择哪些因变量、是否加入协变量、报告哪些条件时,即使每一步看似合理,假阳性率也会明显上升。论文 DOI:10.1177/0956797611417632
面孔数据尤其提供很多选择:可信、亲和、支配、能力、吸引可分别测试;面宽可用多种定义;异常脸可按不同阈值剔除;男性、女性和不同族群可拆分。若只报告最终显著组合,读者看不到研究者走过的其他路径。
多重比较校正能处理明确列出的许多检验,却无法完全修复未公开的选择。最重要的是透明:哪些假设和分析在看数据前确定,哪些是探索,全部结果在哪里。
多重比较实例:20 个特征里出现 1 个显著,为什么要谨慎?
若每个无效检验都以 5% 阈值判断,做 20 个独立检验时至少出现一个偶然阳性的概率远高于 5%。现实检验彼此相关,精确概率会变,但“挑中一个”仍不能当独立强证据。
探索可以用来提出新假设,下一批参与者和新一批脸上的确认性复现,才决定它是否稳定。

预注册能解决什么,不能解决什么?
Nosek、Ebersole、DeHaven 与 Mellor把预注册概括为在观察结果前写下研究计划,以区分确认性检验与数据驱动探索;注册报告还可让同行在结果未知时评审问题和方法。论文 DOI:10.1073/pnas.1708274114
预注册能约束事后改假设、选择性报告和随结果停止收集,但不会自动让刺激有代表性、量表有效或理论正确。一份含糊计划也可能留下大量自由度;合理偏离计划并非错误,只要说明原因和时间。
阅读时查看注册日期是否早于数据、主要结局与样本量是否明确、最终分析有哪些偏离。把探索标成探索,不会降低它的价值;把探索伪装成预言,才会夸大证据。
复现失败是否说明原研究完全错误?
开放科学合作组对 100 项心理学结果进行重复研究,发现复现研究的效应总体比原始报告更小,达到传统显著阈值的比例也降低。论文 DOI:10.1126/science.aac4716
单次复现失败可能来自原效应被高估、样本和刺激变化、操作不等价或统计功效不足。它既不是自动宣判造假,也不能被一句“文化不同”随意挡回去。应比较效应方向、区间、设计忠实度和多项研究的累积结果。
对面孔知觉来说,换一批脸的复现和换一批观察者的复现同样重要。只换参与者、沿用同一刺激,主要检验观察者抽样;换目标身份则检验刺激推广。
多篇论文放在一起,也要检查是否真的独立
元分析把多个效应量汇总,可以提高精度并估计研究间差异。但如果多篇论文使用同一数据库、同一观察者样本或同一目标照片,效应并非完全独立。把共享数据当作多次新证据,会让置信看起来过强。
发表偏差也会改变文献全貌。小样本中只有结果大且显著的研究更容易出现于期刊,已发表效应可能系统性偏大;同一团队尝试多种脸型指标,只发表成功的一项,也会造成选择。漏斗图和偏差模型能提供线索,却不能从不完整文献中恢复所有真相。
异质性不是麻烦数字,而是问题入口。如果不同研究效果差很多,应检查目标年龄、性别、族群、照片自然度、评价词与分析模型,而不是只追求一个总平均。一个小而稳定的总体效应,可能由某些条件下正、另一些条件下零甚至反向组成。
综述实例:五篇都支持面宽效应,为什么仍要查刺激来源?
五篇论文看似独立,实际三篇复用了同一个男性头像库,两篇用了同一公开评分的不同分析。观察者和分析变化了,目标身份证据却只有两套。
可靠综述会建立数据血缘表,标出共享数据库、共享参与者和二次分析,再决定如何处理依赖效应。文献篇数只是入口,不是独立证据数量。

外推危机:统计模型支持的范围可能比文字小
Yarkoni 指出,心理学的语言假设常说得宽,统计模型却只纳入参与者随机差异,忽略刺激、任务和研究地点等明显希望推广的来源,导致文字结论与统计支持不对齐。论文 DOI:10.1017/S0140525X20001685
一句“人们会把宽脸看作更支配”隐含推广到不同人、不同脸、不同测量和场景。若研究只在一个实验室、一个数据库、一个量表中完成,模型真正支持的范围窄得多。
解决办法不只是加入随机效应,还包括明确目标总体、系统变化刺激和任务、跨地点复制,并把结论写到证据实际覆盖的位置。
标准面孔数据库的常模能告诉我们什么?
Ma、Correll 与 Wittenbrink 发布 Chicago Face Database,提供标准化照片以及年龄、性别、族群识别和多项主观评分常模,帮助研究者选择刺激与比较既有评价。论文 DOI:10.3758/s13428-014-0532-5
常模的优点是拍摄条件一致、变量透明、可重复选取;缺点是数据库人群、年代和中性白底风格有限。常模中的“可信度”是当时样本的外观评分,不是模特真实可信行为,也不是所有文化中的永久分数。
研究使用常模选出高低组时,应避免循环:用同一评分既定义组别又声称发现组别评分差异,只是重述筛选规则。更有价值的是用独立任务、独立样本或新刺激检验理论预测。
数据库实例:常模 4.8 分为何不是这张脸的客观属性?
4.8 是特定观察者、特定量表和特定图片的汇总。换成同一人的另一张照片,或让另一文化样本评价,数值可能改变。它适合描述数据库里的刺激位置,不适合贴到真人档案上。
文章引用数据库常模时,应称“该照片在常模样本中的平均评分”,不要写“此人可信度 4.8”。
效应大小应该怎样转成日常语言?
Funder 与 Ozer 讨论心理学效应量时强调,小效应在重复发生或影响大量人时仍可能重要,大效应也需结合情境、成本和结果判断。论文 DOI:10.1177/2515245919847202
网站不该把小效应一律说成“没有用”,也不能把显著小效应包装成决定性规律。可用三问翻译:单次观察的差异有多大?个体分布重叠多少?在现实中会重复多少次、后果是什么?
例如头像使点击率从 10.0% 到 10.4%,个体层差异很小,大流量页面可能仍有运营意义;它依然不证明照片准确透露人格。实务价值与理论含义是两条判断线。
一篇面孔研究的十步检查表
| 步骤 | 要问的问题 | 常见警报 |
|---|---|---|
| 1 主张 | 描述、相关、预测还是因果 | 标题动词比设计更强 |
| 2 观察者 | 谁、多少、怎样排除 | 用便利样本代表所有人 |
| 3 目标脸 | 多少身份、哪些群体 | 多档变形却只有一个身份 |
| 4 图像 | 表情、光线、姿态是否一致 | 组别与拍摄风格绑定 |
| 5 操纵 | 是否只改变目标变量 | 没有自然度与混杂检查 |
| 6 任务 | 量表原文与现实结论是否一致 | 印象评分写成真实人格 |
| 7 分析单位 | 参与者和刺激是否都被建模 | 把每次评分当独立样本 |
| 8 结果 | 效应量、区间、分布是否齐全 | 只报告 P 值和显著 |
| 9 透明度 | 预注册、数据、偏离是否说明 | 多个结果只展示一个 |
| 10 外推 | 新人、新脸、新情境是否验证 | 从受控头像跳到人生判断 |
不必每篇都十项完美。检查表的用途是确定哪一项限制最影响当前结论,并让文章把限制写在对应主张旁边。
从论文到内容文章,建议做一张证据卡
证据卡可记录:完整 DOI、研究设计、观察者 N、目标身份数、每人试次数、刺激来源、核心任务、主要效应量与区间、随机效应、预注册、复现状态和一句外推边界。
若论文没有报告某项,就写“未报告”,不要自行补齐。若结果来自补充分析,标为探索;若只是相关,不在标题中改成因果。多篇研究支持同一方向时,也要检查它们是否反复使用同一个面孔库,避免把刺激重复当成独立证据。
编辑实例:三篇论文为什么可能只有一套刺激证据?
论文 A 发布一个数据库,论文 B 用其中 20 张脸研究可信,论文 C 再分析 B 的公开评分预测支配。文献数量是三篇,目标刺激和观察者数据却高度重叠。
综述应标出共享数据与刺激,不能把三篇当三次独立复现。真正的新证据需要新观察者、新目标或新任务中的至少一种变化,并说明变了什么。
本篇没有回答什么?
本文不是完整统计教材,没有教授混合模型代码、贝叶斯分析或元分析公式。它提供的是判断证据边界所需的阅读入口。
本文也没有规定统一的合格样本量。所需人数和脸数取决于设计、目标效应、方差、重复次数与外推范围;脱离这些条件给出固定数字会制造新的误导。
最后,检查表不能替代领域知识。面部解剖、图像生成和临床测量各有专门误差,后续专题仍需逐项核实。
最后:先问研究看了谁,也问研究给谁看
读面孔知觉论文,最有用的习惯是同时数两类样本:多少观察者,多少目标身份。再检查这些脸怎样拍、怎样改、问了什么、分析能否推广到没出现过的人和脸。
显著性只是一块信息。效应量告诉差异多大,区间告诉估计多精确,预注册帮助区分验证与探索,独立复现检验结果能否离开原样本。任何一项都不能单独保证结论真实,组合起来才形成可靠证据链。
当论文写“面孔特征影响印象”,我们应能补全一句:在什么观察者、什么目标、什么图片、什么任务和什么模型中,影响有多大。能补全,研究就真正被读懂;补不全,最诚实的动作是先保留判断,而不是让一句吸睛标题替数据走完剩下的路。
延伸阅读
参考来源
- Judd, C. M., Westfall, J., & Kenny, D. A. (2012). Treating stimuli as a random factor in social psychology: A new and comprehensive solution to a pervasive but largely ignored problem. Journal of Personality and Social Psychology, 103(1), 54–69. DOI: 10.1037/a0028347
- Westfall, J., Kenny, D. A., & Judd, C. M. (2014). Statistical power and optimal design in experiments in which samples of participants respond to samples of stimuli. Journal of Experimental Psychology: General, 143(5), 2020–2045. DOI: 10.1037/xge0000014
- Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. DOI: 10.3389/fpsyg.2013.00863
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. DOI: 10.1080/00031305.2016.1154108
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. DOI: 10.1177/0956797611417632
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. DOI: 10.1073/pnas.1708274114
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. DOI: 10.1126/science.aac4716
- Yarkoni, T. (2022). The generalizability crisis. Behavioral and Brain Sciences, 45, e1. DOI: 10.1017/S0140525X20001685
- Ma, D. S., Correll, J., & Wittenbrink, B. (2015). The Chicago Face Database: A free stimulus set of faces and norming data. Behavior Research Methods, 47(4), 1122–1135. DOI: 10.3758/s13428-014-0532-5
- Funder, D. C., & Ozer, D. J. (2019). Evaluating effect size in psychological research: Sense and nonsense. Advances in Methods and Practices in Psychological Science, 2(2), 156–168. DOI: 10.1177/2515245919847202
