Open Science Club

如何加强研究的透明、公开与可重复性

25,216 人关注

心理学研究方法

如何预注册（Pre-register）你的研究？
注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划…查看全文
hcp4715
a year ago
24 赞5 条评论
不增加样本量即可提高统计功效的办法
最近PeerJ上的一个有趣的预印本文章：Four simple ways to increase power without increasing the sample size。（什么是预印本？见本专栏的这个文章：中国的预印平台：中科院科技论文预发…查看全文
hcp4715
4 months ago
39 赞4 条评论
jamovi : 结合了R的魅力，且免费易用的统计软件
本文由PsychoR南方团队发布, 经授权转载。原文链接：jamovi : 结合了R的魅力，且免费易用的统计软件PsychoR团队所发布的 jamovi 相关翻译文章均获得 jamovi 官方团队授权本文采取 CC BY-NC-…查看全文
hcp4715
4 months ago
46 赞13 条评论
CurateScience更新：搜索那些被重复的心理研究
CurateScience.org是一个有趣的网站，它的目标在于将一些重要重复研究收集起来，以非常直观的方式，来展现该效应的效应量，同时提供非常详尽的相关信息供研究者进一步的了解。目前，这个网…查看全文
hcp4715
5 months ago
24 赞3 条评论
国际合作机会：心理学加速器项目（The Psychological Science Accelerator）
本文首发于Open Science Club的博客。正如我之前在本专栏提到了，可以使用StudySwap、RRR等参与国际合作研究，这对于国内的研究者来说有许多好处。最近，Science报道了心理学的另一个大规模…查看全文
hcp4715
5 months ago
11 赞2 条评论
视频+PPT｜可重复性工作坊2017
注：本文在open science club博客上首发，这里是原文。今年是第2次进行关于可重复性的工作坊，其目的仍然是与更多的国内同行一起交流与讨论国际心理学界的政策变化以及新的研究实践标准。非…查看全文
hcp4715
6 months ago
11 赞0 条评论
How to Justify Your Sample Size
注：本文首发于Open Science Club博客：How to Justify Your Sample Size；在我们的公众号上也同时发布。版权所有，转载请联系本人（hcp4715@hotmail.com）。最近不止一个…查看全文
hcp4715
6 months ago
47 赞2 条评论
《如何进行开放、透明和可重复的心理学研究》工作坊
本文首发于Open Science Club主页：《如何进行开放、透明和可重复的心理学研究》工作坊 - Open Science Club。也在我们的微信公众号上发布，全文如下：2017年11月03日，在第20届全国心理学…查看全文
hcp4715
6 months ago
13 赞3 条评论
[Pre-print]贝叶斯因子及其在JASP中的实现
酝酿许久之后，这个旨在向国内同行介绍贝叶斯因子以及如何在免费统计软件JASP中实现贝叶斯因子分析的论文终于完成了第一稿，并且投出去了。投出去之后，按照我们所倡导的开放科学的原则，目…查看全文
hcp4715
7 months ago
15 赞7 条评论
使用StudySwap、RRR等参与国际合作研究
心理学的可重复性问题已经成为大部分人所接受的事实。在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 20…查看全文
hcp4715
9 months ago
21 赞1 条评论
与心理学数据分析相关的R工具包
注：本文在52brain.com上同步发布：与心理学数据分析相关的R工具包 - 基础知识库我爱脑科学－心心水滴论坛 -为下周末的R语言会议热个身，写下自己收集的心理学研究的数据分析相关的R包。R…查看全文
hcp4715
a year ago
157 赞10 条评论
什么？以后p < .005才是统计上显著！
在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字：比如我所…查看全文
hcp4715
9 months ago
369 赞45 条评论
Mini Meta-analysis或者单个论文中的元分析
今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的…查看全文
hcp4715
10 months ago
57 赞3 条评论
与浙师大研究生分享可重复性相关的问题
6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对…查看全文
hcp4715
10 months ago
21 赞1 条评论
9个认知心理学实验被成功重复
心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近…查看全文
hcp4715
a year ago
134 赞24 条评论
公开评审与发表后评审
最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫…查看全文
hcp4715
a year ago
22 赞3 条评论
Scientific Data上与可重复性相关的数据集
Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：Human Brain MRI ReproducibilityReplication Data里面有不少有趣的数据，感兴趣的同…查看全文
hcp4715
a year ago
9 赞0 条评论
去R语言会议讲可重复性
R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：第十届中国R会…查看全文
hcp4715
a year ago
17 赞0 条评论
使用Reproducibility Project Psychology的公开数据，发表自己的文章
2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，这个重复的结果发表在Science上，让不少人大跌眼镜。这个研究的数据也公开在OSF…查看全文
hcp4715
a year ago
53 赞2 条评论
如何做可复制的(reproducible)[心理学]研究
注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。注2：本文参考了Rogers Peng的博客：Instead…查看全文
hcp4715
a year ago
12 赞6 条评论

{"database":{"Post":{"24775841":{"title":"如何预注册（Pre-register）你的研究？","author":"hcp4715","content":"\u003Cp\u003E注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划登记在册，坦诚地说明你的计划。这样可以避免很多可能导致研究报告中假阳性增加的操作，比如HARKing (Hypothesizing After the Results are Known)，也可能让阴性结果更容易得到发表。（关于这些问题，可以参考\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F30047716\"\u003E心理学的七宗罪 1：偏见（Bias）\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cp\u003E最近一些学术期刊在推行Registered Reports，就是向杂志提供你的研究计划，杂志方进行第一次审稿（有评审意见），然后如果杂志方表示认可你的计划，接受你的方案，然后你再收集数据，分析，写文章，最后再提交，杂志再来第二次审稿。具体见（\u003Ca href=\"https:\u002F\u002Fcos.io\u002Frr\u002F\"\u003Ehttps:\u002F\u002Fcos.io\u002Frr\u002F\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cimg src=\"v2-0de703d40fe147e237cfe74b063947b7.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1347\" data-rawheight=\"298\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E怎么预注册？\u003C\u002Fp\u003E\u003Cp\u003E首先，选择一个合适的平台。目前，据我所知，有两个比较受到认可的平台：OSF v. AsPredicted。OSF（Open Science Framework），前一篇文章中提到过（\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F25089006\"\u003ECenter of Open Science与Open Science Framework\u003C\u002Fa\u003E）。AsPredicted (\u003Ca href=\"https:\u002F\u002Faspredicted.org\u002F\"\u003EAsPredicted: Home\u003C\u002Fa\u003E)，这个网站一开始是为了让预注册更加简化、方便，也是不少人的选择。但是现在OSF中提供了多种预注册的方式，所以总体来说，我更推荐OSF。以下说在OSF上如何注册。\u003C\u002Fp\u003E\u003Cp\u003E第二，到OSF注册。注册不难，现在需要.edu的邮箱，另外是需要一个验证，这个验证的网站被墙了，所以注册的时候要在能够越过墙的方式下进来。如果无法翻墙，可以点击osf右上角的sign in，然后点击\"sign in with ORCID\"，使用ORCID直接登陆。\u003C\u002Fp\u003E\u003Cp\u003E第三，在OSF的页面，创建一个新的Project:\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-0330e1711cff54d76038b6fce64d4fa9.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1465\" data-rawheight=\"372\"\u003E\u003Cp\u003E这个Project里有不少信息，只填写标题即可创建：\u003C\u002Fp\u003E\u003Cimg src=\"v2-e20310808b007da8d844040da39d80a9.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"746\" data-rawheight=\"581\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E创建完了之后，打开这个Project的页面后，会发现这个Project里有许多选项和相应的功能，这个是OSF提供给研究者进行数据保存以及合作等的功能。对于预注册来说，很简单，点击Registrations:\u003C\u002Fp\u003E\u003Cimg src=\"v2-aee8c1d926f92b4cbd5777a8e2fdb24e.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1510\" data-rawheight=\"900\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E然后，开始一个新的注册：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-898a3005394c40ae1bf1938bec2d0fe7.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1209\" data-rawheight=\"304\"\u003E\u003Cp\u003E然后会发现，有许多种不同的注册方式：\u003C\u002Fp\u003E\u003Cimg src=\"v2-49fe005c73cc1d344e32bd4f1fb45ea7.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1125\" data-rawheight=\"715\"\u003E\u003Cp\u003E点击每个注册方式后，都有相应的说明，大家可以根据自己的需要进行注册。\u003C\u002Fp\u003E\u003Cp\u003E第一个Prereg Challenge是目前COS推荐的方式，这是有奖挑战！如果以这种方式注册之后，会有人来审你的研究设计，并且可能会提出反馈。反馈之后如果有问题，修改实验设计，再提交。没有问题之后，可以开始收集数据。如果最后文章发表到他们认可的杂志上，则可以得到1000美元的奖励。是一个机会。但是，参加这个挑战需要你有一个中国大陆之外的地址，至于为什么，可以仔细阅读网页上的标注(\u003Cb\u003E当然，你只需要一个大陆之外的地址，就可以绕过这个问题\u003C\u002Fb\u003E)。\u003C\u002Fp\u003E\u003Cp\u003EAsPredicted Preregisteration，就是跟AsPredicted网站上一样的方式，只问一些关键的问题，适合于急着要去收集数据的情况。\u003C\u002Fp\u003E\u003Cp\u003E如果是重复实验的话，那就需要选择后面的方式了，Replication Recipe。这个是APS认可的。\u003C\u002Fp\u003E\u003Cp\u003E以下为AsPredicted Preregistration的截图：\u003C\u002Fp\u003E\u003Cimg src=\"v2-88f52a2ea668dc60790f2af814f75b59.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1048\" data-rawheight=\"733\"\u003E\u003Cimg src=\"v2-697c9cd5d9fba6a68f282c2a41874270.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1058\" data-rawheight=\"786\"\u003E\u003Cimg src=\"v2-d5b1eb375ddd2882a52cbe40c9da0941.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1105\" data-rawheight=\"751\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E最后，填写好了之后，会有一个选择：是现在就立刻公开你预注册的研究设计，还是等一段时间再公开(Enter registration embargo)？这个就看你自己的选择了。但记住：注册的目的，最终还是为了公开。\u003C\u002Fp\u003E\u003Cimg src=\"v2-fcd2182e3a1d9cc967a0137c0b7638b8.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"2312\" data-rawheight=\"666\"\u003E\u003Cp\u003E希望对大家有帮助！\u003C\u002Fp\u003E","updated":new Date("2017-03-09T05:39:29.000Z"),"canComment":false,"commentPermission":"review","commentCount":5,"likeCount":24,"state":"published","isLiked":false,"slug":"24775841","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-09T13:39:29+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F24775841\u002Fcomments"},"url":"\u002Fp\u002F24775841","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F24775841","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":5,"likesCount":24},"24792621":{"title":"心理学可重复危机简史及专栏共同作者招募！","author":"hcp4715","content":"\u003Cp\u003E\u003Ci\u003E注1：此文修改自我在自己的一篇\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fhuchuanpeng.com\u002F2016\u002F04\u002F09\u002Fwhat-is-replication-crisis\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E博客\u003C\u002Fa\u003E，对可重复危机进行回顾。\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fpsyborgs.github.io\u002Fprojects\u002Freplication-in-psychology\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EReplication in Psychology: A Historical Perspective\u003C\u002Fa\u003E。\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E注3：利益相关，本人为Center for Open Science的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fcos.io\u002Finvolved_participate\u002F%23tab_1\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003Eambassador\u003C\u002Fa\u003E，有责任宣传加强研究的可重复相关的知识。\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E注4：文章最后招募有兴趣的同行加入本专栏的写作，可以直接拖到最后。\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E最近几年，心理学研究所能够制造的大新闻，大概就是可重复危机了。这个问题已经受到了非常广泛的关注，wiki peida也收录了可重复危机(replication crisis)的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FReplication_crisis\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E词条\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E可重复性问题到底是从何时开始的？作为一个喜欢追踪文献的博士狗，“有幸”在这个危机开始的时候，围观了一系列在science和nature上被报道而引起广泛关注的事件，在这里把个人所了解的相关事件作一个回顾。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E事件1\u003C\u002Fb\u003E：Bem (2011)的预见未来的实验。在这个标题为“Feeling the future”的文章中，已经是知名社会心理学教授的Bem在人格与社会心理学的顶级期刊Journal of Personality and Social Psychology上指出：通过9个实验，包括了1000多名被试，他发现了未来发生的事件，可能会影响到被试当前行为反应。在这个颇具有预见性的讨论中，他讨论了统计方法、可重复性和这种预见未来现象的问题。当然，心理学界的人很快提出了质疑，两个研究小组采用贝叶斯统计对他的数据进行了分析，表明无法从数据中得到这个推断。更加晚一些重复实验也没有发现Bem的这个结果。此时，人们还无法预知，这个事件将成为心理学可重复危机的一部分。science此时也只是用相当平淡的口吻给了一个评论：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F331\u002F6015\u002F272\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EESP paper rekindles discussion about statistics\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E事件2\u003C\u002Fb\u003E：到2011年年末，另一重磅事件，彻底让人们开始反思心理学中方法的严谨性了。这就是Stapel的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.guokr.com\u002Farticle\u002F437083\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E论文造假事件\u003C\u002Fa\u003E。Stapel本人是荷兰Tilburg University社会心理学的教授，刻板印象方面的专家。2011年4月8号，他在science上发表一篇题为 “Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination”的论文。这对于当时的我来说，实在是太有趣了：凌乱的环境居然会加重人们的刻板印象，太神奇了！对于这种有趣的研究，我很快在心理学与脑科学的论坛52brain.com上进行了\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002F52brain.com\u002Fthread-12960-1-1.html\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E传播\u003C\u002Fa\u003E。但是到了2011年11月01日，Nature报道，Stapel的这篇论文涉嫌造假，标题是“\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.nature.com\u002Fnews\u002F2011\u002F111101\u002Ffull\u002F479015a.html\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EReport finds massive fraud at Dutch universities\u003C\u002Fa\u003E”，而Science也\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F334\u002F6060\u002F1202.1\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E撤回了此论文\u003C\u002Fa\u003E（2011.12.02）。此后，nature 和science都对这个事件进行了持续的关注。Stapel之所以能够被发现是数据造假，是因为他的研究生举报（想想如果没有研究生举报，他会继续作假到什么时候？）。而Tilburg于2012年12月的调查报告显示，在他职业生涯中发表的137篇论文中，有55篇数据完全是捏造的。此外，还包括他指导的10个博士生博士毕业论文中的数据。在另外10篇论文中，当时还无法断定是否有造假行为。Science在报道这个最终报告的时，提出一个事实：整个心理学领域都有无法推脱的责任（\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F338\u002F6112\u002F1270\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EFinal Report on Stapel Also Blames Field As a Whole\u003C\u002Fa\u003E），因为Stapel的55篇数据造假的论文中，审稿过程中完全没有发现问题。而这并不是说审稿的过程是无法发现问题的，因为在2012年，宾大沃顿商学院的Uri Simonsohn通过对Smeesters已经发表的两篇论文结果进行了仔细的检查之后，怀疑作者的数据有问题，随后Smeesters所在的大学对其进行了调查，Smeesters声称自己由于某些客观原因，原始数据丢失，但是其所在大学无法接受他的这个理由，接受了其辞职（见science的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.sciencemag.org\u002Fcontent\u002F337\u002F6090\u002F21.short\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E报道\u003C\u002Fa\u003E）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E事件3\u003C\u002Fb\u003E：还是回到2011年，Simmons, Nelson, &amp; Simonsohn 在psychological science上发表了一篇名为False-Positive Psychology的论文，在这个论文中，指出了心理学研究中，有一些比较常见的做法会让整个领域的假阳性过高。不过这个文章仅在学术界引起了一些关注，媒体的报道相对较少。也是这一年，Virginia University的Brian Nosek在google group里成立了一个叫做open science framework的讨论组，11月7日发起一个倡议，建议对2008年发表的研究进行大规模的重复，这应该就是后来的Open Science Framework的萌芽。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E事件4\u003C\u002Fb\u003E：2012年1月，无法重复的启动研究。在中国的农历尚未到2012年之时，社会心理学的社交网络圈爆发了一个新闻：著名的老年启动效应无法重复出来。记得在哈佛的幸福课（positive psychology）中，讲课的老师就引用过这个研究，让我印象深刻：当大学生看到一系列老年相关的词汇之后，他们走出实验室的速度会变慢，也就是说，变得更像老年人…….。当时我并没有特别在意这个研究。但是2012年1月，开源杂志Plos One发表了Doyen等人一个\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fjournals.plos.org\u002Fplosone\u002Farticle%3Fid%3D10.1371\u002Fjournal.pone.0029081\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E研究\u003C\u002Fa\u003E，声称无法重复出这个著名的效应。他们做了两个实验，第一个实验完全重复Bargh等人的实验，第二个则对参与实验的人进行了某种暗示，再现了这个效应。对于这个结果，科普作者Ed Yong进行了\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fblogs.discovermagazine.com\u002Fnotrocketscience\u002F2012\u002F01\u002F18\u002Fprimed-by-expectations--why-a-classic-psychology-experiment-isnt-what-it-seemed\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E报道\u003C\u002Fa\u003E，并且开头引用了心理学教科书中著名的历史案例“\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fen.wikipedia.org\u002Fwiki\u002FClever_Hans\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E聪明的汉斯\u003C\u002Fa\u003E”的故事，暗示原作者们Bargh等在方法上的严谨性。正常情况下，这种无法重复的原因多种多样，对于批评可能也无需太在意。但是Bargh作为自动化加工(automatic process)方面的权威，面对这个研究和报道，表示非常愤怒，在自己的博客上进行了激烈的反击，对重复实验的作者、发表重复实验的杂志以及报道这个重复实验的科普作者进行抨击，语言比较激烈，后来删除了该博客（可以从\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fblogs.discovermagazine.com\u002Fneuroskeptic\u002F2012\u002F11\u002F02\u002Fjohn-barghs-transient-and-ephemeral-blogs\u002F%23.VwgyaaQrJhE\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E这里\u003C\u002Fa\u003E和\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fblogs.discovermagazine.com\u002Fnotrocketscience\u002F2012\u002F03\u002F10\u002Ffailed-replication-bargh-psychology-study-doyen\u002F%23.VwgyrqQrJhE\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E这里\u003C\u002Fa\u003E找到当时其他博客上的一些引用）。正如其他信息的传播一样，客观理性的内容往往很难引起注意，但是充满情绪的内容总是非常广泛地传播，于是Bargh的博客在社会心理学家之间传播开来。\u003C\u002Fp\u003E\u003Cp\u003EBargh这个博客引起广泛争议的同时，应该说是再次让社会心理学家们感受到了可重复问题的压力。于是一个原本不太受到关注的网站进入了大家的视野，这就是\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpsychfiledrawer.org\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003Epsychfiledrawer\u003C\u002Fa\u003E。这个网站的目的是让心理学家把自己未发表的数据上传，以减少在论文发表中对阳性结果偏爱而阴性结果无法发表的这个问题。原本没有人多少人关注这个网站，但是Bargh事件之后，许多人纷纷把自己重复过的数据上传。更有意思的是，诺贝尔经济学奖得主卡尼曼也站出来说话了。在题为“\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.nature.com\u002Fpolopoly_fs\u002F7.6716.1349271308%21\u002FsuppinfoFile\u002FKahneman%2520Letter.pdf\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EA proposal to deal with questions about priming effects\u003C\u002Fa\u003E”的邮件中，他老人家让社会心理学家解决自己领域的问题。这个邮件内容也有不少的阅读者。\u003C\u002Fp\u003E\u003Cp\u003E事情发展到2012年，越来越多的重复失败结果被曝光，要么是在一些网站上公开数据，要么是在一些学术期刊上发表。而对于Bem预见未来的实验，也有重复实验的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fjournals.plos.org\u002Fplosone\u002Farticle%3Fid%3D10.1371\u002Fjournal.pone.0033423\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E报告\u003C\u002Fa\u003E在plos one上发表出来。Michigan大学Lawrence Sanna辞职，原因是Simonsohn怀疑他的数据有问题，nature进行了\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.nature.com\u002Fnews\u002Funcertainty-shrouds-psychologist-s-resignation-1.10968\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E报道\u003C\u002Fa\u003E。心理学家也开始讨论怎样的重复才能算是一个合格的重复实验。于是有了\u003Cb\u003E提前注册（pre-register）\u003C\u002Fb\u003E、然后按照注册的方法进行实验，最后来报告结果。perspectives on psychological science上，也有\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpps.sagepub.com\u002Fcontent\u002F7\u002F6\u002F528.short\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E专刊\u003C\u002Fa\u003E来讨论可重复性的问题，这一次非常集中地讨论了与可重复性相关的问题。同样重要的是，2012年，John等人关于可疑研究操作（Questionable Research Practices）的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpss.sagepub.com\u002Fcontent\u002F23\u002F5\u002F524.abstract\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E调查报告发表\u003C\u002Fa\u003E，心理学家们承认，自己在研究的实践中，一些通常的做法其实是大大地增加了假阳性的概率的。\u003C\u002Fp\u003E\u003Cp\u003E同样是2012年，科普作者Ed Yong回顾了一系列事件之后，认为在社会心理学领域存在着可重复危机，这一报道在nature上以\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.nature.com\u002Fnews\u002Freplication-studies-bad-copy-1.10634\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EReplication studies: Bad copy\u003C\u002Fa\u003E为题，作为新闻发表。\u003C\u002Fp\u003E\u003Cp\u003E直到2013年1月，\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fcos.io\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003ECenter for Open Science（COS）\u003C\u002Fa\u003E正式在Virginia University成立，成为心理学家组成的非政府组织来应对这次可重复危机。COS整合了在此之前已经搭建的开放科学框架的平台（\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fosf.io\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003Eopen science framework\u003C\u002Fa\u003E），开始组织全世界的心理学家进行联合的大规模重复实验。这一年，perspectives on psychological science再次组织\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpps.sagepub.com\u002Fcontent\u002F8\u002F4.toc\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E特刊\u003C\u002Fa\u003E讨论了可重复性以及一些实验方法上的问题。这一期中，Lebel将\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpsychdisclosure.org\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EPsychDisclosure.org\u003C\u002Fa\u003E推出，提出了研究者要完整报告自己研究的方法部分的要求。\u003C\u002Fp\u003E\u003Cp\u003E2014年，关于重复实验应该如何做，研究者们基本上有一些共识，许多杂志开始鼓励提前注册的重复实验或者提前注册。osf进一步完整，成为一个可以公开注册研究和分享数据的平台。Journal of Experimental Social Psychology上，发表了题为\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fdx.doi.org\u002F10.1016\u002Fj.jesp.2013.10.005\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EThe Replication Recipe: What makes for a convincing replication?\u003C\u002Fa\u003E的文章。这一年，在social psychology这个杂志\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fecontent.hogrefe.com\u002Ftoc\u002Fzsp\u002F45\u002F3\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E5月的一期中\u003C\u002Fa\u003E，也发表了一系列经过提前注册过的重复研究，能够重复原先实验结果的并不多。不过一个比较积极的消息是，由Klein等人发表的多实验室项目（ManyLab）中，对心理学中经典研究的重复，大部分是有结果的。Cumming 也在psychological science上发表了题为\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpss.sagepub.com\u002Fcontent\u002F25\u002F1\u002F7\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EThe New Statistics: Why and How\u003C\u002Fa\u003E的文章，指出需要在统计方法上进行变革。Psychological science也改变了其审稿的政策，对方法部分不再有字数的限制，开始启用一些强制政策来加强方法部分的严谨性，如要求像Lebel指出的那样报告方法部分四个方面的内容，使用效应量和置信区间等。其他的杂志也有一些相应的调整。\u003C\u002Fp\u003E\u003Cp\u003E不过值得注意的是，2014年5月，剑桥心理学家Schnall在其博客上表达了Social psychology上发表的对她2008年重\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.psychol.cam.ac.uk\u002Fcece\u002Fblog\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E复研究的不满\u003C\u002Fa\u003E，认为做重复研究的人是Bully，Dan Gilbert也在Twitter上表达了对进行重复研究的人的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Ftwitter.com\u002Fdantgilbert\u002Fstatus\u002F470199929626193921\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E愤怒\u003C\u002Fa\u003E。平心而论，热衷于做重复实验的人，确实在对原研究的态度上不太好，在facebook和twiiter上有许多嘲讽。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2014年，绍兴文理学院的陈巍博士在《心理技术与应用》杂志上发表了《可重复性:盘旋在具身认知实验室上方的“幽灵”》一文，介绍了在具身认知领域方面可重复性的问题。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E2015年，最大的事件就是COS于2013年组织的大规模重复实验的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F349\u002F6251\u002Faac4716.abstract\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E结果得以发表\u003C\u002Fa\u003E，许多人期待的结果在Science上发表，其结论是对100项研究的重复，大约39%能够重复出来（根据对重复的标准不同，这个比例有一点变化）。这个研究的结果有大量的数据在osf.io上共享，供研究者去挖掘，而确实也有不少研究者利用这些数据进行了后续的分析。还有一些其他的重复报告也发现先前的一些效应无法重复，如\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpsycnet.apa.org\u002Fjournals\u002Femo\u002F15\u002F1\u002F109\u002F\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E孤独会让人洗热水澡的重复\u003C\u002Fa\u003E、\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fpss.sagepub.com\u002Fcontent\u002Fearly\u002F2015\u002F03\u002F30\u002F0956797614553946.extract\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E权力姿势(power pose\u003C\u002Fa\u003E 。许多人以为，可重复危机基本上就已经确定了，心理学要开始进行艰苦卓绝的方法变革，来提高本领域研究的可重复性了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2015年，温州大学教师教育学院仲晓波老师在&lt;心理科学&gt;上发表了〈心理学实验的可重复性〉，对心理学的可重复性问题从统计角度进行了比较深入的介绍。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E2016年3月，\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002Fsci\u002F351\u002F6277\u002F1037.2.full.pdf\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EScience上的一个评论\u003C\u002Fa\u003E再次引起争议，Gilbert等人分析了COS大规模重复实验的数据，认为三个方面的错误使得他们的不足以得到心理学研究的可重复率只有39%的结论。这一评论再次激起了Nosek等人的\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F351\u002F6277\u002F1037.3\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E回应\u003C\u002Fa\u003E、博客上的论战以及媒体的报道。另一个非常著名的心理学效应似乎也无法跨过重复实验这道坎：自我损耗（ego-depletion）的重复实验也\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fjournals.plos.org\u002Fplosone\u002Farticle%3Fid%3D10.1371\u002Fjournal.pone.0147770\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E未能重复出其效应\u003C\u002Fa\u003E，而\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fwww.ncbi.nlm.nih.gov\u002Fpubmed\u002F26076043\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E元分析\u003C\u002Fa\u003E也显示了相似的结果。这个失败让笼罩在心理学家头上的乌云更加密布，因为这个理论非常符合直觉，大量心理学家的时间和精力、大量的研究经费投入在这个问题的研究之中。如果这个效应是假的，那可能就不是某一两个实验室的问题，而完全是整个领域的大问题！不过自我损耗理论的主要提出者Baumeister认为重复实验是有问题的。所以这个效应是否能够重复，我们还需要拭目以待。\u003C\u002Fp\u003E\u003Cp\u003E当然，2016年，Methodological terrorism的引发的争议也是最火爆的，见我上一篇文章：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F24728005\" class=\"internal\"\u003E2016年关于心理学可重复性的主要关注点\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E国内方面，2016年，心理学界的老前辈、北大的朱滢教授在《心理科学进展》上发表题为\u003C\u002Fb\u003E《\u003Cb\u003E“开放科学 数据共享 软件共享”, 你准备好了吗？\u003C\u002Fb\u003E》\u003Cb\u003E的文章，呼吁心理学家重复研究的开放性。聂丹丹与同事在《中国临床心理学杂志》上发表《可重复性:心理学研究不可忽视的实践》，简要地介绍了心理学的可重复危机的相关问题。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E我与同事对可重复性问题的详细介绍发表在\u003C\u002Fb\u003E《\u003Cb\u003E心理科学进展\u003C\u002Fb\u003E》\u003Cb\u003E上：\u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=https%3A\u002F\u002Fwww.researchgate.net\u002Fpublication\u002F305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003E心理学研究的可重复性问题：从危机到契机\u003C\u002Fa\u003E。我们从可重复危机的发展、原因、对策等多个角度对这一危机进行了介绍。同时，我们还报告了我们对国内心理学研究者是否能够正确理解统计指标p值的结果，这个结果是令人震惊但也可以理解的：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cfigure\u003E\u003Cimg src=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-882a88ae2957f1dd816c0d6aa4ace77e_b.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1653\" data-rawheight=\"991\" class=\"origin_image zh-lightbox-thumb\" width=\"1653\" data-original=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-882a88ae2957f1dd816c0d6aa4ace77e_r.jpg\"\u003E\u003C\u002Ffigure\u003E\u003Cp\u003E在这个文章中，我们也总结了在科研中，相对正确的做法和不正确的做法：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cfigure\u003E\u003Cimg src=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-778de6c621356bc2c23c3a09ff2b0be5_b.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1611\" data-rawheight=\"782\" class=\"origin_image zh-lightbox-thumb\" width=\"1611\" data-original=\"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-778de6c621356bc2c23c3a09ff2b0be5_r.jpg\"\u003E\u003C\u002Ffigure\u003E\u003Cp\u003E到2016年结束的时候，许多正确的做法在国际上正在成为新的标准。作为中国的研究者，可能需要及时了解这种变化，以及采用新的做法，才能避免在科研中落后。\u003C\u002Fp\u003E\u003Cp\u003E＝＝＝＝＝＝＝＝＝＝＝＝ \u003Cb\u003E招募共同专栏作者分割线\u003C\u002Fb\u003E ＝＝＝＝＝＝＝＝＝＝＝＝＝＝\u003C\u002Fp\u003E\u003Cp\u003E作为一名心理学的博士生，我希望有更多的同行一起来宣传相关的知识与技能，共同营造一个开放、透明与可重复的科研气氛。最简单可行的方式之一，就是加入本专栏，作为作者之一，一写分享一些关于加强可重复性相关的知识。我们的在《进展》上的文章虽然不短，但是仍然有许多问题无法涉及，尤其是一些在研究中具体可操作的问题。目前我所想到的包括如下问题：\u003C\u002Fp\u003E\u003Cp\u003E1. 如何进行提前注册（pre-register）? （\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F24775841\" class=\"internal\"\u003E如何提前注册（Pre-register）你的研究？ - 知乎专栏\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cp\u003E2. 如何确定样本量，进行一个有足够统计功效的研究？\u003C\u002Fp\u003E\u003Cp\u003E3. 如何计算效应量及其置信区间？\u003C\u002Fp\u003E\u003Cp\u003E4. 如何使用贝叶斯相关的统计更好地利用数据？\u003C\u002Fp\u003E\u003Cp\u003E5. 如何更有效地对自己进行的多个实验进行元分析，从而对自己研究问题的效应量进行更合理的估计。\u003C\u002Fp\u003E\u003Cp\u003E6. 如何公开自己的数据？ （\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F24974537\" class=\"internal\"\u003E如何公开自己的数据？ - 知乎专栏\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cp\u003E7. 哪些杂志可以发表注册的重复实验？\u003C\u002Fp\u003E\u003Cp\u003E8. 哪些效应已经被大规模的实验重复并且无法重复出来？\u003C\u002Fp\u003E\u003Cp\u003E...\u003C\u002Fp\u003E\u003Cp\u003E如果哪位同行有兴趣写一些相关的文章来介绍这些问题，这将是极好的！或者，如果您其他关于可重复相关的问题，也欢迎您投稿。\u003C\u002Fp\u003E\u003Cp\u003E总之，希望我们能够一起共享这些知识，让开放透明与可重复性的标准能够更多好地普及开来。\u003C\u002Fp\u003E\u003Cp\u003E参考文献\u003C\u002Fp\u003E\u003Cp\u003EBem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407-425. doi: 10.1037\u002Fa0021524\u003C\u002Fp\u003E\u003Cp\u003EBrandt, M. J., Ijzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., . . . van ‘t Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50(0), 217-224. doi: \u003Ca href=\"http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fdx.doi.org\u002F10.1016\u002Fj.jesp.2013.10.005\" class=\" wrap external\" target=\"_blank\" rel=\"nofollow noreferrer\"\u003EThe Replication Recipe: What makes for a convincing replication?\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003EDoyen, S., Klein, O., Pichon, C.-L., &amp; Cleeremans, A. (2012). Behavioral Priming: It’s All in the Mind, but Whose Mind? PLoS One, 7(1), e29081. doi: 10.1371\u002Fjournal.pone.0029081\u003C\u002Fp\u003E\u003Cp\u003EJohn, L. K., Loewenstein, G., &amp; Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524-532. doi: 10.1177\u002F0956797611430953\u003C\u002Fp\u003E\u003Cp\u003EMiller, G. (2011). ESP Paper Rekindles Discussion About Statistics. Science, 331(6015), 272-273. doi: 10.1126\u002Fscience.331.6015.272\u003C\u002Fp\u003E\u003Cp\u003ESimmons, J. P., Nelson, L. D., &amp; Simonsohn, U. (2011). False-Positive Psychology. Psychological Science, 22(11), 1359-1366. doi: 10.1177\u002F0956797611417632\u003C\u002Fp\u003E\u003Cp\u003E陈巍. (2014). 可重复性:盘旋在具身认知实验室上方的“幽灵”. 心理技术与应用(01), 23-25. \u003C\u002Fp\u003E\u003Cp\u003E胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016). 心理学研究的可重复性问题：从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724\u002FSP.J.1042.2016.01504\u003C\u002Fp\u003E\u003Cp\u003E聂丹丹, 王浩, 罗蓉. (2016). 可重复性:心理学研究不可忽视的实践. 中国临床心理学杂志(04), 618-622. \u003C\u002Fp\u003E\u003Cp\u003E仲晓波. (2015). 心理学实验的可重复性. 心理科学(04), 807-812. \u003C\u002Fp\u003E\u003Cp\u003E朱滢. (2016). “开放科学 数据共享 软件共享”, 你准备好了吗？. 心理科学进展, 24(6), 995–996. doi:10.3724\u002Fsp.j.1042.2016.00995\u003C\u002Fp\u003E","updated":new Date("2017-01-09T08:19:01.000Z"),"canComment":false,"commentPermission":"review","commentCount":35,"likeCount":136,"state":"published","isLiked":false,"slug":"24792621","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"\u002Fapi\u002Fposts\u002F24792621\u002Fcomments"},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19884670","id":"19884670","name":"心理学研究方法"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19841766","id":"19841766","name":"心理统计"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F20027331","id":"20027331","name":"中国科研"}],"adminClosedComment":false,"href":"\u002Fapi\u002Fposts\u002F24792621","excerptTitle":"","sourceUrl":"","pageCommentsCount":35,"snapshotUrl":"","publishedTime":"2017-01-09T16:19:01+08:00","url":"\u002Fp\u002F24792621","summary":"\u003Cimg src=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-882a88ae2957f1dd816c0d6aa4ace77e_200x112.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1653\" data-rawheight=\"991\" class=\"origin_image inline-img zh-lightbox-thumb\" data-original=\"https:\u002F\u002Fpic3.zhimg.com\u002Fv2-882a88ae2957f1dd816c0d6aa4ace77e_r.jpg\"\u003E\u003Ci\u003E注1：此文修改自我在自己的一篇\u003Ca href=\"http:\u002F\u002Fhuchuanpeng.com\u002F2016\u002F04\u002F09\u002Fwhat-is-replication-crisis\u002F\"\u003E博客\u003C\u002Fa\u003E，对可重复危机进行回顾。\u003C\u002Fi\u003E\u003Ci\u003E注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：\u003Ca href=\"https:\u002F\u002Fpsyborgs.github.io\u002Fprojects\u002Freplication-in-psychology\u002F\"\u003EReplication in Psychology: A Historical Perspective\u003C\u002Fa\u003E。\u003C\u002Fi\u003E\u003Ci\u003E注3：利益相关，本人为Center for…\u003Ca href=\"https:\u002F\u002Fcos.io\u002Finvolved_participate\u002F#tab_1\"\u003Eambassador\u003C\u002Fa\u003E，有责任宣传加强研究的可重复相关的知识。\u003C\u002Fi\u003E","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":35,"likesCount":136},"25772914":{"title":"如何做可复制的(reproducible)[心理学]研究","author":"hcp4715","content":"注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。\u003Cp\u003E注2：本文参考了Rogers Peng的博客：\u003Ca href=\"http:\u002F\u002Fsimplystatistics.org\u002F2015\u002F12\u002F11\u002Finstead-of-research-on-reproducibility-just-do-reproducible-research\u002F\" data-title=\"Instead of research on reproducibility, just do reproducible research\" class=\"\" data-editable=\"true\"\u003EInstead of research on reproducibility, just do reproducible research\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E注3：本文使用可复制这个狭义的概念，仅指数据分析的可重复性，即其他研究者拿到你的数据，使用你描述的方法，能够得到与你一致的结果。\u003C\u002Fp\u003E\u003Cp\u003E第一步，使用代码而点击软件的按钮分析数据。不管使用什么统计分析软件，尽量使用代码来进行分析（SPSS也可以）；推荐使用\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002F\" data-editable=\"true\" data-title=\"R\"\u003ER\u003C\u002Fa\u003E+\u003Ca href=\"https:\u002F\u002Fwww.rstudio.com\u002F\" data-title=\"Rstudio\" class=\"\" data-editable=\"true\"\u003ERstudio\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E第二，使用\u003Ca href=\"https:\u002F\u002Fgithub.com\u002F\" data-editable=\"true\" data-title=\"github\"\u003Egithub\u003C\u002Fa\u003E或 \u003Ca href=\"https:\u002F\u002Fbitbucket.org\u002F\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\"\u003Ebitbucket\u003C\u002Fa\u003E进行版本控制；\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E第三，使用\u003Ca href=\"rmarkdown.rstudio.com\u002F\" data-editable=\"true\" data-title=\"Rmarkdown\"\u003ERmarkdown\u003C\u002Fa\u003E或者iPython notebooks来进行你的分析；\u003C\u002Fp\u003E\u003Cp\u003E第四，写完文章之后，放到\u003Ca href=\"https:\u002F\u002Farxiv.org\u002F\" data-editable=\"true\" data-title=\"arxiv\"\u003Earxiv\u003C\u002Fa\u003E, \u003Ca href=\"http:\u002F\u002Fbiorxiv.org\u002F\" data-editable=\"true\" data-title=\"biorxiv\" class=\"\"\u003Ebiorxiv\u003C\u002Fa\u003E或者\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fpreprints\u002Fpsyarxiv\u002F\" data-editable=\"true\" data-title=\"psychxiv\"\u003Epsychxiv\u003C\u002Fa\u003E去，立刻就可以让大家知晓你的结果；\u003C\u002Fp\u003E\u003Cp\u003E第五，将你的代码或者软件开放（放在\u003Ca href=\"https:\u002F\u002Fgithub.com\u002F\" data-title=\"github\" class=\"\" data-editable=\"true\"\u003Egithub\u003C\u002Fa\u003E, \u003Ca href=\"https:\u002F\u002Fbitbucket.org\u002F\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\"\u003Ebitbucket\u003C\u002Fa\u003E, 或者\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F25089006\"\u003Eosf\u003C\u002Fa\u003E上）；\u003C\u002Fp\u003E\u003Cp\u003E第六，写博客或者在twitter上与其他研究者讨论你的结果。\u003C\u002Fp\u003E\u003Cp\u003E当然，这几点适用于任何的领域，只要把相应的数据分析软件进行替换即可。\u003C\u002Fp\u003E","updated":new Date("2017-03-15T01:58:40.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":12,"state":"published","isLiked":false,"slug":"25772914","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-15T09:58:40+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F25772914\u002Fcomments"},"url":"\u002Fp\u002F25772914","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F25772914","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":12},"26240816":{"title":"使用Reproducibility Project Psychology的公开数据，发表自己的文章","author":"hcp4715","content":"2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。\u003Cp\u003E2015年，\u003Ca href=\"http:\u002F\u002Fscience.sciencemag.org\u002Fcontent\u002F349\u002F6251\u002Faac4716\" data-title=\"这个重复的结果\" class=\"\" data-editable=\"true\"\u003E这个重复的结果\u003C\u002Fa\u003E发表在Science上，让不少人大跌眼镜。\u003C\u002Fp\u003E\u003Cimg src=\"v2-18349eb3ecdea58378a7fa79db355509.png\" data-rawwidth=\"1303\" data-rawheight=\"1019\"\u003E\u003Cp\u003E这个研究的数据也公开在OSF上:\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fezcuj\u002Fwiki\u002Fhome\u002F\" data-editable=\"true\" data-title=\"Reproducibility Project: Psychology Wiki\"\u003E Reproducibility Project: Psychology Wiki\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E由于数据的公开，不少研究者对这批数据进行了分析，并且发表了自己的文章。例如：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cb\u003E使用不同的方法对这批数据进行重新分析的论文：\u003C\u002Fb\u003E\u003Cbr\u003EEtz, A., &amp; Vandekerckhove, J. (2016). A bayesian perspective on the reproducibility project: psychology. PLoS One, 11(2), e0149794. doi:10.1371\u002Fjournal.pone.0149794\u003Cbr\u003E\u003Cbr\u003EJohnson, V. E., Payne, R. D., Wang, T., Asher, A., &amp; Mandal, S. (2016). On the reproducibility of psychological science. Journal of the American Statistical Association. doi:10.1080\u002F01621459.2016.1240079\u003Cbr\u003E\u003Cbr\u003Evan Aert, R. C. M., &amp; van Assen, M. A. L. M. (2017). Bayesian evaluation of effect size after replicating an original study. PLoS One, 12(4), e0175302. doi:10.1371\u002Fjournal.pone.0175302\u003Cbr\u003E\u003Cbr\u003E\u003Cb\u003E寻找调节变量的论文：\u003C\u002Fb\u003E\u003Cbr\u003EBench, S. W., Rivera, G. N., Schlegel, R. J., Hicks, J. A., &amp; Lench, H. C. (2017). Does expertise matter in replication? An examination of the reproducibility project: Psychology. Journal of Experimental Social Psychology, 68, 181-184. doi:10.1016\u002Fj.jesp.2016.07.003\u003Cbr\u003E\u003Cbr\u003EVan Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., &amp; Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. doi:10.1073\u002Fpnas.1521897113\u003Cbr\u003E\u003Cbr\u003E\u003Cb\u003E结合新数据进行研究的论文：\u003C\u002Fb\u003E\u003Cbr\u003EDreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., . . . Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences. doi:10.1073\u002Fpnas.1516179112\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E对这些数据的利用至少说明了一个问题：只要你的想法好，就可以利用公开的数据探索出新的东西。所以，如果你对这个问题有一些有趣的想法，不妨去下载他们的数据来探索探索。","updated":new Date("2017-04-08T01:56:41.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":53,"state":"published","isLiked":false,"slug":"26240816","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-08T09:56:41+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26240816\u002Fcomments"},"url":"\u002Fp\u002F26240816","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F26240816","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":53},"26569257":{"title":"去R语言会议讲可重复性","author":"hcp4715","content":"R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：\u003Ca href=\"http:\u002F\u002Fchina-r.org\u002Fbj2017\u002F\" data-editable=\"true\" data-title=\"第十届中国R会议（北京）\"\u003E第十届中国R会议（北京）\u003C\u002Fa\u003E。\u003Cbr\u003E\u003Cp\u003E作为一个使用R不久的人，这次斗胆去R语言会议的心理学专场上，与大家交流一下R在加强心理学研究的可重复性中的作用，摘要如下：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E自2011年，由于一系列的重复失败事件，可重复性问题成为了心理学界一个持续的热点问题。统计方法严谨性（如过度依赖于\u003Ci\u003Ep\u003C\u002Fi\u003E值）和开放性（大量的可疑研究操作）不足是导致心理学研究可重复率过低的重要原因。为了应对心理学中的可重复危机，研究者们倡导使用更加多样的统计方法以及公开透明的研究实践。由于R语言中分析方法的灵活性与开放性，R语言在加强心理学研究的可重复性上可以起到重要作用。首先，R语言能够加强心理学研究中统计的严谨性和统计方法的多样性。由于众多心理学相关的软件包（psych, MBESS, lavaan, BootES, BayesFactor, Metafor等），使用R语言，研究者可以进行多样的统计，避免过度依赖于\u003Ci\u003Ep\u003C\u002Fi\u003E值。例如，使用BootES，研究者可以快速地对效应量的置信区间进行估计，使用BayesFactor，研究者可以使用贝叶斯因子来进行统计。其次，R语言能够加强心理学研究中数据分析的公开与透明的程度。与心理学中最常用的SPSS软件相比，R语言代码而非鼠标点击进行数据的预处理以及分析，能够精确地记录数据分析的过程。这对于将数据分析过程透明化具有重大意义。最近，合理使用Rmarkdown的强大功能，能够将数据处理与结果报告结合起来，能够让研究者完全地数据分析与论文撰写无缝结合，例如papaja工具包的出现，可以让研究者直接使用Rmarkdown完成APA格式的文稿写作。正是由于R语言的这些优势，在最近的重复研究中，R语言被广泛地使用。例如，2015，发表在Science上的大规模重复实验中，其数据分析用R完成。\u003C\u002Fp\u003E\u003Cimg src=\"v2-af19f3c3bc190d0d88eefd0a505881ff.png\" data-rawwidth=\"618\" data-rawheight=\"197\"\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E全部演讲信息：\u003Ca href=\"http:\u002F\u002Fchina-r.org\u002Fbj2017\u002Flectures.html\" data-editable=\"true\" data-title=\"演讲信息\" class=\"\"\u003E演讲信息\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E欢迎大家来交流讨论！\u003C\u002Fp\u003E\u003Cp\u003E图片来源：\u003Ca href=\"http:\u002F\u002Fchina-r.org\u002Fimg\u002Flogo-chinar.png\" data-editable=\"true\" data-title=\"china-r.org 的页面\" class=\"\"\u003Ehttp:\u002F\u002Fchina-r.org\u002Fimg\u002Flogo-chinar.png\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-04-25T11:25:37.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":17,"state":"published","isLiked":false,"slug":"26569257","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-25T19:25:37+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26569257\u002Fcomments"},"url":"\u002Fp\u002F26569257","titleImage":"https:\u002F\u002Fpic1.zhimg.com\u002Fv2-85b3445834690e882beba31ba9989de2_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F26569257","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":17},"26595088":{"title":"公开评审与发表后评审","author":"hcp4715","content":"\u003Cp\u003E最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。\u003C\u002Fp\u003E\u003Cp\u003E于是不少分析这个问题背后的原因，毫无疑问，唯SCI的标准成为众矢之的。当然，也有人关注Spinger作为出版方本身的责任。\u003C\u002Fp\u003E\u003Cp\u003E不过，相对而言，大家对目前学术杂志采用的同行评审（peer review）制度关注较少。在主流的学术杂志中，同行评审往往采用双盲（审稿人不知道在审谁的文章及作者不知道谁在审）或单盲的做法（作者不知道谁在审稿）。这种做法可能会让审稿过程变成“碰运气”：运气好，碰到欣赏自己研究的审稿人，会很顺利；运气不好，碰到了学术对头，则会很难过，被拒得莫名其妙。\u003C\u002Fp\u003E\u003Cp\u003E在这种同行评审制度之下，有人利用编辑对审稿人审查不严的漏洞，伪造审稿人邮箱，让“自己人”来审稿，从而轻松发表文章。这种伪假审稿的做法，对同行评审的制度形成了压力，让学术杂志编辑的责任更加重大（考虑到他们本身可能是一线科研人员，本来就很忙，这无疑会更加加重他们的工作负荷。\u003C\u002Fp\u003E\u003Cp\u003E在同行评审的制度之下，对于科研工作者来说，文章的发表，似乎就意味到达“终点”。只要文章发表了，就是一种成就。但很明显，对于科研来说，发表论文只是为了与同行交流，而不是终点。因此奖励“发表论文”的做法，实际上与科学的本质不相符合。有人也提到，这次被撤稿的作者们，本身可能不会受到多大的追究。也就是说，现行的学术出版制度之下，文章发表之后是难以对其进行评估的。\u003C\u002Fp\u003E\u003Cp\u003E这些问题可能与公开透明的科学有关：\u003C\u002Fp\u003E\u003Cp\u003E第一、评审的意见与过程不透明，即读者不知道谁是编辑，谁是审稿人，评审的意见是否具有水平。\u003C\u002Fp\u003E\u003Cp\u003E第二、发表后其他研究者的意见无法公开地产生影响，这个问题主要表现为：如果一个本身存在缺陷上的文章，在很好的杂志上发表之后（比如science上12年之前心理学的文章），其错误结论可能会影响很广泛，但是小同行对其更加严格的评论却无法修正这种错误的影响。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E对于这两个问题，目前有两个与公开透明相关的解决方案，却在科研人员中并未受到广泛支持。\u003C\u002Fp\u003E\u003Cp\u003E针对评审过程与意见不透明的问题，研究者推荐公开评审（Open peer review）。这种做法意味处理文章的编辑和审稿人信息都要公开，同时审稿意见也公开。对于编辑和审稿人而言，公开而不是匿名地评审意味着要对文章负更多的责任（想想PNAS上社会心理学的文章与某位大牛一直被点名），这也许会让他们在处理文章的时候更加谨慎。目前Frontiers系列杂志如Frontiers in Psychology，就开放了编辑与审稿人信息。国内心理学报的审稿意见已经公开。最近，一些心理学的研究者发起了一个关于公开评审的活动，大家可以去支持一下：\u003Ca href=\"https:\u002F\u002Fopennessinitiative.org\u002F\" data-editable=\"true\" data-title=\"Supporting the spread of open research practices\" class=\"\"\u003ESupporting the spread of open research practices\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E针对审稿人以外其他研究者意见，有研究者提出了发表后评审（post-publication review）的做法。即先发表文章，再由同行来评审这个文章是否靠谱，是否有价值。这个做法有点类似大家写网络文章之后大家在下面点赞和留言。当然，小同行的评论与点赞才有价值。目前我所了解的采用发表后评审的杂志好像就只明\u003Ca href=\"http:\u002F\u002Fpeerj.com\u002F\" data-editable=\"true\" data-title=\"PeerJ\"\u003EPeerJ\u003C\u002Fa\u003E和\u003Ca href=\"https:\u002F\u002Ff1000research.com\u002F\" class=\"\" data-editable=\"true\" data-title=\"F1000research\"\u003EF1000research\u003C\u002Fa\u003E，欢迎大家补充。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E当然，公开评审与发表后评审可能只是对目前学术出版的补充，一个好学术出版的做法可能是：\u003Ca href=\"http:\u002F\u002Fandrewgelman.com\u002F2017\u002F04\u002F19\u002Fmy-proposal-for-jasa\u002F\" data-editable=\"true\" data-title=\"如Andrew Gelman所建议的：\" class=\"\"\u003E如Andrew Gelman所建议的：\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-a233e88aa9c1a838ddff7c4e45f8f9c5.png\" data-rawwidth=\"754\" data-rawheight=\"186\"\u003E","updated":new Date("2017-04-27T10:04:12.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":22,"state":"published","isLiked":false,"slug":"26595088","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-27T18:04:12+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26595088\u002Fcomments"},"url":"\u002Fp\u002F26595088","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F26595088","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":22},"26763740":{"title":"Scientific Data上与可重复性相关的数据集","author":"hcp4715","content":"Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.nature.com\u002Fsdata\u002Fcollections\u002Fmri-reproducibility\" data-editable=\"true\" data-title=\"Human Brain MRI Reproducibility\"\u003EHuman Brain MRI Reproducibility\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.nature.com\u002Fsdata\u002Fcollections\u002Freplicationdata\" data-editable=\"true\" data-title=\"Replication Data\"\u003EReplication Data\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E里面有不少有趣的数据，感兴趣的同学可以去围观。\u003C\u002Fp\u003E","updated":new Date("2017-05-07T08:46:40.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":9,"state":"published","isLiked":false,"slug":"26763740","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-07T16:46:40+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26763740\u002Fcomments"},"url":"\u002Fp\u002F26763740","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F26763740","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":9},"26853983":{"title":"与心理学数据分析相关的R工具包","author":"hcp4715","content":"\u003Cp\u003E注：本文在52brain.com上同步发布：\u003Ca href=\"http:\u002F\u002Fhome.52brain.com\u002Fthread-30349-1-1.html\"\u003E与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E为下周末的\u003Ca href=\"http:\u002F\u002Fchina-r.org\u002Fbj2017\u002Findex.html\"\u003ER语言会议\u003C\u002Fa\u003E热个身，写下自己收集的心理学研究的数据分析相关的R包。\u003C\u002Fp\u003E\u003Cp\u003ER语言做统计已经慢慢成为（国际）心理学的主流了，国内由于盗版SPSS的长期存在，严重阻碍了心理学研究者使用R的步伐。当然，考虑到大部分心理学研究生既怕数学又怕写（简单的）代码（玩笑哈，别太当真），即便在心理学强大的美国，使用R也是一件需要大力去提倡的事情。比如美国心理学会（Association for Psychological Science, APS）针对会员的月刊Observer的三月刊中，就专门推R的使用：\u003Ca href=\"http:\u002F\u002Fwww.psychologicalscience.org\u002Fissue\u002Fmarch-17\"\u003EAssociation for Psychological Science\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E我去年上半年在国外交换时，正好时间比较空闲，于是花了大量的时间把自己之前使用SPSS做的分析全部换成了R，慢慢了收集了一些心理学数据分析中能够用到的R包，分享一下，因为好像这些R语言会议上我们不会讲这些包的使用，而主要讲一些R使用的大致方法。欢迎大家补充，一起完善。\u003C\u002Fp\u003E\u003Cp\u003E当然，有许多通用的包在心理学数据分析中也非常重要，比如ggplot2等，在这里就不说了。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESurvey Data:\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003Epsych: personality and psychological research\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fpersonality-project.org\u002Fr\u002Fpsych\u002F\"\u003EPersonality Project\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ESEM:\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003Elavaan: latent variable analysis\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Flavaan.ugent.be\u002F\"\u003EThe lavaan Project\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EOpenMx\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"http:\u002F\u002Fopenmx.ssri.psu.edu\u002F\"\u003EOpenMx\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EExperimental data (RT)\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003Eez: easy way to analyze factorial design data.（hcp:做重复测量方式分析的不二选择）\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fez\u002Findex.html\"\u003ECRAN - Package ez\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003Ejmv: 这个即有R包也有GUI的软件，适合刚从SPSS转过来的同行\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fwww.jamovi.org\u002Fjmv\u002F\"\u003Ejmv r package - jamovi\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003Etrimr: trim reaction times data.\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Ftrimr\u002F\"\u003ECRAN - Package trimr\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003ETOSTER: equivalence test\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FTOSTER\u002Findex.html\"\u003ECRAN - Package TOSTER\u003C\u002Fa\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EBootES:使用bootstrap的方式计算效应量及其置信区间\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FbootES\u002Findex.html\"\u003Ehttps:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FbootES\u002Findex.html\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003Eeffsize: calculate Cohen's d and confidence intervals\u003Cbr\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Feffsize\u002Findex.html\"\u003ECRAN - Package effsize\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Ecompute.es: compute effect size.\u003Cbr\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fcompute.es\u002Findex.html\"\u003ECRAN - Package compute.es\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Elsr: Effect size calculations for ANOVAs\u003Cbr\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Flsr\u002Findex.html\"\u003ECRAN - Package lsr\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003ELinear Mixed-Effects Models\u003Cbr\u003Elme4: \u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Flme4\u002Findex.html\"\u003ECRAN - Package lme4\u003C\u002Fa\u003E\u003Cbr\u003Enlme: \u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fnlme\u002Findex.html\"\u003ECRAN - Package nlme\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Emultinormial model\u003Cbr\u003ETreeBUGS: \u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FTreeBUGS\u002Findex.html\"\u003ECRAN - Package TreeBUGS\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Eex-Gaussian model:\u003Cbr\u003Eretimes:\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fretimes\u002Findex.html\"\u003ECRAN - Package retimes\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003EDrift Diffusion Model:\u003Cbr\u003ERWiener: \u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FRWiener\u002Findex.html\"\u003ECRAN - Package RWiener\u003C\u002Fa\u003E \u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EMeta-analysis:\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E关于使用R做元分析有一个专门的页面：\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fviews\u002FMetaAnalysis.html\"\u003ECRAN Task View: Meta-Analysis\u003C\u002Fa\u003E\u003Cbr\u003Emvmeta: Multivariate and Univariate Meta-Analysis and Meta-Regression\u003Cbr\u003E\u003Ca href=\"http:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fmvmeta\u002F\"\u003ECRAN - Package mvmeta\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Emetacor: Meta-analysis of correlation coefficients\u003Cbr\u003E\u003Ca href=\"http:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002Fmetacor\u002Findex.html\"\u003ECRAN - Package metacor\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003Emetafor:\u003Cbr\u003E\u003Ca href=\"http:\u002F\u002Fwww.metafor-project.org\u002Fdoku.php\"\u003EThe metafor Package\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003EmetaSEM: 用SEM的方法来做元分析。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FmetaSEM\u002Findex.html\"\u003ECRAN - Package metaSEM\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003Erelated packages: heplots, BaylorEdPsych\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003Cb\u003EBayesian Stats:\u003C\u002Fb\u003E\u003Cbr\u003EBayesFactor：\u003Ca href=\"http:\u002F\u002Fbayesfactorpcl.r-forge.r-project.org\u002F\"\u003Ehttp:\u002F\u002Fbayesfactorpcl.r-forge.r-project.org\u002F\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003EBEST（Bayesian Estimation Supersedes the t-Test）：\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FBEST\u002Findex.html\"\u003ECRAN - Package BEST\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003EBANOVA\u003Cbr\u003E\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FBANOVA\u002Findex.html\"\u003ECRAN - Package BANOVA\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003EBayesMed:\u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FBayesMed\u002Findex.html\"\u003ECRAN - Package BayesMed\u003C\u002Fa\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003ENotes on the use of R for psychology experiments and questionnaires by Jonathan Baron\u003Cbr\u003E\u003Ca href=\"http:\u002F\u002Fwww.psych.upenn.edu\u002F~baron\u002Frpsych\u002Frpsych.html\"\u003ENotes on the use of R for psychology experiments and questionnaires\u003C\u002Fa\u003E \u003Cb\u003EManuscript preparation\u003C\u002Fb\u003E\u003Cbr\u003Epapaja：\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fcrsh\u002Fpapaja\"\u003Ecrsh\u002Fpapaja\u003C\u002Fa\u003E\u003Cbr\u003EapaTables： \u003Ca href=\"https:\u002F\u002Fcran.r-project.org\u002Fweb\u002Fpackages\u002FapaTables\u002Findex.html\"\u003ECRAN - Package apaTables\u003C\u002Fa\u003E \u003Cb\u003ECheck Statistics\u003C\u002Fb\u003E\u003Cbr\u003ER package “statcheck”: Extract statistics from articles and recompute values (Epskamp, S., &amp; Nuijten, M. B., 2015)\u003Cbr\u003Estatcheck: Exact statistic from articles and recompute values\u003Cbr\u003E\u003Ca href=\"http:\u002F\u002Fmbnuijten.com\u002Fstatcheck\u002F\"\u003Estatcheck\u003C\u002Fa\u003E \u003Cb\u003EVisualization\u003C\u002Fb\u003E\u003Cbr\u003EYaRrr: more information than bar graph\u003Cbr\u003E\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fndphillips\u002Fyarrr\"\u003Endphillips\u002Fyarrr\u003C\u002Fa\u003E \u003C\u002Fp\u003E\u003Cp\u003E国内其实有一个使用R和开发R包的心理学团队，欢迎大家关注：\u003Ca href=\"http:\u002F\u002Fwww.psychor.club\u002F\"\u003EPsychoR.club\u003C\u002Fa\u003E。\u003C\u002Fp\u003E","updated":new Date("2017-05-11T12:58:44.000Z"),"canComment":false,"commentPermission":"review","commentCount":10,"likeCount":157,"state":"published","isLiked":false,"slug":"26853983","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-11T20:58:44+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F26853983\u002Fcomments"},"url":"\u002Fp\u002F26853983","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F26853983","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":157},"27262140":{"title":"9个认知心理学实验被成功重复","author":"hcp4715","content":"\u003Cp\u003E心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。\u003C\u002Fp\u003E\u003Cp\u003EErasumus University Rotterdam的Rolf A. Zwaan及其同事最近在PsyArXiv预发布平台上更新了他们最近重复实验的结果。在这个研究中，他们使用Amazon Mechanical Turk来招募实验志愿者，使用Inquisit在线呈现刺激并且收集反应时间，而他们重复的实验，是认知心理学中比较常用实验范式：\u003C\u002Fp\u003E\u003Cimg src=\"v2-b96700f344a79338985a46a25058adc7.jpg\" data-rawwidth=\"1743\" data-rawheight=\"3496\"\u003E\u003Cbr\u003E\u003Cp\u003E这9个认知心理学效应均可以重复，即便重复实验的环境比原实验环境相比不那么好。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E当然，这些数据和分析代码都在这里公开了：想练习和观摩可以点这里：\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fb27fd\u002F\" data-editable=\"true\" data-title=\"osf.io 的页面\"\u003Ehttps:\u002F\u002Fosf.io\u002Fb27fd\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003EZwaan, R., Pecher, D., Paolacci, G., Bouwmeester, S., Verkoeijen, P., Dijkstra, K., &amp; Zeelenberg, R. (2017). Some Psychological Effects Replicate Even Under Potentially Adverse Conditions. PsyArXiv. Retrieved from \u003Ca href=\"https:\u002F\u002Fosf.io\u002Fpreprints\u002Fpsyarxiv\u002Frbz29\" data-editable=\"true\" data-title=\"osf.io 的页面\"\u003Ehttps:\u002F\u002Fosf.io\u002Fpreprints\u002Fpsyarxiv\u002Frbz29\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-06-06T01:13:57.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":24,"likeCount":134,"state":"published","isLiked":false,"slug":"27262140","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-06T09:13:57+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27262140\u002Fcomments"},"url":"\u002Fp\u002F27262140","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27262140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":24,"likesCount":134},"27518497":{"title":"与浙师大研究生分享可重复性相关的问题","author":"hcp4715","content":"6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。\u003Cp\u003E这次分享的主要介绍如下内容：引发心理学对可重复关注的主要事件；导致心理学研究可重复性低的两个主要原因；心理学研究的可重复性现状；国际心理学界提出的解决方案以及我们作为心理学研究工作者应该如何做。\u003C\u002Fp\u003E\u003Cp\u003E这次分享自己的主要感受是：随着时间的推移，可重复性危机是否存在这个问题已经不是关注的重点，重点转向为如何让心理学研究变得更加开放、透明。另外，其实在这个过程中，有非常多的资源可以利用、也有很多合作的机会，这方面其实还挺有意思的。\u003C\u002Fp\u003E\u003Cp\u003E这次远程分享可以算作是COS大使的一部分义务，宣传开放、透明科学。\u003C\u002Fp\u003E\u003Cp\u003E分享的PPT可以在这里下载：\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fwfzpa\u002F\" data-editable=\"true\" data-title=\"OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\" class=\"\"\u003EOSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\u003C\u002Fa\u003E\u003C\u002Fp\u003E","updated":new Date("2017-06-22T13:58:55.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":21,"state":"published","isLiked":false,"slug":"27518497","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-22T21:58:55+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27518497\u002Fcomments"},"url":"\u002Fp\u002F27518497","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-5586b2c47a943c45eb05e9eab8c0431d_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F27518497","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":21},"27589342":{"title":"Mini Meta-analysis或者单个论文中的元分析","author":"hcp4715","content":"今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的是，好像大家对这个方法不太熟悉，这里做一个非常简单的介绍。\u003Cp\u003E首先，元分析(meta-analysis)，从本质上讲就是采用统计的方法，将多个研究中的数据结果综合起来，从而对研究的效应进行一个量化的总结。元分析最早可能是用来证明吸烟与肺癌之间的关系（应该是出自《The Emperor of All Maladies》，细节记不清楚了，如有错误请指正）。当时烟草企业要极力否认这种关系，而人类研究往往无法进行因果推断，动物研究无法直接用到人类身上，在这种情况下，统计学家们使用元分析的方法综合了各种证据，指出吸烟与肺癌之间的关系是不可否认的，才有了后来烟草包装上的提示。正因为元分析是对研究的量化总结，因为，\u003Cb\u003E从某种意义上讲，只要有2个以上的实验\u002F研究，就可以做元分析\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E在心理学中的可重复性问题受到广泛关注中，La Trobe University的 Geoff Cumming在psychological science上发表了一篇名为《The New Statistics: Why and How》的文章，在这个文章中，专门讲了元分析的知识，并且在给研究的25条建议中，提倡使用元分析：\u003C\u002Fp\u003E\u003Cblockquote\u003EUse small- or large-scale meta-analysis whenever that helps build a cumulative discipline.\u003C\u002Fblockquote\u003E\u003Cp\u003E那么，随后，有一些研究者专门提出了使用小规模的元分析，帮助作者来对自己的研究现象达到一个更加精确的效应量估计。主要有如下：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003EGoh, J. X., Hall, J. A., &amp; Rosenthal, R. (2016). \u003Cb\u003EMini Meta-Analysis\u003C\u002Fb\u003E of Your Own Studies: Some Arguments on Why and a Primer on How. Social and Personality Psychology Compass, 10(10), 535-549. doi:10.1111\u002Fspc3.12267 \u003C\u002Fp\u003E\u003Cp\u003E这个文章的一作是华人，他们提供了一个在线的excel工具，可以使用。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003EMcShane, B. B., &amp; Böckenholt, U. (2017). \u003Cb\u003ESingle-Paper Meta-Analysis\u003C\u002Fb\u003E: Benefits for Study Summary, Theory Testing, and Replicability. Journal of Consumer Research, 43(6), 1048-1063. doi:10.1093\u002Fjcr\u002Fucw085\u003C\u002Fp\u003E\u003Cp\u003E这个文章也提供了一个在线的工具，直接搜索文章的名字可以找到。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003EUeno, T., Fastrich, G. M., &amp; Murayama, K. (2016). Meta-Analysis to Integrate Effect Sizes Within an Article: Possible Misuse and Type I Error Inflation. Journal of Experimental Psychology: General, 145(5), 643-654. doi:10.1037\u002Fxge0000159\u003C\u002Fp\u003E\u003Cp\u003E这个文章主要是提供一些使用这种mini meta-analysis的时候要注意的事项。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E这里需要提一下另一篇JEPG的文章：\u003C\u002Fp\u003E\u003Cp\u003ETuk, M. A., Zhang, K., &amp; Sweldens, S. (2015). The propagation of self-control: Self-control in one domain simultaneously improves self-control in other domains. Journal of Experimental Psychology: General, 144(3), 639–354. doi:10.1037\u002Fxge0000065\u003C\u002Fp\u003E\u003Cp\u003E这篇文章是JEPG的副主编 Michael Inzlicht处理的，他自己后来说这个审稿过程非常有意义：\u003Ca href=\"http:\u002F\u002Fsometimesimwrong.typepad.com\u002Fwrong\u002F2015\u002F11\u002Fguest-post-a-tale-of-two-papers.html\" data-editable=\"true\" data-title=\"Guest Post: A Tale of Two Papers\"\u003EGuest Post: A Tale of Two Papers\u003C\u002Fa\u003E。我引用了关键的几处：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003ETo illustrate, let me tell you the story of two papers I edited. The first paper contained 7 experiments, often with outliers removed and covariates included, and reported effect sizes in the medium to large range all supporting the main hypothesis. The second paper contained 18 experiments, didn’t exclude anyone or add any covariates, and reported small effect sizes that sometimes were contrary to the hypothesis. The first paper found 7 out of 7 significant results; the second paper contained 2 significant effects out of 18.\u003C\u002Fp\u003E\u003Cp\u003EThese were not two papers. They were two versions of the same paper.\u003C\u002Fp\u003E\u003Cp\u003E......\u003C\u002Fp\u003E\u003Cp\u003EDespite high marks from reviewers enthralled with the topic, I decided to reject the first paper because of signs of non-robustness.\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E...\u003C\u002Fp\u003E\u003Cp\u003EI invited the authors to submit this second paper and after a few rounds of revision, the paper was accepted. Their meta-analytic effect, unlike almost all others in the field, is based on a body of data that is not warped by the file drawer. Clearly, we now know that all data warrant independent replication; but to me, these data are trustworthy.\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E所以，如果你有多个研究，有的显著，有的不显著。现在也许你可以考虑做一个元分析来让你的研究更加可靠。\u003C\u002Fp\u003E\u003Cp\u003E如果说非要我提供一些具有可操作性的做法的话，我推荐这个使用R的网页：\u003Ca href=\"https:\u002F\u002Fscienceofpsych.wordpress.com\u002F2015\u002F08\u002F07\u002Fwhen-study-1-and-study-2-disagree-practical-recommendations-for-researchers\u002F\" class=\"\" data-editable=\"true\" data-title=\"When Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers\"\u003EWhen Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers\u003C\u002Fa\u003E。\u003C\u002Fp\u003E","updated":new Date("2017-06-27T14:17:27.000Z"),"canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":57,"state":"published","isLiked":false,"slug":"27589342","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-27T22:17:27+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F27589342\u002Fcomments"},"url":"\u002Fp\u002F27589342","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F27589342","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":57},"28050349":{"title":"什么？以后p \u003C .005才是统计上显著！","author":"hcp4715","content":"\u003Cp\u003E在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：\u003C\u002Fp\u003E\u003Cimg src=\"v2-15b4dc30c80b1a2696bf7450a2bf8190.png\" data-rawwidth=\"724\" data-rawheight=\"587\"\u003E\u003Cp\u003E这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-af1431b30c530bb8d8d75d127a96ee0f.png\" data-rawwidth=\"533\" data-rawheight=\"331\"\u003E\u003Cp\u003E比如我所知道的：E.-J. Wagenmakers, Christopher Chambers（推pre-register的大牛）, Zoltan Dienes, Ernst Fehr （神经经济学的大牛）, Steve Goodman, Anthony Greenwald （IAT的开发者）, Larry Hedge (Handbook of Meta-analysis的主编)；Scott E. Maxwell （心理学关于统计功效的许多文章是他发的）等等。\u003Cb\u003E还有知识分子的主编之一谢宇老师！\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这72个人在一起想搞的事情就是：当前研究中常用的统计指标p值中，使用.05作为显著性的阈值太不靠谱了，需要更加严格一些，使用.005（粗体是我加的，不是原文）：\u003C\u002Fp\u003E\u003Cblockquote\u003EResults that would currently be called “significant” but do not meet the new threshold should instead be called “suggestive.” While statisticians have known the relative weakness of using p ≈ 0.05 as a threshold for discovery and the proposal to lower it to 0.005 is not new (1, 2), \u003Cb\u003Ea critical mass of researchers now endorse this chang\u003C\u002Fb\u003Ee.\u003C\u002Fblockquote\u003E\u003Cp\u003E但是，这个文章也明确说明：对.005这个值的推荐，实际上在对新现象的探索性研究中，以及在零假设显著性检验（NHST）这个方法中。为什么要将显著性的阈值从.05到.005？比如，对于有些研究者来说，这没有意义啊，因为他们可能觉得贝叶斯方法更好（比如Wagenmakers等）。有研究者直接在FB上批评：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-3e376298ddcc087b4684a670a11e8773.png\" data-rawwidth=\"575\" data-rawheight=\"645\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E但实际上作者们的考虑是（粗体是我加的，不是原文）：\u003C\u002Fp\u003E\u003Cblockquote\u003Echanging the P-value threshold is simple, aligns with the \u003Cb\u003Etraining undertaken by many researchers\u003C\u002Fb\u003E, and might quickly achieve broad acceptance.\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E为什么选择.005呢？\u003C\u002Fb\u003E作者们写下如下两点原因：\u003C\u002Fp\u003E\u003Cp\u003E第一、.005大约与贝叶斯因子的14~26相对应，是比较强的证据；\u003C\u002Fp\u003E\u003Cp\u003E第二、.005在许多研究领域者能够较好地控制假阳性（关于假阳性的控制，可以看这个帖子：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F23334271\"\u003E控制一类错误和二类错误\u003C\u002Fa\u003E）；\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E作者们也考虑到了\u003Cb\u003E可能的反对声音\u003C\u002Fb\u003E：\u003C\u002Fp\u003E\u003Cblockquote\u003EThe false negative rate would become unacceptably high. ...\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003EThe proposal does not address multiple hypothesis testing, P-hacking, publication bias, low power, or other biases (e.g., confounding, selective reporting, measurement error), which are arguably the bigger problems.  ...\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003EThe appropriate threshold for statistical significance should be different for different research communities. ....\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003EChanging the significance threshold is a distraction from the real solution, which is to replace null hypothesis significance testing (and bright-line thresholds) with more focus on effect sizes and confidence intervals, treating the P-value as a continuous measure, and\u002For a Bayesian method. ... \u003C\u002Fblockquote\u003E\u003Cp\u003E这些提出的预想的反对声音也止不住研究者有其他的批评，大家可以去这个帖子围观（需要翻*墙）：https:\u002F\u002Fwww.facebook.com\u002Fgroups\u002F853552931365745\u002Fpermalink\u002F1453935681327464\u002F\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E当然，大家可能最关心的是：以后真的会用.005作为标准吗？\u003C\u002Fb\u003E这个问题比较难说，但可能Nature human behaviour会采用这个标准。这个新杂志出来后，已经就可重复性的问题发了几篇editorial了，加上这个众多大佬的宣言式的论文，有可能会成为一些比较前卫杂志的新标准。\u003C\u002Fp\u003E\u003Cp\u003E目前这个文章的预印本在这里可以下载（什么是预印本？看这里\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26042413\"\u003E中国的预印平台：ChinaXiv\u003C\u002Fa\u003E）：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fpreprints\u002Fpsyarxiv\u002Fmky9j\u002F\"\u003Ehttps:\u002F\u002Fosf.io\u002Fpreprints\u002Fpsyarxiv\u002Fmky9j\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E2017.07.23 22:45更新：这个文章目前在facebook和twitter上引起了非常大的争议，一些争议点我慢慢跟进。\u003C\u002Fp\u003E","updated":new Date("2017-07-22T20:22:20.000Z"),"canComment":false,"commentPermission":"review","commentCount":45,"likeCount":369,"state":"published","isLiked":false,"slug":"28050349","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-23T04:22:20+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28050349\u002Fcomments"},"url":"\u002Fp\u002F28050349","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F28050349","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":45,"likesCount":369},"28335375":{"title":"使用StudySwap、RRR等参与国际合作研究","author":"hcp4715","content":"\u003Cp\u003E心理学的可重复性问题已经成为大部分人所接受的事实。\u003C\u002Fp\u003E\u003Cp\u003E在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 2014. Soc. Psych.)。另一个更有名的是2015年在science上以Open Science Collaboration 之名发表的研究（Open Science Collaboration, 2015），当然还有后续的Manylab项目（Ebersole et al., 2016）。\u003C\u002Fp\u003E\u003Cp\u003E这种跨国的合作项目，正在成为一种新的开展研究的形式，有一些研究者在进行推广。由于本人一直对可重复性问题非常关注，因此也有幸参过两个以Many Lab形式开展的跨国合作。这两个研究均使用问卷为主，研究问题是社会心理学问题。其中第一个项目“\u003Ca href=\"https:\u002F\u002Fosf.io\u002F6b289\u002F\"\u003EThe Human Penguin Project\u003C\u002Fa\u003E” 已经基本完成，文章正在审稿之中，而借助这个数据，组织这个项目的合作者Hans在Brain &amp; Behavioural Science（BBS）上对一个文章进行评论（见下图）；第二个项目4月份完成了数据收集，正在分析之中。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-e5bdcaba0a226e863f38c6796121117a.png\" data-rawwidth=\"925\" data-rawheight=\"524\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E正好，最近有研究者在推荐这种研究的方式（Randy McCarthy 和Chris Chartier 的\u003Ca href=\"http:\u002F\u002Frandom-error-social-psychology.blogspot.sg\u002F2017\u002F08\u002Fthe-benefits-of-crowdsourced-research.html\"\u003E博客\u003C\u002Fa\u003E；Lakens的博客\u003Ca href=\"http:\u002F\u002Fdaniellakens.blogspot.sg\u002F2017\u002F08\u002Ftowards-more-collaborative-science-with.html\"\u003E博客\u003C\u002Fa\u003E，需要科学上网）。所以我也在这里推荐国内的研究多（尤其是研究生）多参与这种合作，因为这种方式（对研究生的训练）有如下几个好处：\u003C\u002Fp\u003E\u003Cp\u003E第一，参与和熟悉提前注册(Pre-register)。一般这种公开的研究，均需要提前注册，通过参与这种合作，能够了解提前注册的要求和流程。\u003C\u002Fp\u003E\u003Cp\u003E第二，获得实验材料、实验程序以及数据分析代码。一般这种集体合作，均使用开源的工具来完成整个实验，所以极可能可以获得python代码写成的实验程序和使用R写成的数据分析代码。\u003C\u002Fp\u003E\u003Cp\u003E第三，参与国际合作，了解国际研究的流程，扩展自己的学术关系网络。这一点对于欧美研究者来说不是问题，但是对于国内学者还说还是挺有好处的。\u003C\u002Fp\u003E\u003Cp\u003E第四，参与高水平的研究，提升自身影响。比如，对博士生在读的我来说，名字能出现在BBS上也是一个非常 开心的事情。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E此外，对于整个科学界来说，这种集体合作完成的研究相对单个研究小组的研究来说，也有如下优势：\u003C\u002Fp\u003E\u003Cp\u003E第一：提前注册，即在研究之前就已经把研究方案公开，避免了可疑研究操作和p-hacking；\u003C\u002Fp\u003E\u003Cp\u003E第二：多研究组多国研究团队共同完成，具有跨文化的特点，效应是否稳定，一目了然；\u003C\u002Fp\u003E\u003Cp\u003E第三：由于是多个团队完成，所以样本量大，统计效力强；\u003C\u002Fp\u003E\u003Cp\u003E第四：因为已经提前注册，所以收集完数据就会被收录，没有出版偏误，不管是否显著，都报告。\u003C\u002Fp\u003E\u003Cp\u003E第五，避免各个组独立重复造成的过度工作，对于科研界整体来说，实际上节约了很多资源。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E那么，如何参与这样的合作？我了解的这样几个途径：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E第一个是\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fview\u002Fstudyswap\u002F\"\u003EStudySwap\u003C\u002Fa\u003E。在这个网站上，你可以看到有哪些研究者正在发起合作研究。同时，你觉得你的研究很需要国际合作，也可以发布你的研究计划，招募合作者！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-8271eb8ec4f55229e35ec470c4c113ab.png\" data-rawwidth=\"180\" data-rawheight=\"132\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E第二个，美国Association for Psychological Science (APS)组织的Registered Replication Reports(\u003Ca href=\"https:\u002F\u002Fwww.psychologicalscience.org\u002Fpublications\u002Freplication\"\u003ERRR\u003C\u002Fa\u003E)。关注他们是否有新的项目开展。去年12月我参与过一个重复项目，后来因为毕业前事情太多退出了。当时他们是使用python写的实验程序，我觉得是一个很好的机会。另外，就是可以和大牛一起合作，APS的RRR是Daniel Simons组织的，你可能不一定记得这个名字，但是你一定听说过注意盲视（看不见黑猩猩的那个实验）\u003C\u002Fp\u003E\u003Cp\u003E第三个，Psi Chi's Network for International Collaborative Exchange ：\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fjuupx\u002F\"\u003ENICE\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E还有一个目前未宣布的计划：Collabra: Psychology这个新杂志将有一些Nexus的特刊，主要是一个叫做Collections^2的提前注册的研究。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EReference: \u003C\u002Fp\u003E\u003Cp\u003EEbersole, C. R., Atherton, O. E., Belanger, A. L., Skulborstad, H. M., Allen, J. M., Banks, J. B., . . . Nosek, B. A. (2016). Many Labs 3: Evaluating participant pool quality across the academic semester via replication. Journal of Experimental Social Psychology, 67, 68-82. doi:\u003Ca href=\"http:\u002F\u002Fdx.doi.org\u002F10.1016\u002Fj.jesp.2015.10.012\"\u003E10.1016\u002Fj.jesp.2015.10.012\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003EKlein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š., Bernstein, M. J., . . . Nosek, B. A. (2014). Investigating variation in replicability: a “many labs” replication project. Social Psychology, 45(3), 142–152. doi:10.1027\u002F1864-9335\u002Fa000178\u003C\u002Fp\u003E\u003Cp\u003EOpen Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126\u002Fscience.aac4716\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-08-05T13:51:26.000Z"),"canComment":false,"commentPermission":"review","commentCount":1,"likeCount":21,"state":"published","isLiked":false,"slug":"28335375","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-05T21:51:26+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F28335375\u002Fcomments"},"url":"\u002Fp\u002F28335375","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F28335375","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":21},"29736775":{"title":"[Pre-print]贝叶斯因子及其在JASP中的实现","author":"hcp4715","content":"\u003Cp\u003E酝酿许久之后，这个旨在向国内同行介绍贝叶斯因子以及如何在免费统计软件\u003Ca href=\"https:\u002F\u002Fjasp-stats.org\u002F\"\u003EJASP\u003C\u002Fa\u003E中实现贝叶斯因子分析的论文终于完成了第一稿，并且投出去了。\u003C\u002Fp\u003E\u003Cp\u003E投出去之后，按照我们所倡导的开放科学的原则，目前已经在国内的预发布平台\u003Ca href=\"http:\u002F\u002Fwww.chinaxiv.org\u002Fhome.htm\"\u003EChinaXiv\u003C\u002Fa\u003E上进行了发布：\u003Ca href=\"http:\u002F\u002Fwww.chinaxiv.org\u002Fabs\u002F201709.00120\"\u003E贝叶斯因子及其在JASP中的实现\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E这个文章的目的很简单：让更多的人理解贝叶斯因子的原理以及能够在自己的研究中使用该方法。\u003C\u002Fp\u003E\u003Cp\u003E所以这个文章有两个特点(\u003Cb\u003E敲黑板\u003C\u002Fb\u003E)：第一，浅显易懂的，适合所有想了解贝叶斯因子的研究人员。我们尽量避免使用太复杂的公式（我本科第一专业是法学，所以文科背景的同学不用害怕）。第二，使用最常用的t检验作为例子来解释如何在JASP中实现贝叶斯因子分析，并且把分析时的截图也附上（虽然不知道这样会不会给审稿时带来负面影响），所以应该能够很快上手。\u003C\u002Fp\u003E\u003Cp\u003E例如，文章中的一面是这样的：\u003C\u002Fp\u003E\u003Cimg src=\"v2-fa862f09792802ae0eb85cb59f3e2e69.jpg\" data-rawwidth=\"796\" data-rawheight=\"727\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个文章是与马普所的\u003Ca href=\"http:\u002F\u002Fwww.mpi.nl\u002Fpeople\u002Fkong-xiangzhen\"\u003E孔祥祯\u003C\u002Fa\u003E博士、阿姆斯特丹大学心理学系的\u003Ca href=\"http:\u002F\u002Fwww.ejwagenmakers.com\u002F\"\u003EWagenmakers\u003C\u002Fa\u003E教授、\u003Ca href=\"http:\u002F\u002Fwww.alexander-ly.com\u002F\"\u003ELy\u003C\u002Fa\u003E博士以及我博士期间导师彭凯平教授合作撰写。各位合作者在撰写的过程中进行了许多个来回的讨论、包括对一个公式的细节也进行了探讨。整个过程自己感觉学习了很多，也非常愉快！\u003C\u002Fp\u003E\u003Cp\u003E这个文章也特别感谢清华大学心理学系的张咪同学，她在本文撰写之初提供了很多帮助。\u003C\u002Fp\u003E\u003Cp\u003E如果大家有兴趣，可以去ChinaXiv上下载pdf全文：\u003Ca href=\"http:\u002F\u002Fwww.chinaxiv.org\u002Fabs\u002F201709.00120\"\u003E贝叶斯因子及其在JASP中的实现\u003C\u002Fa\u003E。希望能够对从事研究的同行有所帮助。如果有什么问题，也留言反馈或者其他方式与我联系。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E注：本文在OpenScience公众号（微信号：OpenScience）上同步发布，欢迎大家关注：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzUxMTA0ODQ0OA==&amp;amp;mid=2247483657&amp;amp;idx=1&amp;amp;sn=6fae255837937a7108172d5977c5d413&amp;amp;chksm=f978ef66ce0f66705e9612675182cb785d53d534ae556d560765946dbd2fc140ff98f7374dde#rd\"\u003E[Pre-print]贝叶斯因子及其在JASP中的实现\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-09-27T20:18:02.000Z"),"canComment":false,"commentPermission":"review","commentCount":7,"likeCount":15,"state":"published","isLiked":false,"slug":"29736775","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-09-28T04:18:02+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F29736775\u002Fcomments"},"url":"\u002Fp\u002F29736775","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F29736775","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":7,"likesCount":15},"30390097":{"title":"《如何进行开放、透明和可重复的心理学研究》工作坊","author":"hcp4715","content":"\u003Cp\u003E本文首发于Open Science Club主页：\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F?p=38\"\u003E《如何进行开放、透明和可重复的心理学研究》工作坊 - Open Science Club\u003C\u002Fa\u003E。也在我们的\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzUxMTA0ODQ0OA==&amp;mid=2247483666&amp;idx=1&amp;sn=767c8f378771459b1445b1b28f3b2c11&amp;chksm=f978ef7dce0f666b480b48fc4a8cb8a89315e7bab6e78e6fc4dd379a4095eb55fa18fa0662d4#rd\"\u003E微信公众号\u003C\u002Fa\u003E上发布，全文如下：\u003C\u002Fp\u003E\u003Cp\u003E2017年11月03日，在\u003Ca href=\"http:\u002F\u002Fwww.nacp2017.org\u002Fpagenews.php?id=79\"\u003E第20届全国心理学大会\u003C\u002Fa\u003E之前，本人作为Center of Open Science的Ambassador，联合PsychoR团队、中国科学院文献情报中心Chinaxiv团队，举办题为《如何进行开放、透明和可重复的心理学研究》的工作坊。\u003C\u002Fp\u003E\u003Cp\u003E本次工作坊的主要内容仍然是围绕心理学研究的可重复性问题。这也是第二次在全国心理学大会前举办此类的工作坊。去年10年，我与同事在第19届心理学大会（陕西西安）举行了第一次关于心理学研究可重复性的工作坊（当时的ppt可以在这里下载：\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fhuyn4\u002F\"\u003EHow to improve the reproducibility of our research -- Workshop (2016年心理学大会工作坊)\u003C\u002Fa\u003E）。\u003C\u002Fp\u003E\u003Cp\u003E虽然主题相同，但是内容上我们尽量做到跟进最新的变化。这次的重点将从向国内介绍心理学研究中的可重复危机，变为如何去适应\u002F应对可重复危机之后的各种变化，其中最重要的是科学研究\u003Cb\u003E实践中的标准\u003C\u002Fb\u003E的变化。之所以有这个变化，是因为在国际学界，经过了前几年的争论之后，心理学的可重复危机已经成为绝大部分研究者认同的事实，现在的讨论将主要集中于如何去让心理学变更好，更能够经得“重复标准”的检验。\u003C\u002Fp\u003E\u003Cp\u003E另一个非常重要的方面，由于科研标准的变化，对研究者也提出了新的要求。我们邀请了国内首个扩大在心理学中使用R语言的兴趣团队：PsychoR团队为本次工作坊来讲解R在心理学研究中的使用。（见\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26853983\"\u003E与心理学数据分析相关的R工具包\u003C\u002Fa\u003E一文对PsychoR团队的介绍:）\u003C\u002Fp\u003E\u003Cp\u003E此外，在开放的科研中，在论文正式发表之前预发布也成为越来越成熟和重要的形式。考虑到这个原因，我们邀请了中国科学院文献情报中心Chinaxiv团队来讲述预发布的作用以及中国科学院的论文预发布平台的运作方式。这个平台我先前已经在本专栏中介绍过:\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26042413\"\u003E中国的预印平台：中科院科技论文预发布平台\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E本次工作坊的大纲如下：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E可重复性问题现状及原因（胡传鹏）\u003C\u002Fli\u003E\u003Cli\u003E心理学研究的新标准: 审稿标准、研究实践等简介（胡传鹏）\u003C\u002Fli\u003E\u003Cli\u003EOpen Science Framework与提前注册、公开数据（胡传鹏）\u003C\u002Fli\u003E\u003Cli\u003E预发布平台：ChinaXiv （陈雪飞）\u003C\u002Fli\u003E\u003Cli\u003ER语言、JASP在增强可重复性中的作用\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cul\u003E\u003Cli\u003E  R语言的工作流程 （夏骁凯）\u003C\u002Fli\u003E\u003Cli\u003E   利用R语言规范化心理学实证研究（黄秋楠）\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cb\u003E主讲人简介：\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E胡传鹏\u003C\u002Fb\u003E，德国美茵茨大学神经成像中心博士后；Ambassador of Center for Open\u003Cbr\u003EScience。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E夏骁凯\u003C\u002Fb\u003E，华南师范大学心理学博士研究生， PsychoR团队负责人，致力于推广基于R的心理学数据分析工作流。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E黄秋楠\u003C\u002Fb\u003E，天津师范大学心理学硕士研究生；PsychoR团队成员。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E陈雪飞\u003C\u002Fb\u003E，2012年毕业于中国科学院文献情报中心，情报学硕士，2012-至今，中国科学院文献情报中心，馆员 。主要研究方向为开放资源的组织、服务，开放科学、开放知识、开放创新等议题。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E时间：2017.11.03， 08:00 - 17:00 （中途2小时左右的休息时间）\u003C\u002Fp\u003E\u003Cp\u003E地点：西南大学心理学部415.\u003C\u002Fp\u003E\u003Cp\u003E报名方式，填写问卷即可：\u003Ca href=\"https:\u002F\u002Fwww.wenjuan.in\u002Fs\u002F6Zrquy\u002F\"\u003Ehttps:\u002F\u002Fwww.wenjuan.in\u002Fs\u002F6Zrquy\u002F\u003C\u002Fa\u003E；\u003C\u002Fp\u003E\u003Cp\u003Ehttps:\u002F\u002Fwww.wenjuan.in\u002Fs\u002F6Zrquy (二维码自动识别)\u003C\u002Fp\u003E\u003Cp\u003E最后：感谢本次心理学大会幕后筹备的老师和同学，辛苦了！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003EPS：我们现在已经有了自己的官方网站，请大家关注：\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F\"\u003EOpen Science Club\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cimg src=\"v2-fb5fe05b6d638a34df87984ef52c97f1.jpg\" data-caption=\"\" data-rawwidth=\"1317\" data-rawheight=\"408\"\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-23T20:23:23.000Z"),"canComment":false,"commentPermission":"review","commentCount":3,"likeCount":13,"state":"published","isLiked":false,"slug":"30390097","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-10-24T04:23:23+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30390097\u002Fcomments"},"url":"\u002Fp\u002F30390097","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F30390097","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":13},"30456056":{"title":"How to Justify Your Sample Size","author":"hcp4715","content":"\u003Cp\u003E注：本文首发于Open Science Club博客：\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F?p=45\"\u003EHow to Justify Your Sample Size\u003C\u002Fa\u003E；在我们的\u003Ca href=\"https:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzUxMTA0ODQ0OA==&amp;mid=2247483670&amp;idx=1&amp;sn=1f4e4e984f322f67f098b1c895e67660&amp;chksm=f978ef79ce0f666f2cf99315aee85e1da268c04fca06022424677c024c9563e9fcc3a4691f3e#rd\"\u003E公众号\u003C\u002Fa\u003E上也同时发布。\u003Cb\u003E版权所有，转载请联系本人（hcp4715@hotmail.com）\u003C\u002Fb\u003E。\u003C\u002Fp\u003E\u003Cp\u003E最近不止一个朋友问了我关于样本量(sample size)、功效分析（power analysis）或者效应量（effect size）相关的问题。这些问题基本上都可能源自于审稿中的一个：你是如何确定你现在这篇文章中的样本量的？当然，这个问题可能有几个变式：你的样本似乎有点小，不足以说明你的效应稳定；你是如何选择这么多被试的；或者“我建议作者重复自己的实验或者增加样本量”。\u003C\u002Fp\u003E\u003Cp\u003E很多人看到这个问题都是一脸懵逼？what? 还有这个操作？内心的想法是：难道大家不都是用这么大的样本量么？先前的研究中都没有说明样本量是如何选择的呀！？\u003C\u002Fp\u003E\u003Cp\u003E是的，先前的研究可能都是这么“任性”地使用20个被试并且完全不提为什么。\u003C\u002Fp\u003E\u003Cp\u003E但是，\u003Ca href=\"http:\u002F\u002Fandrewgelman.com\u002F2016\u002F09\u002F21\u002Fwhat-has-happened-down-here-is-the-winds-have-changed\u002F\"\u003Ethe winds have changed\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E现在主流的杂志都开始明确要求在方法部分说明自己的样本量是如何选择的。包括Nature系列，心理学包括Psych. Sci.等这样主流的杂志。\u003C\u002Fp\u003E\u003Cp\u003E从另一个角度，我们也要理解审稿人，可能他并不是统计学专家，甚至可能他不太关心这个问题。但是杂志的审稿要求中会明确列出这一点来，他作为一个负责人的审稿人，不得不重视这个问题。\u003C\u002Fp\u003E\u003Cp\u003E作为想要将自己研究成果发表的科研人员，我们应该做？根据我个人的知识和理解，先把效应量、样本量、统计功效和alpha水平四者之间关系简单地说明一下。然后也给出一些个人的建议。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1 为什么需要进行功效分析？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E这个问题一直是心理学方法中的一个非常严重的缺陷，但是应该被忽视了半个世纪多了，现在仍然不受到重视。简单来说，如果我们使用p &lt; 0.05作为拒绝H0的标准，那么我们需要非常非常注意研究的\u003Cb\u003E功效\u003C\u002Fb\u003E，因为即便真实存在效应，p值的分布会随着统计功效的变化而不同，这一点在Nature Methods的一篇文章说得非常清楚：\u003Ca href=\"https:\u002F\u002Fwww.nature.com\u002Fnmeth\u002Fjournal\u002Fv12\u002Fn3\u002Ffull\u002Fnmeth.3288.html\"\u003EThe fickle P value generates irreproducible results\u003C\u002Fa\u003E。简单来说，如果你的统计功效为50%，那么你做一次实验的话，有50%的可能得到p &lt; 0.05，50%可能得到p &gt; 0.05。所以假如你的实验的统计功效为50%，怎么能够说明审稿人你得到这个结果不是运气？\u003C\u002Fp\u003E\u003Cp\u003E当然，你可能会说，我已经得到一个非常“显著”的结果，P = 0.001，我用Gpower算了统计功效，非常好啊，已经超过80%了！但问题是，这里的后验的统计功效，其计算是根据你现在实验估计出来的效应量来计算统计功效。如果你的样本量很小，并且得到了P = 0.001的话，那么你计算出来的效应量是非常大的（inflated），而根据这个夸大的效应量的计算统计功效的话，那必然是非常好的。所以这是为什么审稿人不会认同事后的统计功效。\u003C\u002Fp\u003E\u003Cp\u003E在上面这段说明里面，实际上已经提到了在零假设检验 （Null Hypothesis Significant Test, NHST）中四个相互关联的统计量：\u003Cb\u003E样本量、效应量、alpha水平和统计功效\u003C\u002Fb\u003E。这四个变量中，如果我们确定了其中的三个，那么第四个变量就可以计算出来。\u003C\u002Fp\u003E\u003Cp\u003E对于这四个变量之间关系，我之前在一个博客里提到过：\u003Ca href=\"http:\u002F\u002Fhome.52brain.com\u002Fblog-3811-1472.html\"\u003E如何使用G*power计算统计检验力 - hcp4715的日志 我爱脑科学－心心水滴论坛 -\u003C\u002Fa\u003E。但是我觉得这个网站的可视化更加清晰易懂：\u003Ca href=\"http:\u002F\u002Frpsychologist.com\u002Fd3\u002FNHST\u002F\"\u003EUnderstanding Statistical Power and Significance Testing\u003C\u002Fa\u003E，所以就不细讲了。\u003C\u002Fp\u003E\u003Cp\u003E但是我想说的是：\u003Cb\u003E为什么审稿人想要知道你是如何选择现在的样本量的？\u003C\u002Fb\u003E我个人的理解是：审稿人本质上是关注你这个\u003Cb\u003E研究的效应是否稳定\u003C\u002Fb\u003E，也就是你通过这个实验对某一个现象的效应量进行的估计是否靠谱。如果你是审稿人，你也不希望你手下通过的文章在几年后被人指责是无法重复、是虚假的阳性结果。那么如何确定你的效应量是可靠的呢？既然alpha水平已经确定了（大部分情况下是0.05或者校正或者的0.05之类），你的样本量也已经摆在这里了，效应量也已经计算出来了（或者通过p值\u002F均值差异可以计算出来），但是统计功效对于审稿人来说却还完全未知，而效应量可能会随着统计功效的变化有极大的变化（在这个网站上可以固定alpha, sample size, 改变power来观察effect size的变化）。所以这种情况下，TA需要知道你的统计功效如何，你是否通过样本量的选择来让统计功效达到了可以接受的效果。\u003C\u002Fp\u003E\u003Cp\u003EOK，如果了解审稿人\u002F杂志为什么想要知道你研究的统计功效，并且考虑到现在杂志普遍要求这么做那么如何我们如何应对。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2 假如你的研究已经在审稿之中，如何说服审稿人？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E一般来说，由于研究者对当前杂志要求的变化没有及时跟进，所以在投稿的时候可能没有意识到这可能是一个问题，所以会被审稿人或者编辑问到。目的就是上面提到了，了解这个研究的统计功效如何。\u003C\u002Fp\u003E\u003Cp\u003E在这种情况下，我们作为作者能够做的，可能就是\u003Cb\u003E首先\u003C\u002Fb\u003E根据\u003Cb\u003E先前\u003C\u002Fb\u003E类似研究的效应量来计算样本量。先前这两个字很重要，但是又会分很多情况：\u003C\u002Fp\u003E\u003Cp\u003E情况一：你的研究问题已经有了对效应量的元分析。比如\u003Ca href=\"http:\u002F\u002Fcuratescience.org\u002F\"\u003EQuantifying Trustworthiness of Empirical Research\u003C\u002Fa\u003E 这个网站上，就有许多研究的元分析结果；另外，像Psych. Bull., Neurosci. Biobehav. Rev.上，也有许多元分析。根据元分析结果的效应量作为先验的效应量来计算你的样本量，非常具有说明力，因为元分析通常是对一个领域非常好的总结；\u003C\u002Fp\u003E\u003Cp\u003E情况二：你的研究问题没有元分析，但是有一些少量的研究。这种情况，你可以自己把这些研究找出来，自己做一个元分析，可以参与我在这个网文中提到了方法：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F27589342\"\u003EMini Meta-analysis或者单个论文中的元分析\u003C\u002Fa\u003E。但是如果主题类似的研究确实非常少（你会不会在想：如果研究非常多我还做这个问题干什么哟），比如只有一篇，那么也可以就根据这一篇研究的结果中的效应量来计算样本量。但是非常\u003Cb\u003E值得注意的是，这种情况下，你用来进行功效分析的效应量极可能受到了出版偏见（publication bias）的影响而变得虚高。\u003C\u002Fb\u003E当然，有先前的研究作为先验效应量，算是有据可循。\u003C\u002Fp\u003E\u003Cp\u003E情况三：你的研究问题从来没有做过。这种情况，按照以往的做法，一般会做一个小样本的预实验（pilot study）来预估效应量，但是这种做法是不靠谱的：\u003Ca href=\"http:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS002210311630230X\"\u003EWhen power analyses based on pilot data are biased: Inaccurate effect size estimators and follow-up bias\u003C\u002Fa\u003E。所以我推荐去努力从文献中寻找类似的研究，再根据这些研究来估计效应量会更有说明力。\u003C\u002Fp\u003E\u003Cp\u003E情况四：你连类似的研究都找不到，怎么办？我个人认为可以采用整个领域最常见的效应量作为你的先验效应量。比如这个\u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fpeterdalle\u002Feffectsizes\"\u003E网站中\u003C\u002Fa\u003E提到的著名的元分析： One Hundred Years of Social Psychology Quantitatively Described。根据这个研究，社会心理学中最通常的效应量大约是相关系数r = 0.21。其他领域研究中，也可以去寻找一些方法学的论文作为支持。比如在Life after p-hacking这个PPT（\u003Ca href=\"https:\u002F\u002Fpapers.ssrn.com\u002Fsol3\u002Fpapers.cfm?abstract_id=2205186\"\u003ELife after P-Hacking\u003C\u002Fa\u003E）中，几位研究者指出：\u003C\u002Fp\u003E\u003Cblockquote\u003EOne conclusion is that most experimental research cannot be successful without at least 50 observations per condition.\u003C\u002Fblockquote\u003E\u003Cp\u003E这个也可以作为一个依据。在fMRI研究中，有研究指出（\u003Ca href=\"https:\u002F\u002Fwww.biorxiv.org\u002Fcontent\u002Fearly\u002F2017\u002F09\u002F20\u002F136259\"\u003EHow Sample Size Influences The Replicability Of Task-Based fMRI\u003C\u002Fa\u003E）:\u003C\u002Fp\u003E\u003Cblockquote\u003Esample sizes much larger than typical (e.g., N=100) produce results that fall well short of perfectly replicable.\u003C\u002Fblockquote\u003E\u003Cp\u003E（当然我知道绝大部分实验室可能无法达到这个标准）。\u003C\u002Fp\u003E\u003Cp\u003E好了，假定我们在上述几种情况下达到了一个样本量（通常可能会比较大），那么作者可能面临着不同的情况：是否能够继续补充数据。\u003C\u002Fp\u003E\u003Cp\u003E如果实验比较容易完成，补充数据，重复自己的实验，将是最负责的方式。\u003C\u002Fp\u003E\u003Cp\u003E如果研究数据非常特殊，无法再补充数据了，那么只能跟审稿人说明情况了。比如我最近看到Nature Neuroscience上有\u003Ca href=\"http:\u002F\u002Fdx.doi.org\u002F10.1038\u002Fnn.4450\"\u003E文章\u003C\u002Fa\u003E如是说：\u003C\u002Fp\u003E\u003Cblockquote\u003ENo statistical methods were used to predetermine sample sizes, but our sample sizes are similar to those reported in previous publications.\u003C\u002Fblockquote\u003E\u003Cp\u003E能不能说服审稿人，我也不能确定。但如果无法重复自己的研究也无法补充数据的话，那么至少在对研究的结论方面，需要有所保留。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E3 假如你的研究在进行之中，如果提前做好准备？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果你的研究正在进行之中，或者正在计划之中，你可能需要采用一些方法来估计你的研究需要的样本量，\u003Cb\u003E并且（敲黑板），把你的估计过程公布出来\u003C\u002Fb\u003E。公布出来的意思，就是要进行预注册(pre-register)，可以参考我之前的一个网文：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F24775841\"\u003E如何预注册（Pre-register）你的研究？\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E当然，预注册只是最后公布估计过程，但是如何估计这可能也是一个大问题。我个人的理解，也分成两种情况：第一、固定的样本量；第二、可以及时停止收数据的动态样本量。\u003C\u002Fp\u003E\u003Cp\u003E固定样本量的估计，请看上一小节中的四种情况，不再赘述。\u003C\u002Fp\u003E\u003Cp\u003E动态样本量的策略，有两种方法可以采用：传统频率主义之下的取向，参考Laken's的论文：\u003Ca href=\"http:\u002F\u002Fonlinelibrary.wiley.com\u002Fdoi\u002F10.1002\u002Fejsp.2023\u002Fabstract\"\u003EPerforming high‐powered studies efficiently with sequential analyses\u003C\u002Fa\u003E；贝叶斯主义的取向，参考这个论文：\u003Ca href=\"https:\u002F\u002Fosf.io\u002Fw3s3s\u002F\"\u003ESequential hypothesis testing with Bayes factors: Efficiently testing mean differences\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E再次强调，不管你决定使用固定样本量的策略，还是动态样本量的策略，\u003Cb\u003E一定要提前预注册你的方法\u003C\u002Fb\u003E，否则，及有可能审稿人不会相信你。毕竟，提前注册已经变得非常简单了，见极简的提前注册指南，英文版：\u003Ca href=\"https:\u002F\u002Fosf.io\u002F2vu7m\u002F\"\u003EOSF | HowToPreregister.pdf\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E广告：Open Science Club已经有了自己的正式官方博客(\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F\"\u003EOpen Science Club\u003C\u002Fa\u003E)和公众号（ID：OpenScience），欢迎大家关注。\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-10-25T21:23:09.000Z"),"canComment":false,"commentPermission":"review","commentCount":2,"likeCount":47,"state":"published","isLiked":false,"slug":"30456056","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-10-26T05:23:09+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30456056\u002Fcomments"},"url":"\u002Fp\u002F30456056","titleImage":"https:\u002F\u002Fpic2.zhimg.com\u002Fv2-dc23efd60fe67b223d70a05cb8673512_r.jpg","summary":"","href":"\u002Fapi\u002Fposts\u002F30456056","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":47},"30833978":{"title":"视频+PPT｜可重复性工作坊2017","author":"hcp4715","content":"\u003Cp\u003E注：本文在open science club博客上首发，这里是\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F?p=66\"\u003E原文\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E今年是第2次进行关于可重复性的工作坊，其目的仍然是与更多的国内同行一起交流与讨论国际心理学界的政策变化以及新的研究实践标准。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E非常感谢西南大学的陈圣栋同学，为本次工作坊录制了视频，可以使得更多没有参加工作坊的同行也能够了解到相关的内容，参与交流和讨论。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本次工作坊的视频和PPT已经上传到百度云盘，可以\u003Ca href=\"http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1i46w5oh\"\u003E下载\u003C\u002Fa\u003E；或者到我们的博客上打开超链接。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E本次工作坊的视频，可能会上传到公开的视频网站，供大家一起讨论和交流。欢迎大家一起来讨论。到我们的博客上留言：www.openedscience.org，或者关注微信公众号：OpenScience 、知乎Open Science Club专栏：https:\u002F\u002Fzhuanlan.zhihu.com\u002Fpsy-os。\u003C\u002Fp\u003E","updated":new Date("2017-11-07T21:15:56.000Z"),"canComment":false,"commentPermission":"review","commentCount":0,"likeCount":11,"state":"published","isLiked":false,"slug":"30833978","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-11-08T05:15:56+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F30833978\u002Fcomments"},"url":"\u002Fp\u002F30833978","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F30833978","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":11},"31127892":{"title":"国际合作机会：心理学加速器项目（The Psychological Science Accelerator）","author":"hcp4715","content":"\u003Cp\u003E\u003Cb\u003E本文首发于\u003C\u002Fb\u003E\u003Ca href=\"http:\u002F\u002Fwww.openedscience.org\u002F?p=71\"\u003EOpen Science Club的博客\u003C\u002Fa\u003E\u003Cb\u003E。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E正如我之前在本专栏提到了，可以\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F28335375\"\u003E使用StudySwap、RRR等参与国际合作研究\u003C\u002Fa\u003E，这对于国内的研究者来说有许多好处。\u003C\u002Fp\u003E\u003Cp\u003E最近，\u003Ca href=\"http:\u002F\u002Fwww.sciencemag.org\u002Fnews\u002F2017\u002F11\u002Fnew-accelerator-aims-bring-big-science-psychology\"\u003EScience报道了\u003C\u002Fa\u003E心理学的另一个大规模的国际合作项目：The Psychological Science Accelerator （PSA加速器）。可以通过\u003Ca href=\"http:\u002F\u002Fpaper.sciencenet.cn\u002Fhtmlnews\u002F2017\u002F11\u002F393924.shtm\"\u003E科学网\u003C\u002Fa\u003E对Science新闻的翻译，可以对该项目有大致的了解：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E一项关于人们如何感知人类面孔的研究将开启一个旨在大规模升级、加速以及再现心理学研究的新项目。\u003Cbr\u003E\u003Cbr\u003E迄今为止，这个被称为“心理科学加速器”（PSA）的项目已同六大洲的170余家实验室结成联盟，目标是增强研究人员在多个地点大规模收集数据的能力。该项目由美国俄亥俄州阿什兰大学心理学家Christopher Chartier领导。Chartier表示，他想解决一个长期存在的问题：验证在相对独立的实验室中开展的小型研究产生的初步结果。在他看来，此类研究“并没有完成它们的工作”，而PSA的目标是让研究人员能扩大范围并且在多个地点收集“大规模的证实性数据”。\u003Cbr\u003E\u003Cbr\u003E要加入该项目，研究人员须向Chartier提交计划书。随后，Chartier会将匿名版本的申请书转交给一个拥有5名成员的委员会。它会考虑若干因素，比如研究问题的重要性、可能对该领域产生的影响以及数据收集是否可行。此后，有前景的计划书被传递给由40余人组成的其他委员会以寻求反馈。最初的专家组会据此作出最后的定夺。\u003Cbr\u003E\u003Cbr\u003EPSA在第一轮收到了8份计划书，并且在上个月月底批准了首个研究项目。该项目由英国格拉斯哥大学心理学家Benedict Jones和Lisa DeBruine提出，旨在确定普林斯顿大学心理学家Alexander Todorov的研究结果能否在全球范围内再现。Todorov报告称，人们根据两大元素——价和支配性——给人脸打分。价是对可信赖度的衡量，而支配性是对体力的衡量。\u003Cbr\u003E\u003Cbr\u003E上述两名研究人员表示，Todorov的发现已在美国和英国被成功复制。如今，他们想利用PSA网络确定该结果是否在全球其他地方站得住脚。“我们认为，这是一个值得在全球范围内给出答案的问题。”Chartier表示。\u003Cbr\u003E\u003Cbr\u003E作为此项研究的一部分，和PSA合作的50余家实验室已承诺协助收集数据。Chartier表示，一旦结果出炉，他们将公开发表所有数据。这应当有助于消除发表偏倚的问题，即正面结论会被发布而负面结果往往遭到忽视。在所谓的多项研究元分析中，这是一个尤其棘手的问题。Chartier表示，PSA收集的所有数据和试验性材料将默认对所有研究人员开放（敏感的主题除外），而研究人员将预先登记他们的研究，从而使同行评审者能在试验开始前检查他们提出的研究和分析方法。（徐徐）\u003C\u002Fblockquote\u003E\u003Cp\u003E本人以及本专栏的另一位作者 \u003Ca class=\"member_mention\" href=\"http:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002F0e448cecdab540ed183d2ac645b1c9f6\" data-hash=\"0e448cecdab540ed183d2ac645b1c9f6\" data-hovercard=\"p$b$0e448cecdab540ed183d2ac645b1c9f6\"\u003E@陳紹慶\u003C\u002Fa\u003E 已经参与了该项目，从目前的感觉来看，发起该项目的Chartier非常热心和负责。\u003C\u002Fp\u003E\u003Cp\u003E这个项目相比于先前的多实验室合作的主要区别在于提前招募实验室，再提交研究方案。而不是像之前那样，先有了研究方案，再邀请感兴趣的研究者参与。这样PSA加速器有比较可靠的数据来源。\u003C\u002Fp\u003E\u003Cp\u003E目前该项目仍然在继续招募合作者，感兴趣的话，可以看这里：\u003Ca href=\"https:\u002F\u002Fpsysciacc.wordpress.com\u002F\"\u003EPsychological Science Accelerator\u003C\u002Fa\u003E；或者这里：\u003Ca href=\"https:\u002F\u002Fchristopherchartier.com\u002F2017\u002F09\u002F21\u002Fthe-psychological-science-accelerator-a-distributed-laboratory-network\u002F\"\u003EThe Psychological Science Accelerator:     A Distributed Laboratory Network\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E要参与该项目，可以直接向Chartier发邮件，说明在大陆google无法访问。\u003C\u002Fp\u003E","updated":new Date("2017-11-16T22:21:08.000Z"),"canComment":false,"commentPermission":"review","commentCount":2,"likeCount":11,"state":"published","isLiked":false,"slug":"31127892","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-11-17T06:21:08+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F31127892\u002Fcomments"},"url":"\u002Fp\u002F31127892","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F31127892","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":11},"31804950":{"title":"CurateScience更新：搜索那些被重复的心理研究","author":"hcp4715","content":"\u003Cp\u003ECurateScience.org是一个有趣的网站，它的目标在于将一些重要重复研究收集起来，以非常直观的方式，来展现该效应的效应量，同时提供非常详尽的相关信息供研究者进一步的了解。目前，这个网站已经收集了不少重要的被重复过的实验，比如清洁启动实验：\u003C\u002Fp\u003E\u003Cimg src=\"v2-f94614b9889a37201cade83e1d10c16f.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"890\" data-rawheight=\"549\"\u003E\u003Cp\u003E最近，这个网站进行了一次更新，增加了搜索功能，并且纳入了更多的研究。这样非常方便地查收某些研究是否被重复过。\u003C\u002Fp\u003E\u003Cp\u003E例如，我对2008年一项研究感兴趣，这个研究表明，让人们阅读一些反对自由意志的材料之后，会变得更加喜欢说谎。但是它是否被重复过？我可以在curatescience里搜索free will:\u003C\u002Fp\u003E\u003Cimg src=\"v2-c3133a50c67770f3d5b9ae3e8e4ca18b.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1188\" data-rawheight=\"136\"\u003E\u003Cp\u003E很快就可以发现，这个研究已经被重复过了，并且是2015年那次100项研究中的第46个RPP#46。\u003C\u002Fp\u003E\u003Cp\u003E如果你对某项研究的可重复性比较感兴趣，也可以试试。不过目前这个网站收录的实验还比较少，如果找不到的话，可能需要去google scholar里搜索了。\u003C\u002Fp\u003E","updated":new Date("2017-12-07T12:51:53.000Z"),"canComment":false,"commentPermission":"review","commentCount":3,"likeCount":24,"state":"published","isLiked":false,"slug":"31804950","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-07T20:51:53+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F31804950\u002Fcomments"},"url":"\u002Fp\u002F31804950","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F31804950","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":24},"32284386":{"title":"jamovi : 结合了R的魅力，且免费易用的统计软件","author":"hcp4715","content":"\u003Cp\u003E本文由\u003Ca href=\"http:\u002F\u002Fwww.psychor.org\u002F\"\u003EPsychoR\u003C\u002Fa\u003E南方团队发布, 经授权转载。原文链接：\u003Ca href=\"http:\u002F\u002Fpsychor.org\u002F2017\u002F12\u002F23\u002Fintro-jamovi\u002F\"\u003Ejamovi : 结合了R的魅力，且免费易用的统计软件\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EPsychoR\u003Cbr\u003E团队所发布的 jamovi 相关翻译文章均获得 jamovi 官方团队授权本文采取 CC BY-NC-SA 3.0 进行许可\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Chr\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003Ejamovi 简介\u003C\u002Fp\u003E\u003Cp\u003E长期以来，心理学研究者一直受到价格昂贵，性能又不佳的统计软件的困扰。今天，我们将向你介绍一种新型又好用的统计软件，这就是 jamovi。\u003Ca href=\"https:\u002F\u002Fwww.jamovi.org\u002F\"\u003Ejamovi\u003C\u002Fa\u003E 对于所有平台都是免费开放的，较于其他软件而言，它具有直观易懂，操作便利的优势，加上其快速发展的步伐，相信在不久的将来，它极有可能替代并超越 SPSS 软件。\u003C\u002Fp\u003E\u003Cimg src=\"v2-94f66e4c940b6d6e826e08d73cfd6080.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"673\" data-rawheight=\"387\"\u003E\u003Cp\u003E正如上图所示，jamovi具有非常直观的用户界面和一些便捷的特性：它可以实时计算你所需要的数据并向你呈现漂亮的图形和整洁的 APA 格式表格，同时，如若你对数据做出改动，它也可以及时更新数据与图表的结果。随后，这些结果均可便捷地复制粘贴到你的编辑软件中（如Word）。目前，大多数基本的数据分析功能如 t-检验，方差分析，相关分析，列联表，比例检验都已可使用，不久后，将有更多的统计功能面世。此外，许多 R 语言里具有强大功能的数据包也都可以在 jamovi 直观便利的用户界面中得到使用。如此一来，便可让你即使不学 R 语言的语法，也可轻松使用到 R 语言的数据分析功能。\u003Cb\u003E而对于想学R语言的人而言，jamovi 也可提供帮助，你只要点击一下鼠标，jamovi 就会为你提供每个数据分析背后的R语句。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003Ejamovi 的另外一个优势就是数据的实时管理，也就是说你可以在软件中直接编辑你的数据。若你对原始数据做出了调整，相应的统计结果也会在输出窗口处得到及时的更新。设想一下，这些数据上的变动会在 SPSS 软件的使用中增加多少工作量：修改一个数据，然后再次点击所有的菜单或者重新激活相关的语法，最后再手动删除旧的输出结果，所有的这些操作最终只换得难看的图表，随后你还需花费额外的时间去把这些图表变得好看或转化为 APA 格式。但有了jamovi 软件，这些费力的日子都将一去不复返。\u003C\u002Fp\u003E\u003Cp\u003E如今，用户已经可以在jamovi 软件使用 \u003Ca href=\"http:\u002F\u002Fdaniellakens.blogspot.ch\u002F2017\u002F03\u002Fequivalence-testing-in-jamovi.html\"\u003ETOSTER\u003C\u002Fa\u003E 模型。这种统计方法可以检验数据是否支持零假设（例如，缺少有意义的效应），我们很需要这种方法，但是在大多数数据分析工具中却不提供它。\u003C\u002Fp\u003E\u003Cp\u003E因此，事不宜迟，赶紧安装和使用jamovi 吧！如果你想拓展软件的统计功能以此来帮助更多人的话，你还可以基于 R 语言的数据包来开发 jamovi 软件的新功能，让其他使用 jamovi 软件的人都可以免费获得这些功能。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E对 jamovi 开发者及联合创始人 Jonathon Love 的采访\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003Ejamovi 也许会让你想起另一个最近推出的免费统计软件：JASP。这很正常，因为jamovi这款软件的开发者Jonathon Love，Damian Dropmann 和 Ravi Selker 也同样是 JASP 的开发者。初次接触这两个软件时你可能会感觉它们很相似，但事实上，它们侧重的功能不一。这意味着这两个软件都将继续得到开发与拓展，使得用户可以享受这两款软件带来的便利与帮助。Jonathon 曾是 JASP 的首席开发者及设计者，他现在是 jamovi 的核心开发者之一。我们来听听他对这两款软件的看法：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 在我们上次对您的采访中，您的身份是 JASP 的首席开发者，那么是什么促使您想到要开发 jamovi 呢？当时发生了什么吗？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E 其实开发 JASP 是一次很棒的历程，我们乐在其中。但随后我们发现，当时开发 JASP 设定的原始目标已无法满足我们现在的野心和渴望了。 JASP 一直都非常重视贝叶斯方法，但我们则更希望可以自由地探索其他统计哲学的可能性。\u003C\u002Fp\u003E\u003Cp\u003E与此同时，一系列技术已经成熟到可以让我们在很短的时间内开发出更为先进的软件。在我刚开始 JASP 项目的时候，我不得不在两种技术取向中做出选择：一种是传统而可靠的技术，即 C++ 及 QWidgets，另一种则是崭露头角的新型技术，即 HTML5+js 。那时我认为对于像 JASP 这样的大型项目来说，新技术还不够成熟。\u003C\u002Fp\u003E\u003Cp\u003E然而，短短几年之间，一切都发生了变化。HTML5+js 已经突破了先前的障碍，成为了一个成熟并富有竞争力的框架。同样，其他技术方面的发展也使曾经非常困难的事情变得更加简单、直接。例如，R 软件包里的 R6 使我们能够搭建更加简洁的分析框架，能使我们在更短的时间内进行丰富的图形分析，同时它还支持数据编辑。此外，它还提供了一个我们最需要的功能，也就是为使用者提供每个数据分析背后的 R语言语法。也正是因为这两个因素：一个是超越 JASP 项目核心目标的雄心壮志，另一个是新技术为我们提供的机会，使我们做出开发jamovi 软件的这个决定。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 您在几周前发布了 jamovi，而到目前为止只有少数几种统计方法可以使用。那么，您估计要到什么时候 jamovi 才可以像 SPSS 软件一样能向用户提供这么全面的数据分析功能呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E 实际上我们认为 SPSS 有点过度臃肿了，它充斥着各种大多数人将永远不会使用到的统计功能，以致使用者在浏览菜单时有种身处迷宫的感觉。我们的确希望在我们的软件中可以为使用者提供大量的统计功能，但我们会以不同的方式来实现我们的目标。我们预计在未来几个月内，将会向本科生提供他们社会科学课程中会使用到的所有基本统计功能。而我们目标是希望在2017年8月的时候，jamovi 可以提供所有的统计功能，以及完整的数据编辑，清理，过滤和重组功能，让 jamovi 成为社会科学研究者心中能够替代并真正可以替代 SPSS 的数据分析软件。\u003C\u002Fp\u003E\u003Cp\u003E另外，对于其他较为特殊的统计方法，我们希望可以建立一个聚集开发者的社区，以“jamovi 模块”的形式为使用者提供他们需要的数据分析功能。jamovi 模块实际上就是 R 数据包，经过发展后，它可在 jamovi 软件内运行，让使用者在用户界面使用相应的数据分析功能。\u003C\u002Fp\u003E\u003Cp\u003E重要的是，这些模块仍具有 R 数据包本身的功能，这样可以使得使用者在 R 和 jamovi 这两个软件都可以使用相应的统计功能。如此一来，数据包开发者便可通过“jamovi store”（和CRAN）发布他们创建的 jamovi 模块，以使任何人使用。\u003C\u002Fp\u003E\u003Cp\u003E最近我们与丹尼尔·拉肯斯（Daniel Lakens）合作，将他的 TOSTER 数据包制作为一个 jamovi 模块，整个合作过程非常愉快。我们还有一些正在开发的模块功能，有望在接下来的几周内推出！\u003C\u002Fp\u003E\u003Cp\u003Ejamovi 商店有一个非常好的特点，就是它可以保持 jamovi 本身的简单特性，使用者可以只安装那些对他们所需要的统计功能。熟悉 R 语言的人会知道，CRAN 的工作原理也是如此，我们希望可以保留这个优点，并且对此进行一定程度的丰富，也就是为使用者提供方便简洁，功能齐全的用户界面，以供数据分析使用。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E jamovi\u003Cbr\u003E的运作原理是开发者为他们的 R 语言数据包创建对应的 jamovi 模块。那么，开发者为什么要这样做呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E 对于上面的问题，我有两个答案：他们这么做首先是为了科学的发展，再之为了他们自己事业的发展。每个人都有其不同的优势领域，不是所有人都需要成为 R 程序员。因此，从科研的发展的角度看，开发者愿意创建 jamovi 模块，是因为如果新的分析方法只能为 R 的使用者所用，许多科研工作者就会落后于科研的发展。我认为有必要使得每个人都能接触乃至使用更先进的新研究方法——这也是促使我们创建 jamovi 的核心动机之一。\u003C\u002Fp\u003E\u003Cp\u003E同时，创建jamovi 模块对于开发者本身也意义重大。在科学界中，科研工作者的成果能否为更广泛的人群使用，是对其工作成果评判的最重要指标之一。而 jamovi 模块恰恰能让最多的人接触并使用某个研究者提出的分析方法。因此，开发 jamovi 模块也有助于开发者个人事业的成功。\u003C\u002Fp\u003E\u003Cp\u003E因此我们鼓励R开发人员也投入开发 jamovi 模块， jamovi 核心开发团队为你提供关于如何一步步编写jamovi 模块的教程：如 dev.jamovi.org；如果人们想要得到帮助或建议，我们会为他们提供匹配的“开发导师”（dev mentor）。同时，我们也有论坛供人们发布问题。我们希望以各种我们力所能及的方式支持开发者社区。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 读到这篇采访的读者自然而然地会将 jamovi 与 JASP 进行比较。您认为jamovi 最有特色的功能是什么？您会从哪些方面从 JASP 吸取经验？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E jamovi 的特色功能包括数据编辑，R 语法模式和 jmv R 包。\u003C\u002Fp\u003E\u003Cp\u003E其中，数据编辑是我最喜欢的功能之一，因为它能简化一些非常复杂的东西！就以描述性分析为例，假如你在做这类分析时，改变了数据视图中的一些值，描述性分析结果可以即时将所作的改变进行更新，这样的设计很实用。除此之外，在所有列中，只有那些在描述性分析中受数据变化影响的列才会被更新。这种功能的实质在于，jamovi 会动态地确定结果中的哪些值需要根据数据更改而改变——并只对这些值进行重新计算。这是一个很实际的做法。\u003C\u002Fp\u003E\u003Cp\u003ER语法模式也是我最爱的功能之一。jamovi 可以设置为“语法模式”，这种模式为用户提供每种分析背后的 R 代码。这项功能非常有意义，因为它能让用户很容易看到并学习 R 代码，用户可以将所提供的 R 代码复制粘贴到交互式的 R 界面中。当用户想提升他们 R 能力时，这个功能可以实现从jamovi 到 R 直接的跳转。\u003C\u002Fp\u003E\u003Cp\u003Ejmv R 包属于“语法模式”的另一半，它能提供 jamovi 中包含的所有分析方法。这非常有用，因为这意味着这个 R 包可涵盖对整个本科社会科学课程所需的所有功能。过去，要完成方差分析，用户需要按顺序安装包括对比、假设检验、事后检验校正等多个步骤所需要的7个不同的R包。jmv R 包将所有这些元素整合在一起，简化了用户进行分析的步骤，这是非常令人兴奋的。\u003C\u002Fp\u003E\u003Cp\u003E关于如何向 JASP 取经的问题，我们当然会密切关注他们的新动向，我也建议你们都追踪他们的进展！Eric-Jan Wagenmakers 和 JASP 的团队成员的分析方法的确是神话般的贡献，为了让更多人有机会使用新的贝叶斯分析，他们已经付出了很多努力，并持续为此投入大量精力。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 在开发和传播 jamovi 所面临的最大挑战是什么？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E 这个问题是很典型的先有鸡还是先有蛋的问题。\u003C\u002Fp\u003E\u003Cp\u003E一般来说，当支持性材料、视频、文档等东西还不齐全时，人们通常不愿意接受一个新的平台。也正因为人们似乎不太愿意接受这个平台，平台的创作者也不太热衷于过多地提供相关支持性材料。这样的状况实则不利于变革，因此，尝试推翻现状往往令人沮丧，也充满挑战性。\u003C\u002Fp\u003E\u003Cp\u003E这样的困境并不仅仅体现在软件开发方面，你会发现很多科学领域都是这样。当然，未来一定会有改变的。挑战在于如何将碎片化的资源进行整合，使得新的想法，新的范式和新的软件可以接受。在我看来，这是最严峻的挑战，我们必须克服困难，能否进步也取决于此！\u003C\u002Fp\u003E\u003Cp\u003E所以每当我看到社区能提供强有力的支持，我都感到十分兴奋。我们与许多开发者和出版商密切交流，成果丰硕。我想在接下来的几个月，我们就会推出十分激动人心的公告。就现在看来，我们已渐渐看到成效。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 那么，jamovi 资金运作状况如何？用户怎么能够确信 jamovi 会持续运作？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E 现在 jamovi 依然处于早期阶段，所以我们目前并没有得到太多的资助。我们希望能证明我们能够开创一条新的路径以供大家追随。我个人是在纽卡斯尔大学工作的，我和其他的核心开发者一同无偿地把个人时间投入到 jamovi 的开发工作。尽管如此，大家依然可以对jamovi 的未来充满信心。\u003C\u002Fp\u003E\u003Cp\u003E我们希望在八月份推出一个完整且实用的 SPSS 替代选择——包括完整的数据编辑，筛选，重组功能。届时，jamovi 才算是“完整”了。在那之后，我们也并不打算停止开发工作，就算此后我们暂停开发工作，我们也有自信心相信，在未来几年里，jamovi 都是社会科学领域科研人员最好的工具之一。未来维持 jamovi 运作并不需要太多的资源，所以可以请大家在未来几年内保持对 jamovi 的信心。（似乎一直有种虚构的说法，说软件完成后还需要大量的资源来维护。事实上，这是专利性的软件的营销手段。毕竟，当消费者还能使用旧版本，就很难说服他们掏钱买新的版本！）\u003C\u002Fp\u003E\u003Cp\u003E说了这么多，我们很希望能吸引更多的资金资助以及采用商业模式进行管理，来进一步支持jamovi的开发——因为我们未来还有其他宏大的规划。短期来说，我们致力于创造一个可行的SPSS替代方案，但长远来看，我们还想提供其他一系列额外的付费服务，以减轻研究人员的技术负担。Jamovi本身必定会一直保持免费和开源，但我们也想提供某些的技术服务，提高科研工作者的效率，并相应收取合理的费用。\u003C\u002Fp\u003E\u003Cp\u003E我们也很欢迎赞助人，所以如果你或者你的机构受益于jamovi团队的工作成果，你也许可以考虑赞助我们的团队，以加快我们开发的进程，从而提供更多更广泛的功能。如果你或你所属机构的工作与某个具体功能和分析密切相关，你可以考虑赞助该功能和分析的开发（例如，我们很愿意支持科研的可重复性），请告诉我们你们的需求。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E记者：\u003C\u002Fb\u003E 感兴趣的读者应该怎么入门 jamovi 呢？\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003EJonathon：\u003C\u002Fb\u003E jamovi 的使用相当简单，它内含好几个案例数据表方便用户学习使用。我建议下载安装 jamovi 后，自己先进行探索。我们也提供用户指南，包含介绍基本功能的小视频。如果你此前已经使用过 SPSS，你会发现用户界面非常熟悉，比如拖放分析变量的操作。jamovi 的设计初衷就是能让用户简单直接进行使用，如果你发现设计上不便利之处，请在论坛中告诉我们你的看法。我们十分期待你们的反馈，让 jamovi 不断完善！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Chr\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E工作团队\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003EPsychoR 南方团队\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E翻译人员\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E崔璇\u003C\u002Fp\u003E\u003Cp\u003E周佳智\u003C\u002Fp\u003E\u003Cp\u003E张群\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E审校人员\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E陈瑶\u003C\u002Fp\u003E\u003Cp\u003E方南\u003C\u002Fp\u003E\u003Cp\u003E\u003C\u002Fp\u003E","updated":new Date("2017-12-23T08:20:16.000Z"),"canComment":false,"commentPermission":"review","commentCount":13,"likeCount":46,"state":"published","isLiked":false,"slug":"32284386","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-23T16:20:16+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32284386\u002Fcomments"},"url":"\u002Fp\u002F32284386","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F32284386","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":13,"likesCount":46},"32499717":{"title":"不增加样本量即可提高统计功效的办法","author":"hcp4715","content":"\u003Cp\u003E最近PeerJ上的一个有趣的预印本文章：\u003Ca href=\"https:\u002F\u002Fpeerj.com\u002Fpreprints\u002F3363v1\u002F\"\u003EFour simple ways to increase power without increasing the sample size\u003C\u002Fa\u003E。（什么是预印本？见本专栏的这个文章：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F26042413\"\u003E中国的预印平台：中科院科技论文预发布平台\u003C\u002Fa\u003E）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E统计功效（Statistical power，也翻译为统计检验力）可以在真实存在效应的时候，一个实验有多大的可能性把这个效应检测出来。本专栏之前有一些相关的文章，如：\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F30456056\"\u003EHow to Justify Your Sample Size\u003C\u002Fa\u003E；\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F23334271\"\u003EImproving your statistical inferences第三周：控制一类错误和二类错误\u003C\u002Fa\u003E。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E正如在\u003Ca href=\"https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F30456056\"\u003EHow to Justify Your Sample Size\u003C\u002Fa\u003E中提到的，统计功效对于我们判断一个显著的结果是否可靠来说是很重要的。现在的总体趋势而言，是对统计功效的要求越来越高，最好是达到80%以上。如果真实的效应量是一定，那么样本量越来大，统计功效越大。因此在不少人的印象中，“提高统计功效 ＝ 增加样本量”。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E但在实际的研究中，在实验设计上进行改进，也可以提高实验的统计功效，这正是Stanley E Lazic这篇PeerJ的文章想说的。具体而言，这个文章中有四条建议：\u003C\u002Fp\u003E\u003Cp\u003E第一：对于连续的预测变量使用更少的水平（Use fewer factor levels for continuous predictors）。\u003C\u002Fp\u003E\u003Cp\u003E第二：检验具体的检验，而不是笼统的“两种条件之间是否有差异”。这种情况下，类似于将双侧样本t检验变成了单侧样本t检验，统计功效肯定是提高的。\u003C\u002Fp\u003E\u003Cp\u003E第三：不要把连续变量变成二分变量或者几个bin。\u003C\u002Fp\u003E\u003Cp\u003E第四：Cross your factors, don't nest them。这个有一个图，比较有意思：\u003C\u002Fp\u003E\u003Cimg src=\"v2-c7a9dcd722c1a643e01d83992ee48d03.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"1708\" data-rawheight=\"1530\"\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E个人的想法：提高统计功效主要就是消除噪音，让真正的效应显现出来。这实际上就是实验设计（或者说研究设计）要解决的问题。不管是我们在问卷中加入\u003Ca href=\"http:\u002F\u002Fwww.sciencedirect.com\u002Fscience\u002Farticle\u002Fpii\u002FS0022103109000766\"\u003E检测项目\u003C\u002Fa\u003E，还是在认知心理学中尽量使用被试内设计，本质上都是为这达到这个目标。\u003C\u002Fp\u003E\u003Cp\u003E在这里顺便推荐一本我自己都没有读过的书：Designing Experiments and Analyzing Data: A Model Comparison Perspective, Third Edition\u003C\u002Fp\u003E\u003Cimg src=\"v2-e5e27db68f18b9ada3105542d50df1cd.jpg\" data-caption=\"\" data-size=\"normal\" data-rawwidth=\"351\" data-rawheight=\"499\"\u003E\u003Cp\u003E推荐的理由：虽然我还没有买这本书，但是Scott Maxwell在统计功效方面发过几篇论文。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E另外一个值得推荐的，是Paul Meehl的网上公开课：\u003Ca href=\"http:\u002F\u002Fmeehl.umn.edu\u002Frecordings\u002Fphilosophical-psychology-1989\"\u003EPhilosophical Psychology 1989\u003C\u002Fa\u003E.\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果哪位小伙伴看到本推荐之后去读了书或者看了这个公开课，记得来本专栏分享一下你的新知识和想法，大家一起来让心理学的研究变得更好。\u003C\u002Fp\u003E","updated":new Date("2017-12-30T19:21:53.000Z"),"canComment":false,"commentPermission":"review","commentCount":4,"likeCount":39,"state":"published","isLiked":false,"slug":"32499717","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-12-31T03:21:53+08:00","links":{"comments":"\u002Fapi\u002Fposts\u002F32499717\u002Fcomments"},"url":"\u002Fp\u002F32499717","titleImage":"","summary":"","href":"\u002Fapi\u002Fposts\u002F32499717","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":39}},"User":{"hcp4715":{"isFollowed":false,"name":"hcp4715","headline":"热爱科学、热爱大脑、热爱户外运动;\nhttp:\u002F\u002Fwww.huchuanpeng.com\u002F","avatarUrl":"https:\u002F\u002Fpic2.zhimg.com\u002Ffecec00f6_s.jpg","isFollowing":false,"type":"people","slug":"hcp4715","bio":"认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动;\nhttp:\u002F\u002Fwww.huchuanpeng.com\u002F","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fhcp4715","avatar":{"id":"fecec00f6","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false}},"Comment":{},"favlists":{}},"me":{},"global":{"experimentFeatures":{"ge3":"ge3_9","ge2":"ge2_1","androidPassThroughPush":"all","sEI":"c","nwebQAGrowth":"experiment","qawebRelatedReadingsContentControl":"close","liveStore":"ls_a2_b2_c1_f2","nwebSearch":"nweb_search_heifetz","newSignBg":"new","rt":"y","isOffice":"false","enableTtsPlay":"post","newLiveFeedMediacard":"new","newMobileAppHeader":"true","growthSearch":"s2","hybridZhmoreVideo":"yes","nwebGrowthPeople":"default","nwebSearchSuggest":"default","qrcodeLogin":"qrcode","enableVoteDownReasonMenu":"enable","isShowUnicomFreeEntry":"unicom_free_entry_off","growthBanner":"default","newMobileColumnAppheader":"new_header","androidDbRecommendAction":"open","zcmLighting":"zcm","androidDbFeedHashTagStyle":"button","appStoreRateDialog":"close","mobileFeedGuide":"block","default":"None","isNewNotiPanel":"no","adR":"b","wechatShareModal":"wechat_share_modal_show","uRe":"1","androidProfilePanel":"panel_b"}},"columns":{"next":{},"psy-os":{"pins":["24792621"],"followersCount":25216,"creator":{"bio":"认知神经科学里的搬砖工","isFollowing":false,"hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"slug":"hcp4715","isFollowed":false,"description":"热爱科学、热爱大脑、热爱户外运动;\nhttp:\u002F\u002Fwww.huchuanpeng.com\u002F","name":"hcp4715","profileUrl":"https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fhcp4715","avatar":{"id":"fecec00f6","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"isOrgWhiteList":false,"isBanned":false},"topics":[{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19884670","id":"19884670","name":"心理学研究方法"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19551432","id":"19551432","name":"心理学"},{"url":"https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F19841766","id":"19841766","name":"心理统计"}],"activateState":"activated","href":"\u002Fapi\u002Fcolumns\u002Fpsy-os","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":32,"id":113570,"name":"心理学研究方法"},{"postsCount":30,"id":181206,"name":"Open Science"},{"postsCount":16,"id":404,"name":"心理学"},{"postsCount":16,"id":99306,"name":"心理统计"},{"postsCount":15,"id":181207,"name":"可重复性（reproducibility）"},{"postsCount":7,"id":15317,"name":"认知心理学"},{"postsCount":7,"id":7080,"name":"认知科学"},{"postsCount":6,"id":9288,"name":"研究方法"},{"postsCount":4,"id":154747,"name":"开放数据"},{"postsCount":2,"id":27412,"name":"贝叶斯统计"},{"postsCount":2,"id":23174,"name":"神经科学"},{"postsCount":2,"id":13740,"name":"社会心理学"},{"postsCount":2,"id":67664,"name":"R"},{"postsCount":2,"id":2852,"name":"统计学"},{"postsCount":2,"id":116933,"name":"科研工具"},{"postsCount":2,"id":27607,"name":"学术论文"},{"postsCount":2,"id":2232,"name":"科研"},{"postsCount":1,"id":8745,"name":"统计"},{"postsCount":1,"id":5684,"name":"传播学"},{"postsCount":1,"id":39151,"name":"脑神经"},{"postsCount":1,"id":54587,"name":"认知偏差"},{"postsCount":1,"id":63708,"name":"大数据"},{"postsCount":1,"id":4170,"name":"开源"},{"postsCount":1,"id":3246,"name":"数据统计"},{"postsCount":1,"id":17410,"name":"实验心理学"},{"postsCount":1,"id":20858,"name":"科学"},{"postsCount":1,"id":121988,"name":"统计学习方法"},{"postsCount":1,"id":9781,"name":"中国科学院"},{"postsCount":1,"id":160412,"name":"国际合作"},{"postsCount":1,"id":161276,"name":"中国科研"},{"postsCount":1,"id":1362,"name":"癌症"},{"postsCount":1,"id":26499,"name":"学术期刊"}],"pendingName":"","avatar":{"id":"v2-706215a95e610108c1459bbfed2b3f69","template":"https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg"},"canManage":false,"description":"可重复性问题成为科研中的一个重要问题。本专栏将致力于传播与开放、透明和可重复性科学相关的知识，并提供相关支持，以期能够为促进科学的可重复性做一点点贡献。欢迎志同道合者合作！","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"psy-os","name":"Open Science Club","url":"\u002Fpsy-os","intro":"如何加强研究的透明、公开与可重复性","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":58,"canPost":false,"FULLINFO":true}},"columnPosts":{"psy-os":{"entity":["24775841","32499717","32284386","31804950","31127892","30833978","30456056","30390097","29736775","28335375","26853983","28050349","27589342","27518497","27262140","26595088","26763740","26569257","26240816","25772914"],"next":{"rel":"next","href":"\u002Fapi\u002Fcolumns\u002Fpsy-os\u002Fposts?limit=20&offset=20&topic=113570","query":{"limit":"20","offset":"20","topic":"113570"}},"topic":"心理学研究方法"}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldSetPoster":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"updating":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"edition":{"baidu":false,"yidianzixun":false,"qqnews":false},"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false,"userAgent":{"ua":"CCBot\u002F2.0 (http:\u002F\u002Fcommoncrawl.org\u002Ffaq\u002F)","browser":{},"engine":{},"os":{},"device":{},"cpu":{}}},"message":{"newCount":0},"pushNotification":{"newCount":0}}