透明公开可重复的心理学

如何加强心理学研究的透明、公开与可重复性

16748 人关注

置顶文章

心理学可重复危机简史及专栏共同作者招募！

注1：此文修改自我在自己的一篇博客，对可重复危机进行回顾。注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：Replication in Psychol…查看全文

hcp4715

6 months ago

119 赞34 条评论

最新文章

与浙师大研究生分享可重复性相关的问题
6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对…查看全文
hcp4715
4 days ago
13 赞1 条评论
9个认知心理学实验被成功重复
心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近…查看全文
hcp4715
20 days ago
114 赞21 条评论
与心理学数据分析相关的R工具包
注：本文在52brain.com上同步发布：与心理学数据分析相关的R工具包 - 基础知识库我爱脑科学－心心水滴论坛 -为下周末的R语言会议热个身，写下自己收集的心理学研究的数据分析相关的R包。R…查看全文
hcp4715
a month ago
129 赞10 条评论
Scientific Data上与可重复性相关的数据集
Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：Human Brain MRI ReproducibilityReplication Data里面有不少有趣的数据，感兴趣的同…查看全文
hcp4715
2 months ago
8 赞0 条评论
公开评审与发表后评审
最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫…查看全文
hcp4715
2 months ago
22 赞3 条评论
去R语言会议讲可重复性
R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：第十届中国R会…查看全文
hcp4715
2 months ago
15 赞0 条评论
预注册你的研究，可能会赢得1000美元奖金
利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国…查看全文
hcp4715
2 months ago
23 赞6 条评论
使用Reproducibility Project Psychology的公开数据，发表自己的文章
2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，这个重复的结果发表在Science上，让不少人大跌眼镜。这个研究的数据也公开在OSF…查看全文
hcp4715
3 months ago
53 赞2 条评论
中国的预印平台：中科院科技论文预发布平台
正如我在如何做可复制的(reproducible)[心理学]研究中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种…查看全文
hcp4715
3 months ago
23 赞4 条评论
Nature开始遵循促进透明公开(TOP)指南
今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotio…查看全文
hcp4715
3 months ago
18 赞2 条评论
如何做可复制的(reproducible)[心理学]研究
注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。注2：本文参考了Rogers Peng的博客：Instead…查看全文
hcp4715
3 months ago
12 赞6 条评论
如何预注册（Pre-register）你的研究？
注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划…查看全文
hcp4715
4 months ago
18 赞0 条评论
Center of Open Science与Open Science Framework
利益相关：本人是COS的Ambassador。简单地介绍一下心理学研究中可重复问题出现之后出现的最主要的机构：Center for Open Science （COS）以及它所构建的用于开放科学的平台…查看全文
hcp4715
5 months ago
11 赞0 条评论
如何公开自己的数据？
前言经过了漫长的数据整理和文章审稿过程，由我主要负责管理的大型公开心理-影像数据库（Southwest Univ…查看全文
Wei Liu
5 months ago
83 赞3 条评论
elife发表关于Reproducibility Project: Cancer Biology的首批结果
昨天，关于可重复性的问题又出现在了Nature的新闻之中。这次的主角，并不是心理学，而是癌症生物学。2015年，当Reproducibilitiy Project: Psychology的结果在science上发表并引起轰动的时…查看全文
hcp4715
5 months ago
44 赞6 条评论
2016年关于心理学可重复性的主要关注点
修改自我对这一问题的回答：2016 年，心理学学科内部都出现过哪些有价值的争论？心理学的可重复性问题自2011年起，就持续成为热点，争论到2016年，也许算是颇为持久，当然，2016年基本上可…查看全文
hcp4715
6 months ago
81 赞4 条评论
Improving your statistical inferences第七周：开放科学
注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究…查看全文
hcp4715
7 months ago
49 赞4 条评论
Improving your statistical inferences第二周（2）：贝叶斯方法
注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究…查看全文
hcp4715
7 months ago
8 赞3 条评论
Improving your statistical inferences第二周（1）：似然性
注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究…查看全文
hcp4715
7 months ago
9 赞1 条评论

{"database":{"Post":{"24175191":{"title":"Improving your statistical inferences第二周（1）：似然性","author":"hcp4715","content":"注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第二周的内容。你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a> 第二周的主要内容是关于另外两种统计的取向：似然率比值和贝叶斯统计。正如在第一周开始的介绍中所说，贝叶斯和似然率比值与频率主义的思路很不相同，它们关注的是相对的证据。也就是说，当前的数据，在多大程度上支持了我的假设A（相对于假设B）。本文主要讲似然率比值（Likelihood ratio）。似然率比值本身可以作为一统计推断的方法，也是贝叶斯统计的基础。<img src=\"v2-cfc85dfa198bc09d8b092d328e6de225.png\" data-rawwidth=\"520\" data-rawheight=\"309\">这个可以看出来，似然率比值与NHST的区别还是挺大的：似然率比值是根据数据来推断某个统计模型的可能性；而NHST是假设H0为真的情况下出现当然数据的可能是多少，这个可能性是否小到我们认为在一次抽样中不可能发生。课程中使用二项分布来讲解似然率比值:<img src=\"v2-7f7ebe550c6a19a76a32e0c8c242651b.png\" data-rawwidth=\"542\" data-rawheight=\"214\">二项式分布就是我们在大学以前学习过的掷N次硬币出现m次有多大可能的那个，上面的这个公式是一个数学的表达式。当然，不喜欢公式实际上也不影响理解。假如你掷了10次硬币，出现了8次正面朝上。根据这个数据，我们可以算一下这个硬币是否是一个公平的硬币（也就是说不断掷下去正反面出现的比例各为0.5）。一个公平的硬币，在二项式公式中的参数<equation>\\theta = 0.5</equation> 。抛10次硬币出现8次正面向上，计算硬币是公平的概率时，把<equation>\\theta = 0.5</equation>代到下面的公式之中即可<equation>[10!\\div (8!(10-8)!)]\\times \\theta^8\\times(1-\\theta)^2</equation> (1) 当然，我们可能会怀疑，这个硬币不是公平，它本身可能是一个<equation>\\theta = 0.8</equation>的一个硬币（也是说，80%的情况下出现正面）。这种情况下，可以把<equation>\\theta = 0.8</equation>代入到公式（1）得到这个情况下的似然性（约为0.3）。在这两种情况下<equation>\\theta = 0.8</equation> 和<equation>\\theta = 0.5</equation> 相当于是我们假设的模型，而10次硬币中出现8次正面向上则是我们的数据。根据数据可以计算出每个模型的似然性。实际上，还可以有更多的模型，比如 <equation>\\theta = 0.4</equation>，<equation>\\theta = 0.3</equation> ... 。这些模型之下的似然性可以画成一条曲线：<img src=\"v2-8b96b9f234880052af2d1e56591fb679.png\" data-rawwidth=\"881\" data-rawheight=\"549\">讲到这里，好像还没讲似然率比值中的比值（ratio）是什么呢。前面说到了，似然率是在当前数据下，不同模型可能性的比值。假如我们有两个假设：H0 是 <equation>\\theta = 0.5</equation> ，H1是<equation>\\theta = 0.8</equation> ，那这两种情况下我们似然率比值是多少呢？见下图： <img src=\"v2-85c32e9ec241cbd64b428a3c55fa41e0.png\" data-rawwidth=\"1060\" data-rawheight=\"568\">如果掷了10次硬币，只有4次是正面朝上，这时时候，H0和H1的似然率比值就发生了重大的变化：<img src=\"v2-7269f77d4debeee554bf6d9a71a8d581.png\" data-rawwidth=\"1090\" data-rawheight=\"566\"> 对于似然率比值来说，我们应该使用什么样的标准觉得比较合适来进行判断呢？Royall给了一个直觉的标准：<img src=\"v2-396592a056a0599a074f78a4d07a1ab0.png\" data-rawwidth=\"576\" data-rawheight=\"323\"> 但是使用似然率比值的时候，需要非常警惕一点，这个比值是相对的：即便一个模型比别外一个模型的似然性高的不知道哪里去了，也有可能两个模型都是错得离谱的（比如下图中 H0（<equation>\\theta = 0.3</equation>）比H1（<equation>\\theta = 0.8</equation>）的似然率比值大了许多倍，仍然不能说明它是正确的假设。 <img src=\"v2-44d9cef2d7a666da601498634817ee1f.png\" data-rawwidth=\"1160\" data-rawheight=\"574\"> 通常二项式来解释似然率，应该算是比较清楚了。Daniel顺便八卦了一下，似然率是Fisher在读本科的时候发明的，当时22岁（大神就是这么屌啊）。<img src=\"v2-5cf14f6fc500138c915b2fcb17b6fb8a.png\" data-rawwidth=\"595\" data-rawheight=\"336\">二项式的似然率的比值在我们的研究中可以怎么用呢？Daniel举了一个很有趣的例子：假如我们研究某个效应，可以比较H0假设为真时出现显著结果的似然率（<equation>\\theta = 0.05</equation>）和H1为真情况出现显著结果的似然率（假定我们的研究的统计功效为0.8，则<equation>\\theta = 0.8</equation>）。这种情况下，假如我们进行了3个实验，则有4个种可能：0个显著、1个显著、2个显著和3个都显著。那么H0为真的情况下，3个实验中有2个显著的似然率为：<img src=\"v2-7faec069c161c1acae26aa5730203577.png\" data-rawwidth=\"574\" data-rawheight=\"205\">H1为真的情况下（每个实验的统计功效均为0.8），3个实验有2个显著的似然率为：<img src=\"v2-44d553d465bc09bec575f14f3f6835b2.png\" data-rawwidth=\"556\" data-rawheight=\"275\">采用似然率比值的话，那么H1为真的情况比H0为真的情况下的似然率比值是54，也就是说，3个实验中有2个显著的话（统计功效为0.8），H1为真比H0为真的似然率高54倍。不过这里有一个更意义的值：<img src=\"v2-af7e18df9d0a2f30c878058886b832b7.png\" data-rawwidth=\"586\" data-rawheight=\"261\">在H1为真且统计功效为0.8的情况下，只有0.51的可能得到三个实验全部显著（那些八、九个实验全部显著的研究得怎么做到的 [捂脸]）。当我们进行4个实验时，得到0个、1个、2个、3个和4个显著结果的可能性分布见下图，最有可能出现的结果是出现2到3个显著的结果。<img src=\"v2-ea5c8098b61d3e5540edda4fefb978e3.png\" data-rawwidth=\"1093\" data-rawheight=\"579\">在课程中，Daniel实际上讲的是用似然率比值来估计我们多个实验的情况下，H0和H1为真的比值。但在单个实验中，我们能否使用似然率比值？这里没有提，我的理解是比较困难，因为我们可能不知道我们所研究的这个现象它应该是一个什么分布，如果不知道这个分布的话，如何计算似然率本身就比较困难了。 当然，将似然性比值运用于对多个实验结果的分析中，也是非常有意义的，至少这个统计取向对于我们研究有实际的意义。","updated":"2016-12-10T09:30:53.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":9,"state":"published","isLiked":false,"slug":"24175191","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T17:30:53+08:00","links":{"comments":"/api/posts/24175191/comments"},"url":"/p/24175191","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24175191","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":9},"24298944":{"title":"Improving your statistical inferences第二周（2）：贝叶斯方法","author":"hcp4715","content":"注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第二周的第二部分内容。你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a> 第二周的第二部分内容是贝叶斯统计。贝叶斯统计(Bayesian)最近几年应该说是越来越火，当然在心理学研究中，绝大部分人还是使用频率主义的做法。正如我们在第一周的内容里说的，有一种玩笑：之所以用p值是因为不会贝叶斯。从某个侧面说明了贝叶斯统计并不是那么容易。还好Daniel给我们提供了一个比较友好的入门。 贝叶斯最突出的一点是：有一个先验的假设（或者信念， prior belief）。如下图，贝叶斯的主要思路就是根据通过先验假设和数据，将实验者的假设进行更新，成为后验的假设/信念。视频中举的例子是：掷三个次硬币，都是正面朝上。面对这个信息，一个从来没有见过掷硬币的婴儿可能就相信掷硬币都会得到正而朝上的结果；而你我这样能来学习统计推断的人，则会不得到这样的一个信念。差别在哪里？在于我们的先验假设。<img src=\"v2-8621b759aae6afa15cb3430bea48193e.png\" data-rawwidth=\"573\" data-rawheight=\"295\">更加具体一点，可以这么写：<img src=\"v2-37bded5e08308d980e680022012abb95.png\" data-rawwidth=\"1043\" data-rawheight=\"526\">那么在二项分布中，先验假设一般是一个beta分布，这个分布有两个参数：alpha 和beta。这两个值不同的，我们会得到很不同的分布：<img src=\"v2-792f2e698122f77ec5549e26d254b6a3.png\" data-rawwidth=\"2105\" data-rawheight=\"653\">使用贝叶斯的原则，我们得到数据之后可以根据数据对先验假设进行更新，在Beta分布中，这个更新非常容易：<img src=\"v2-e0dab57ba32b0af2226d6c4bd7958ba3.png\" data-rawwidth=\"1106\" data-rawheight=\"526\">至于为什么是这样，Daniel没有讲，我也不太懂，我就假装它就是这样的吧。假定我们的先验是：完全不知道掷硬币时出现下面的概率分布是怎么的，于是我们的先验是均匀分布，一条直线。掷了10次硬币之后，发现了6次正面朝上。这时，更新之后后验看起来就不一样了：<img src=\"v2-0d58678098be81aa5244c18e26c09e54.png\" data-rawwidth=\"1061\" data-rawheight=\"561\">上图中，灰色的是先验假设；蓝黑线则是根据数据进行更新之后的。由于先验假设没有提供任何的信息，所以这里的后验信念与前面讲的似然率是一样的，都是由数据本身所决定的。但是，如果先验的假设是有信息量的，则贝叶斯的后验假设会与似然率分离：<img src=\"v2-5c3abd479e548da7c75a4680805b83c4.png\" data-rawwidth=\"1072\" data-rawheight=\"598\">上图仍然是掷10次硬币出现6次正面朝上。但我们一个先验假设（灰色），根据数据的似然率（蓝色虚线），我们得到了后验信念（黑色的实线）。贝叶斯的方法的用途之一是进行假设检验，不过与似然率比值相似的是，贝叶斯统计的假设检验也是相对比值。在视频中，Daniel将贝叶斯假设检验的统计指标之一 —— 贝叶斯因子（Bayes Factor）解释为后验与先验的相对比值。同样以上面的数据为例子，当我们的先验假设不同，即便我们得到了相同的数据，最后得到的贝叶斯因子也会有所差异：<img src=\"v2-499f2a4493c2a8e6ea2cde0109cce459.png\" data-rawwidth=\"2288\" data-rawheight=\"530\">贝叶斯的另一种用法是估计(Estimation)，也就是根据先验假设和数据，来估计出最可信的值。这个估计出来的结果称为credible interval，可信区间。有意思的是，当先验的假设不一样时，估计出来的可信区间也非常不同：<img src=\"v2-c9d6508ba69a8eefcb4617de4710903f.png\" data-rawwidth=\"1375\" data-rawheight=\"580\">左图是先验的假设没有信息量时（均匀分布），右图的假设则是认为硬币是有偏的，更有可能出现正面。 从这两个图中可以看出来，贝叶斯的统计的一特点是通过数据来更新信念，随着数据的不断收集，我们有会越来越接近真值。讲完贝叶斯统计的基本思路之后，Daniel在第三个视频中进一步讲了贝叶斯的思维（Bayesian thinking）。这课里讲的是贝叶斯统计里通常会举的例子：一次医学测试的结果是阳性，有多大可能是真的是患病了？比如，一个医学测试，它的Sensitivity (true positive) 为80%，Specificity (true negative)为 87%；而流行病学的调查表明，它的患病率为3%。如果你进行一次测试，发现结果是阳性的，这个时候你患上这个疾病的概率是多少？根据贝叶斯公式，可以进行计算：P（患病｜阳性）＝ P(患病&amp;阳性)/P(阳性) ＝ P(阳性|患病)*P(患病)/(P(阳性|患病)*P(患病) + P(阳性|没患病)*P(没患病)) ＝ 80%*3%/(80%*3% + 13%*97%) = 0.159。所以这个可能性是相当低。随后，Daniel介绍了一个图，可以将P值与先验假设结合起来，不用通过贝叶斯的计算，就能得到一个大约的估计：<img src=\"v2-b4365cab54843ea51bb898db372086eb.png\" data-rawwidth=\"617\" data-rawheight=\"676\">不过本人推荐大家使用JASP这个软件，可以很容易地进行贝叶斯的假设检验。 第二周的作业基本上是练习似然率和贝叶斯统计的一些内容，对于加深对这视频中讲解的内容非常有帮助。","updated":"2016-12-10T14:19:04.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":8,"state":"published","isLiked":false,"slug":"24298944","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T22:19:04+08:00","links":{"comments":"/api/posts/24298944/comments"},"url":"/p/24298944","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24298944","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":8},"24299896":{"title":"Improving your statistical inferences第七周：开放科学","author":"hcp4715","content":"注：Improving your statistical inference是荷兰 Eindhoven University of Technology心理学研究者Danial Lakens在coursera上开设的一门公开课，目的是为了增加心理学研究者对心理学研究中常用统计的理解。本次补第七周的内容。你对p值的理解吗？让我们来测一测：<a href=\"https://sojump.com/jq/11122468.aspx\" class=\"\" data-editable=\"true\" data-title=\"你理解p值和置信区间？\">你理解p值和置信区间？</a> 第七周的内容主要是关于开放科学（open science）。这个主题非常重要，因为这个课程的开设，就跟心理学最近的可重复危机有关，而开放的和透明的科研做法，正是解决可重复性的挺然之一。第一个视频就是讲重复（replication）。Karl Popper，著名的科学哲学家，对于可重复性在科学中的重要性也是有所评论的：<img src=\"v2-0a40a13376c88f910882d807e384101a.png\" data-rawwidth=\"572\" data-rawheight=\"294\"><img src=\"v2-5c4351c5d5c5ac30bffe0819f9a5a692.png\" data-rawwidth=\"568\" data-rawheight=\"266\">但是遗憾的是，许多研究领域并不重视重复性的研究，比如Bem (2011)在JPSP上发表了关于预测未来的研究之后，有一个独立的研究小组重复了他们的实验并且没有重复成功，当他们把结果提交到JPSP的时候，主编说：<img src=\"v2-3cff3118ac24d4882523528b3a905717.png\" data-rawwidth=\"582\" data-rawheight=\"284\">当然，这个说法很快遭到了大家的批评，估计主编也扛不住了。JPSP换了主编之后，接受了另一个对Bem实验的结果：<img src=\"v2-919e5543cd87b5adf2252bdabd790635.png\" data-rawwidth=\"1136\" data-rawheight=\"590\"> 最近关于重复研究越来越受到（心理学）科研界的重视，不少杂志发出邀请，让大家提前注册一些重要的重复研究。重复研究不同的含义，具体可以见Goodman (2016)的讨论。对于直接重要研究来说，有三个目的：第一：确定是否有假阳性；第二：控制混淆变量，这个对于训练研究生来说非常有用；第三：是否能推广到新的人群；第四：验证原研究中的理论假设。现在科研界的可重复状况如何？不尽人意，Begley &amp; Ellis (2011)对53项医药研究的重复表明，大约只有11%的研究可以重复出来；心理学的研究，大约是39% (Open Science Collaboration, 2015)（关于心理学研究的可重复性，见我们的一个介绍：<a href=\"http://118.145.16.229:81/Jweb_xlkxjz/CN/abstract/abstract3606.shtml\" data-editable=\"true\" data-title=\"心理学研究中的可重复性问题：从危机到契机\">心理学研究中的可重复性问题：从危机到契机</a>） 那些研究比较不容易重复出来？如果以下三个因素都出现在一个研究当中，那就要小心了：<img src=\"v2-ae3a956bbeb6deca29e82e2aac227cb0.png\" data-rawwidth=\"584\" data-rawheight=\"321\">(注意：上图中的这个作者的名字应该是Lindsay)。当然，Daniel也提到近年来一些比较重复的大规模的重复工作，他基本上都参与了。这些大规模的重复在我们的论文中也有所提及。第二个重要的问题是出版偏见（publication bias），也就是论文发表过程中，科研界作为一个整体，会选择性地报告阳性的结果。这一点可以从p值的分布中看到这一点：从显著的p到不显著的之间，有一个突然的下降：<img src=\"v2-e1f9f68cfd3c58cce7d34b8d660ff394.png\" data-rawwidth=\"485\" data-rawheight=\"329\">当然，出版偏见会带来很大的问题，可能会影响到研究者过于乐观地估计某个效应的效应量，甚至是投入大量的时间、金钱和精力去到一些没有效应的研究方向（包括多少研究生的血泪史、对科学丧失信心等）。对于出版偏见，我们无法对其进行校正，但是却可以检测出是否存在出版偏见。<img src=\"v2-c3deaa8984e4cf8a67ca23fe1da5e95b.png\" data-rawwidth=\"1123\" data-rawheight=\"617\">上图中，阴影部分是没有效应的情况，虚线的区域是根据效应量估计出来的应该有的实验的效应分布，可以看出来，大量的实验是正好分布在有效应与没有效应的边界上。对于出版偏见，现在没有公认的完美方法来校正，但是却有一些尝试的方法，但这些方法本身也是有一些局限性的，我就不作介绍了。需要做元分析 方法保持谨慎的态度。避免出版偏见的方法是：提前注册。提前将自己的研究计划公布出来，不管结果如何，均将数据和结果公布，这正是一个目前正在心理学界推广的方法。最后一个视频是讲开放科学（open science）。这个是最近几年科学界的一股清流。开放的科学有6个方面：1. 论文开放（任何人都可以阅读科学的文献），这一点上，由于出版商的利润驱使，目前大部分的科学论文是无法免费获得的；荷兰政府正在准备将他们国家的科学论文到2024年时全部免费获取，这开了一好头；2. 数据开放，这一点上确实有一些政策在管制，但是实际上，开放的数据并不是多见，有一些数据确实开放了，但是利用率也不高。今年还出现过一个\"research parasites\"的词，来指责那些自己不收集数据专门分析他人数据的研究者，这个词受到了广泛的指责。数据的开放也是有多个层次：从原始数据到分析过的数据到数据图表。这个需要有比较好的数据整理规范。另外，一些学术杂志开始要求研究者公开数据了。可能从明年趣，science，nature这样的杂志也开始有这个要求了。3. 实验材料开放。开放实验材料将大大加速其他的研究重复原来研究的过程。这也是目前正在大力推广的。当前，可以使用Open science framework来进行分享。psychological science提供了一个标识，来奖励那些开放材料的研究。4. 开放同行评议的内容。也就是说，同行评审过来要公开，这样可以避免小圈子之间的相互放水。5. 开放分析代码。这一点将更加加速科研的进程，这样的话，许多研究生也许不用花大量的时候来走弯路了。6. 公开利益冲突。也就是说作者本人与发表文章是否有利益的关系。这一点绝大部分学术界的研究者都还不是大问题，但也不少是涉及到商业利益的研究。为什么上面说的这个开放的科学过程并没有想像的顺利？因为科学家之间也有利益的冲突。开放科学就像一个公共资源两难的问题：如果每人都贡献，大家都好；如果每人都贡献但是我不贡献，则我的收益最大。这种情况下，需要一些自上而下的机制，比如政府和基金的强制要求。近年来，技术的进展也是推进开放科学的一个重要的原因，互联网的发达使得开放数据变得非常容易了。最后，这一课的作业是在osf.io上提前注册一个研究，算是一个练习吧。比较有趣的是，这里提到了个数据组织的形式。虽然我们在科研中，每个实验室都有自己的数据组织方式，但是这里提供了个比较规范的方式，大致是采用如下的文件夹结构（详细说明见网站：<a href=\"http://www.projecttier.org/\" data-editable=\"true\" data-title=\"Teaching Integrity in Empirical Research\" class=\"\">http://www.projecttier.org/tier-protocol/specifications/</a>）：<img src=\"v2-603a988f467ace3f389343a3c55060e6.png\" data-rawwidth=\"606\" data-rawheight=\"453\">这个文件夹组织的形式有一个demo，可以从这里下载：<a href=\"http://www.projecttier.org/documents/77/Replication_Documentation_for_Midlife_Crisis_Paper.zip\" data-editable=\"true\" data-title=\"projecttier.org 的页面\">http://www.projecttier.org/documents/77/Replication_Documentation_for_Midlife_Crisis_Paper.zip</a> 到这里，整个课程的笔记更新完毕。第八周只是考试，不用更新了 ;-) 参考文献：Begley, C. G., &amp; Ellis, L. M. (2012). Drug development: Raise standards for preclinical cancer research. Nature, 483(7391), 531–533. doi:10.1038/483531aGoodman, S. N. (2016). Aligning statistical and scientific reasoning. Science, 352(6290), 1180-1181. doi:10.1126/science.aaf5406Lindsay, D. S. (2015). Replication in psychological science. Psychological Science, 26(12), 1827–1832. doi:10.1177/0956797615616374Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126/science.aac4716","updated":"2016-12-10T15:21:18.000Z","canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":49,"state":"published","isLiked":false,"slug":"24299896","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2016-12-10T23:21:18+08:00","links":{"comments":"/api/posts/24299896/comments"},"url":"/p/24299896","titleImage":"https://pic3.zhimg.com/v2-510264646fc472465ff89271b1ea03ee_r.png","summary":"","href":"/api/posts/24299896","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":49},"24728005":{"title":"2016年关于心理学可重复性的主要关注点","author":"hcp4715","content":"修改自我对这一问题的回答：<a href=\"https://www.zhihu.com/question/53174486/answer/135731290\" data-editable=\"true\" data-title=\"2016 年，心理学学科内部都出现过哪些有价值的争论？\" class=\"\">2016 年，心理学学科内部都出现过哪些有价值的争论？</a> 心理学的可重复性问题自2011年起，就持续成为热点，争论到2016年，也许算是颇为持久，当然，2016年基本上可以算是对这个问题争议的尾声了，许多关键的问题已经为大家所接受，那么2016年有意思的可能主要问题有：第一、统计知识在讨论可重复性问题中的重要性；第二、讨论可重复性问题的时候语气应该是什么样的；第三、研究者如何面对自己过去的研究无法重复。 关于可重复性问题的争论，主要是各种博客和Facebook的两个群：Psychological Methods Discussion Group（目前有5389个成员）和psychMAP（目前有4465个成员），有兴趣的同行应该申请加入，可以围观大神们讨论。 第一个问题：统计知识在讨论可重复性问题中的重要性。 关于影响可重复性的因素，其实2011年的经典文章：false positive psychology （<a href=\"//link.zhihu.com/?target=http%3A//pss.sagepub.com/content/early/2011/10/17/0956797611417632.abstract\" class=\"\" data-editable=\"true\" data-title=\"False-Positive Psychology\">False-Positive Psychology</a>）中就已经有了很好的说明：心理学中有许多研究问题，由于各位p-hacking手段的存在，实际上只是噪音而已。 而2015年心理学界最受到关注的文章：Open Science Collaboration. (2015). <a href=\"http://science.sciencemag.org/content/349/6251/aac4716\">Estimating the reproducibility of psychological science</a>. Science, 349(6251), 943. doi:10.1126/science.aac4716（以下称为OSC(2015)），又得到了关于心理学研究可重复性一个比较量化的估计：大约为39%的研究是可以重复的。 但是这个结论并非所有的研究者都认同，于是有了 Dan Gilbert在Science上对OSC 2015的论文的评论（<a href=\"//link.zhihu.com/?target=http%3A//science.sciencemag.org/content/351/6277/1037.2\" class=\"\" data-editable=\"true\" data-title=\"Comment on “Estimating the reproducibility of psychological science”\">Comment on “Estimating the reproducibility of psychological science”</a>）以及其后续的争议。这个争议主要的问题集中于：Gilbert等人的批评是否有道理？很多人不这么认为，更要命的是，Gilbert等人的评论中，暴露了他们对一些统计概念的理解偏差。后面也有不少研究者来反驳这一点。最为正式的，还是在Science上的反驳：<a href=\"//link.zhihu.com/?target=http%3A//science.sciencemag.org/content/351/6277/1037.3\" class=\"\" data-editable=\"true\" data-title=\"http://science.sciencemag.org/content/351/6277/1037.3\">http://science.sciencemag.org/content/351/6277/1037.3</a> 。还有一些其他研究者在自己博客上的反驳：<a href=\"//link.zhihu.com/?target=https%3A//hardsci.wordpress.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/\" class=\"\" data-editable=\"true\" data-title=\"Evaluating a new critique of the Reproducibility Project\">Evaluating a new critique of the Reproducibility Project</a>、<a href=\"//link.zhihu.com/?target=http%3A//daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html\" class=\"\" data-editable=\"true\" data-title=\"http://daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html\">http://daniellakens.blogspot.co.id/2016/03/the-statistical-conclusions-in-gilbert.html</a> (需要科学上网）、<a href=\"//link.zhihu.com/?target=http%3A//deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html\" class=\"\" data-editable=\"true\" data-title=\"http://deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html\">http://deevybee.blogspot.co.uk/2016/03/there-is-reproducibility-crisis-in.html</a>（需要科学上网） （无耻的自我推销来了！！！） 考虑到Dan Gilbert在社会心理学中举足轻重的地位，他的评论应该会影响很多人对OSC2015结论的看法，我们在《<a href=\"https://www.researchgate.net/publication/305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" class=\"\" data-editable=\"true\" data-title=\"心理学研究中的可重复性问题：从危机到契机\">心理学研究中的可重复性问题：从危机到契机</a>》一文中也用了一小节来讨论他们的这个评论以及相关的问题，具体内容在1505页最后一段到1506页的前两段。 关于第一个问题，还有另一个比较受到关注的争论：van Bavel在PNAS上的文章： <img src=\"v2-4b34cfbe7e6b3cf9663c315fb4632897.png\" data-rawwidth=\"1257\" data-rawheight=\"278\"> 这个文章的一个核心论点是说：心理学中的不可重复性，是因为研究的问题的背景敏感性带来的，其实有一些隐藏的中介变量（hidden modulators）没有被发现。这个文章一出来，在fb上引发了非常强烈的反应，甚至有一些人身攻击。后来的反驳也非常多，包括 Inbar等在PNAS上写的一个评论，认为这实际上只是一个统计谬误（<a href=\"//link.zhihu.com/?target=http%3A//www.pnas.org/content/113/34/E4933.extract\" class=\"\" data-editable=\"true\" data-title=\"Association between contextual dependence and replicability in psychology may be spurious\">Association between contextual dependence and replicability in psychology may be spurious</a>）、van Bavel的反驳（<a href=\"//link.zhihu.com/?target=http%3A//www.pnas.org/content/113/34/E4935.extract\" class=\"\" data-editable=\"true\" data-title=\"Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology\">Reply to Inbar: Contextual sensitivity helps explain the reproducibility gap between social and cognitive psychology</a>），以及博客：如<a href=\"//link.zhihu.com/?target=https%3A//brainsidea.wordpress.com/2016/05/24/a-critical-comment-on-contextual-sensitivity-in-scientific-reproducibility/\" class=\"\" data-editable=\"true\" data-title=\"A critical comment on “Contextual sensitivity in scientific reproducibility”\">A critical comment on “Contextual sensitivity in scientific reproducibility”</a>。在facebook的评论里，我觉得 Tal Yarkoni的评论非常具有实际的意义： <blockquote>So I guess that while I support your conclusions here regarding context sensitivity, I would argue that the strongest and most actionable implication of what you're saying is not that people should ease up on replication efforts and criticisms of non-replicability, but that people who know their work is fragile should be very careful to announce that in the title and abstract, and not just in a sentence somewhere in the discussion.</blockquote>这个问题我也觉得很严重：研究者明知自己所研究的效应很微弱却宣称自己的结果具有广泛的意义，这种夸大的问题，可能是非常严重的。（关于FB上的讨论，可以见这个帖子：<a href=\"//link.zhihu.com/?target=https%3A//www.facebook.com/groups/psychmap/permalink/243801382663458/%3Fmatch%3DeWFya29uaQ%253D%253D\" class=\"\" data-editable=\"true\" data-title=\"facebook.com 的页面\">facebook.com 的页面</a>） 关于什么因素导致心理学的研究不可重复，这个问题可能可以永远地争论下去。不过2016年，不管研究者对可重复性持什么观点，一些新的研究实践标准正在慢慢建立起来。OSC2015，以及van Bavel关于contextual sensitivity的讨论，都把他们的数据公开，许多讨论中也都附上了他们的分析代码，这一点，也许是我们最值得跟进的。 第二个问题是关于研究者应该以何种语气讨论可重复性问题，也就是一个tone的问题。这个问题也不是2016年独有的，Cambridge心理学系的研究者Schnall 2014年就在博客上讨论过这个问题：Further Thoughts on Replications, Ceiling Effects and Bullying （<a href=\"//link.zhihu.com/?target=http%3A//www.psychol.cam.ac.uk/cece/blog\" class=\"\" data-editable=\"true\" data-title=\"Blog - Department of Psychology\">Blog - Department of Psychology</a>）。原因也很简单，当一些研究者的结果无法重复时，会有一些人对他们进行人身的攻击、嘲讽、恶意推断等。当年Dan Gilbert就在tweeter上说过有些人是little replication bully。到2016年，这个问题成为讨论的重点之一，因为Susan Fiske写了一篇文章，她认为存在一些methodological terrorism。目前，她写的原始版本仍然在dropbox上保存着：<a href=\"//link.zhihu.com/?target=https%3A//www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%2520presidential%2520guest%2520column_APS%2520Observer_copy-edited.pdf\" class=\"\" data-editable=\"true\" data-title=\"https://www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf\">https://www.dropbox.com/s/9zubbn9fyi1xjcu/Fiske%20presidential%20guest%20column_APS%20Observer_copy-edited.pdf</a>。 正式版本中，Fiske缓和了她的语气：<a href=\"//link.zhihu.com/?target=http%3A//www.psychologicalscience.org/observer/a-call-to-change-sciences-culture-of-shaming%23.WGpKPvl95EY\" class=\"\" data-editable=\"true\" data-title=\"A Call to Change Science’s Culture of Shaming\">A Call to Change Science’s Culture of Shaming</a>。 Fiske在她原来的评论中，认为现在社交媒体发达之后，一些原本应该在学术杂志上进行讨论的事情，在社交媒体以及博客上就迅速地展开了，而且是没有任何审查的。也正是因为如此，所以有许多人身的攻击和不当的措辞，这种methodoloigcal terrorism的存在，让很多有学术前途的人离开了学术界。 但是Fiske本人的观点是代表了主流的意见？到底在是否存在tone的问题？不同的研究者有不同的看法，一些比较好的博客： <a href=\"//link.zhihu.com/?target=http%3A//blogs.plos.org/absolutely-maybe/2016/09/29/flying-flak-and-avoiding-ad-hominem-response/\" class=\"\" data-editable=\"true\" data-title=\"Flying Flak and Avoiding “ad hominem” Response | Absolutely Maybe\">Flying Flak and Avoiding “ad hominem” Response | Absolutely Maybe</a> <a href=\"//link.zhihu.com/?target=http%3A//www.talyarkoni.org/blog/2016/10/01/there-is-no-tone-problem-in-psychology/\" class=\"\" data-editable=\"true\" data-title=\"There is no “tone” problem in psychology\">There is no “tone” problem in psychology</a> <a href=\"//link.zhihu.com/?target=http%3A//andrewgelman.com/2016/09/21/what-has-happened-down-here-is-the-winds-have-changed/\" class=\"\" data-editable=\"true\" data-title=\"What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science\">What has happened down here is the winds have changed - Statistical Modeling, Causal Inference, and Social Science</a> （这篇博客还简单地回顾心理学研究中的可重复问题的历史） 第三、研究者如何面对自己过去的研究无法重复。 这个问题上有两种态度：一种是发现自己原来的做法确实有问题，并且在后来的研究中更加重视统计以及研究的严谨性问题。这方面的极端代表是自己后面成为研究方法上的专家，比如有代表性的是Daniel Lakens，他现在积极地推进各种统计上更严谨的方法，但他之所以这么做，是因为他作为作者之一的第一篇论文（重量的具体认知：<a href=\"http://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2009.02426.x\" class=\"\" data-editable=\"true\" data-title=\"Weight as an Embodiment of Importance\">Weight as an Embodiment of Importance</a>，这个研究我在2010年左右重复过，没有重复出来，说多了都是泪）被人质疑too good to be true，具体可以见他的博客：<a href=\"http://daniellakens.blogspot.hk/2016/09/why-scientific-criticism-sometimes.html\" data-editable=\"true\" data-title=\"daniellakens.blogspot.hk 的页面\" class=\"\">http://daniellakens.blogspot.hk/2016/09/why-scientific-criticism-sometimes.html</a> (需要科学上网)。跟他相似的是 Joe Simmons，他们最初的非常“有趣”的研究结果(Daniel the Dentist: <a href=\"http://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2007.02032.x\" data-editable=\"true\" data-title=\"Moniker Maladies\">Moniker Maladies</a>)后来被发现是假阳性，后来转而关注研究方法，成为了2011年False Positive Psychology的作者之一:<a href=\"http://datacolada.org/53/\" data-editable=\"true\" data-title=\"[53] What I Want Our Field To Prioritize - Data Colada\" class=\"\">[53] What I Want Our Field To Prioritize - Data Colada</a>。 另一种态度则是坚持自己原来的理论是正确的（注意，是理论，理论与数据之间的差异，见这我的这个笔记：<a href=\"https://zhuanlan.zhihu.com/p/24167271\" data-editable=\"true\" data-title=\"Improving your statistical inferences第一周\" class=\"\">Improving your statistical inferences第一周</a>），并且准备采用一些方法来为自己的研究正名。这方面有代表性的是关于Power Posing效应的两个作者之间的申明：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/0956797610383437\" class=\"\" data-editable=\"true\" data-title=\"Power Posing - Sep 20, 2010\">Power Posing - Sep 20, 2010</a>的作者分别是：Dana R. Carney, Amy J.C. Cuddy, Andy J. Yap。2016年，一作Dana Carney （现在是伯克利加州大学商学院的副教授）公开表明了自己对Power Posing的态度(<a href=\"//link.zhihu.com/?target=http%3A//faculty.haas.berkeley.edu/dana_carney/pdf_My%2520position%2520on%2520power%2520poses.pdf\" class=\"\" data-editable=\"true\" data-title=\"http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf\">http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf</a>)，核心观点是： <blockquote>.... I do notbelieve that “power pose” effects are real .....</blockquote>要知道，这个power posing的研究，是TED上最火爆视频(<a href=\"//link.zhihu.com/?target=https%3A//www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are\" class=\"\" data-editable=\"true\" data-title=\"Your body language shapes who you are\">Your body language shapes who you are</a>)的科学来源。 二作Amy Cuddy对这个表态的反应是：power posing的效应是有的，但是我们需要先把power posing的定义弄清楚....., 具体见这里： <a href=\"//link.zhihu.com/?target=http%3A//nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html\" class=\"\" data-editable=\"true\" data-title=\"http://nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html\">http://nymag.com/scienceofus/2016/09/read-amy-cuddys-response-to-power-posing-critiques.html</a> 至于Amy Cuddy的对power posing的定义是否是一种post-hoc justification，每个研究者都有自己的看法。而关于power posing的重复实验，目前也是非常多的。有兴趣应该能够搜索到。 另外一个社会心理学影响非常大的研究：ego-depletion，在2016年也有了一个多实验室大规模注册重复的结果：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/1745691616652873\" class=\"\" data-editable=\"true\" data-title=\"A Multilab Preregistered Replication of the Ego-Depletion Effect\">A Multilab Preregistered Replication of the Ego-Depletion Effect</a>。 Baumeister对此的反应在这里：<a href=\"//link.zhihu.com/?target=http%3A//journals.sagepub.com/doi/abs/10.1177/1745691616652878\" class=\"\" data-editable=\"true\" data-title=\"Misguided Effort With Elusive Implications\">Misguided Effort With Elusive Implications</a>。当然，还有反驳：<a href=\"//link.zhihu.com/?target=http%3A//journal.frontiersin.org/article/10.3389/fpsyg.2016.00621/full\" class=\"\" data-editable=\"true\" data-title=\"Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science\">Commentary: Misguided Effort with Elusive Implications, and Sifting Signal from Noise with Replication Science</a> 当然，2016年，还有许多其他的争论，但可重复性问题的争议慢慢进入尾声时，有人开始反思，为什么心理学的可重复性问题会如此引人注目？原因是多方面的（<a href=\"//link.zhihu.com/?target=http%3A//andrewgelman.com/2016/09/22/why-is-the-scientific-replication-crisis-centered-on-psychology/\" class=\"\" data-editable=\"true\" data-title=\"Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science\">Why is the scientific replication crisis centered on psychology? - Statistical Modeling, Causal Inference, and Social Science</a>），有两个比较有意思：一是心理学的研究比较开放，很多都可以公开讨论；二是没有涉及太多的利益，所以没有因为利益关系而被压制起来。从这个角度来说，心理学的研究者还是可以自豪一些的：起码，我们的领域没有太受到利益的捆绑而一直保持低可重复性而无所变化。总体来说，心理学的研究，还是在慢慢进步的。","updated":"2017-01-05T05:39:46.000Z","canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":81,"state":"published","isLiked":false,"slug":"24728005","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-05T13:39:46+08:00","links":{"comments":"/api/posts/24728005/comments"},"url":"/p/24728005","titleImage":"","summary":"","href":"/api/posts/24728005","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":81},"24775841":{"title":"如何预注册（Pre-register）你的研究？","author":"hcp4715","content":"注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。 预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划登记在册，坦诚地说明你的计划，避免HARKing (Hypothesizing After the Results are Known)。最近一些学术期刊在推行Registered Reports，就是向杂志提供你的研究计划，杂志方进行第一次审稿（有评审意见），然后如果杂志方表示认可你的计划，接受你的方案，然后你再收集数据，分析，写文章，最后再提交，杂志再来第二次审稿。具体见（<a href=\"https://cos.io/rr/\" class=\"\">https://cos.io/rr/</a>）<img src=\"v2-0de703d40fe147e237cfe74b063947b7.png\" data-rawwidth=\"1347\" data-rawheight=\"298\"> 怎么预注册？首先，选择一个合适的平台。目前，据我所知，有两个比较受到认可的平台：osf v. aspredicted。OSF（open sciene framework），前一篇文章中提到过（<a href=\"https://zhuanlan.zhihu.com/p/25089006\" data-editable=\"true\" data-title=\"Center of Open Science与Open Science Framework\">Center of Open Science与Open Science Framework</a>）。aspredicted(<a href=\"https://aspredicted.org/\" data-editable=\"true\" data-title=\"AsPredicted: Home\" class=\"\">AsPredicted: Home</a>)，这个网站一开始是为了让预注册更加简化、方便，也是不少人的选择。但是现在OSF中提供了多种预注册的方式，所以总体来说，我更推荐OSF。以下说在OSF上如何注册。第二，到OSF注册。注册不难，现在需要.edu的邮箱，另外是需要一个验证，这个验证的网站被墙了，所以注册的时候要在能够越过墙的方式下进来。第三，在OSF的页面，创建一个新的project:<img src=\"v2-0330e1711cff54d76038b6fce64d4fa9.png\" data-rawwidth=\"1465\" data-rawheight=\"372\">这个Project里有不少信息，只填写标题即可创建：<img src=\"v2-e20310808b007da8d844040da39d80a9.png\" data-rawwidth=\"746\" data-rawheight=\"581\"> 创建完了之后，打开这个project的页面后，会发现这个Project里有许多选项和相应的功能，这个是OSF提供给研究者进行数据保存以及合作等的功能。对于预注册来说，很简单，点击Registrations:<img src=\"v2-aee8c1d926f92b4cbd5777a8e2fdb24e.png\" data-rawwidth=\"1510\" data-rawheight=\"900\"> 然后，开始一个新的注册：<img src=\"v2-898a3005394c40ae1bf1938bec2d0fe7.png\" data-rawwidth=\"1209\" data-rawheight=\"304\">然后会发现，有许多种不同的注册方式：<img src=\"v2-49fe005c73cc1d344e32bd4f1fb45ea7.png\" data-rawwidth=\"1125\" data-rawheight=\"715\">点击每个注册方式后，都有相应的说明，大家可以根据自己的需要进行注册。第一个Prereg Challenge是目前COS推荐的方式，这是有奖挑战！如果以这种方式注册之后，会有人来审你的研究设计，并且可能会提出反馈。反馈之后如果有问题，修改实验设计，再提交。没有问题之后，可以开始收集数据。如果最后文章发表到他们认可的杂志上，则可以得到1000美元的奖励。是一个机会。AsPredicted Preregisteration，就是跟AsPredicted网站上一样的方式，只问一些关键的问题，适合于急着要去收集数据的情况。如果是重复实验的话，那就需要选择后面的方式了，Replication Recipe。这个是APS认可的。以下为AsPredicted Preregistration的截图：<img src=\"v2-88f52a2ea668dc60790f2af814f75b59.png\" data-rawwidth=\"1048\" data-rawheight=\"733\"><img src=\"v2-697c9cd5d9fba6a68f282c2a41874270.png\" data-rawwidth=\"1058\" data-rawheight=\"786\"><img src=\"v2-d5b1eb375ddd2882a52cbe40c9da0941.png\" data-rawwidth=\"1105\" data-rawheight=\"751\"> 最后，填写好了之后，会有一个选择：是现在就立刻公开你预注册的研究设计，还是等一段时间再公开(enter embargo)？这个就看你自己的选择了。但记住：注册的目的，最终还是为了公开。<img src=\"v2-fcd2182e3a1d9cc967a0137c0b7638b8.png\" data-rawwidth=\"2312\" data-rawheight=\"666\">希望对大家有帮助！","updated":"2017-03-09T05:39:29.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":18,"state":"published","isLiked":false,"slug":"24775841","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-09T13:39:29+08:00","links":{"comments":"/api/posts/24775841/comments"},"url":"/p/24775841","titleImage":"","summary":"","href":"/api/posts/24775841","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":18},"24792621":{"title":"心理学可重复危机简史及专栏共同作者招募！","author":"hcp4715","content":"注1：此文修改自我在自己的一篇<a href=\"http://huchuanpeng.com/2016/04/09/what-is-replication-crisis/\" data-editable=\"true\" data-title=\"博客\">博客</a>，对可重复危机进行回顾。注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：<a href=\"https://psyborgs.github.io/projects/replication-in-psychology/\" data-editable=\"true\" data-title=\"Replication in Psychology: A Historical Perspective\" class=\"\">Replication in Psychology: A Historical Perspective</a>。注3：利益相关，本人为Center for Open Science的<a href=\"https://cos.io/involved_participate/#tab_1\" data-editable=\"true\" data-title=\"ambassador\" class=\"\">ambassador</a>，有责任宣传加强研究的可重复相关的知识。注4：文章最后招募有兴趣的同行加入本专栏的写作，可以直接拖到最后。最近几年，心理学研究所能够制造的大新闻，大概就是可重复危机了。这个问题已经受到了非常广泛的关注，wiki peida也收录了可重复危机(replication crisis)的<a href=\"https://en.wikipedia.org/wiki/Replication_crisis\" data-editable=\"true\" data-title=\"词条\">词条</a>。可重复性问题到底是从何时开始的？作为一个喜欢追踪文献的博士狗，“有幸”在这个危机开始的时候，围观了一系列在science和nature上被报道而引起广泛关注的事件，在这里把个人所了解的相关事件作一个回顾。事件1：Bem (2011)的预见未来的实验。在这个标题为“Feeling the future”的文章中，已经是知名社会心理学教授的Bem在人格与社会心理学的顶级期刊Journal of Personality and Social Psychology上指出：通过9个实验，包括了1000多名被试，他发现了未来发生的事件，可能会影响到被试当前行为反应。在这个颇具有预见性的讨论中，他讨论了统计方法、可重复性和这种预见未来现象的问题。当然，心理学界的人很快提出了质疑，两个研究小组采用贝叶斯统计对他的数据进行了分析，表明无法从数据中得到这个推断。更加晚一些重复实验也没有发现Bem的这个结果。此时，人们还无法预知，这个事件将成为心理学可重复危机的一部分。science此时也只是用相当平淡的口吻给了一个评论：<a href=\"http://science.sciencemag.org/content/331/6015/272\" data-editable=\"true\" data-title=\"ESP paper rekindles discussion about statistics\" class=\"\">ESP paper rekindles discussion about statistics</a>。事件2：到2011年年末，另一重磅事件，彻底让人们开始反思心理学中方法的严谨性了。这就是Stapel的<a href=\"http://www.guokr.com/article/437083/\" data-editable=\"true\" data-title=\"论文造假事件\">论文造假事件</a>。Stapel本人是荷兰Tilburg University社会心理学的教授，刻板印象方面的专家。2011年4月8号，他在science上发表一篇题为 “Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination”的论文。这对于当时的我来说，实在是太有趣了：凌乱的环境居然会加重人们的刻板印象，太神奇了！对于这种有趣的研究，我很快在心理学与脑科学的论坛52brain.com上进行了<a href=\"http://52brain.com/thread-12960-1-1.html\" data-editable=\"true\" data-title=\"传播\">传播</a>。但是到了2011年11月01日，Nature报道，Stapel的这篇论文涉嫌造假，标题是“<a href=\"http://www.nature.com/news/2011/111101/full/479015a.html\" data-editable=\"true\" data-title=\"Report finds massive fraud at Dutch universities\" class=\"\">Report finds massive fraud at Dutch universities</a>”，而Science也<a href=\"http://science.sciencemag.org/content/334/6060/1202.1\" data-editable=\"true\" data-title=\"撤回了此论文\" class=\"\">撤回了此论文</a>（2011.12.02）。此后，nature 和science都对这个事件进行了持续的关注。Stapel之所以能够被发现是数据造假，是因为他的研究生举报（想想如果没有研究生举报，他会继续作假到什么时候？）。而Tilburg于2012年12月的调查报告显示，在他职业生涯中发表的137篇论文中，有55篇数据完全是捏造的。此外，还包括他指导的10个博士生博士毕业论文中的数据。在另外10篇论文中，当时还无法断定是否有造假行为。Science在报道这个最终报告的时，提出一个事实：整个心理学领域都有无法推脱的责任（<a href=\"http://science.sciencemag.org/content/338/6112/1270\" data-editable=\"true\" data-title=\"Final Report on Stapel Also Blames Field As a Whole\" class=\"\">Final Report on Stapel Also Blames Field As a Whole</a>），因为Stapel的55篇数据造假的论文中，审稿过程中完全没有发现问题。而这并不是说审稿的过程是无法发现问题的，因为在2012年，宾大沃顿商学院的Uri Simonsohn通过对Smeesters已经发表的两篇论文结果进行了仔细的检查之后，怀疑作者的数据有问题，随后Smeesters所在的大学对其进行了调查，Smeesters声称自己由于某些客观原因，原始数据丢失，但是其所在大学无法接受他的这个理由，接受了其辞职（见science的<a href=\"http://www.sciencemag.org/content/337/6090/21.short\" data-editable=\"true\" data-title=\"报道\">报道</a>）。事件3：还是回到2011年，Simmons, Nelson, &amp; Simonsohn 在psychological science上发表了一篇名为False-Positive Psychology的论文，在这个论文中，指出了心理学研究中，有一些比较常见的做法会让整个领域的假阳性过高。不过这个文章仅在学术界引起了一些关注，媒体的报道相对较少。也是这一年，Virginia University的Brian Nosek在google group里成立了一个叫做open science framework的讨论组，11月7日发起一个倡议，建议对2008年发表的研究进行大规模的重复，这应该就是后来的Open Science Framework的萌芽。事件4：2012年1月，无法重复的启动研究。在中国的农历尚未到2012年之时，社会心理学的社交网络圈爆发了一个新闻：著名的老年启动效应无法重复出来。记得在哈佛的幸福课（positive psychology）中，讲课的老师就引用过这个研究，让我印象深刻：当大学生看到一系列老年相关的词汇之后，他们走出实验室的速度会变慢，也就是说，变得更像老年人…….。当时我并没有特别在意这个研究。但是2012年1月，开源杂志Plos One发表了Doyen等人一个<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0029081\" data-editable=\"true\" data-title=\"研究\" class=\"\">研究</a>，声称无法重复出这个著名的效应。他们做了两个实验，第一个实验完全重复Bargh等人的实验，第二个则对参与实验的人进行了某种暗示，再现了这个效应。对于这个结果，科普作者Ed Yong进行了<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/01/18/primed-by-expectations--why-a-classic-psychology-experiment-isnt-what-it-seemed/\" data-editable=\"true\" data-title=\"报道\">报道</a>，并且开头引用了心理学教科书中著名的历史安全“<a href=\"https://en.wikipedia.org/wiki/Clever_Hans\" data-editable=\"true\" data-title=\"聪明的汉斯\">聪明的汉斯</a>”的故事，暗示原作者们Bargh等在方法上的严谨性。正常情况下，这种无法重复的原因多种多样，对于批评可能也无需太在意。但是Bargh作为自动化加工(automatic process)方面的权威，面对这个研究和报道，表示非常愤怒，在自己的博客上进行了激烈的反击，对重复实验的作者、发表重复实验的杂志以及报道这个重复实验的科普作者进行抨击，语言比较激烈，后来删除了该博客（可以从<a href=\"http://blogs.discovermagazine.com/neuroskeptic/2012/11/02/john-barghs-transient-and-ephemeral-blogs/#.VwgyaaQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>和<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/03/10/failed-replication-bargh-psychology-study-doyen/#.VwgyrqQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>找到当时其他博客上的一些引用）。正如其他信息的传播一样，客观理性的内容往往很难引起注意，但是充满情绪的内容总是非常广泛地传播，于是Bargh的博客在社会心理学家之间传播开来。Bargh这个博客引起广泛争议的同时，应该说是再次让社会心理学家们感受到了可重复问题的压力。于是一个原本不太受到关注的网站进入了大家的视野，这就是<a href=\"http://psychfiledrawer.org/\" data-editable=\"true\" data-title=\"Now Open for Beta Testing\" class=\"\">psychfiledrawer</a>。这个网站的目的是让心理学家把自己未发表的数据上传，以减少在论文发表中对阳性结果偏爱而阴性结果无法发表的这个问题。原本没有人多少人关注这个网站，但是Bargh事件之后，许多人纷纷把自己重复过的数据上传。更有意思的是，诺贝尔经济学奖得主卡尼曼也站出来说话了。在题为“<a href=\"http://www.nature.com/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf\" data-editable=\"true\" data-title=\"A proposal to deal with questions about priming effects\">A proposal to deal with questions about priming effects</a>”的邮件中，他老人家让社会心理学家解决自己领域的问题。这个邮件内容也有不少的阅读者。事情发展到2012年，越来越多的重复失败结果被曝光，要么是在一些网站上公开数据，要么是在一些学术期刊上发表。而对于Bem预见未来的实验，也有重复实验的<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0033423\" data-editable=\"true\" data-title=\"报告\" class=\"\">报告</a>在plos one上发表出来。Michigan大学Lawrence Sanna辞职，原因是Simonsohn怀疑他的数据有问题，nature进行了<a href=\"http://www.nature.com/news/uncertainty-shrouds-psychologist-s-resignation-1.10968\" data-editable=\"true\" data-title=\"报道\">报道</a>。心理学家也开始讨论怎样的重复才能算是一个合格的重复实验。于是有了提前注册（pre-register）、然后按照注册的方法进行实验，最后来报告结果。perspectives on psychological science上，也有<a href=\"http://pps.sagepub.com/content/7/6/528.short\" data-editable=\"true\" data-title=\"专刊\">专刊</a>来讨论可重复性的问题，这一次非常集中地讨论了与可重复性相关的问题。同样重要的是，2012年，John等人关于可疑研究操作（Questionable Research Practices）的<a href=\"http://pss.sagepub.com/content/23/5/524.abstract\" data-editable=\"true\" data-title=\"调查报告发表\" class=\"\">调查报告发表</a>，心理学家们承认，自己在研究的实践中，一些通常的做法其实是大大地增加了假阳性的概率的。同样是2012年，科普作者Ed Yong回顾了一系列事件之后，认为在社会心理学领域存在着可重复危机，这一报道在nature上以<a href=\"http://www.nature.com/news/replication-studies-bad-copy-1.10634\" data-editable=\"true\" data-title=\"Replication studies: Bad copy\" class=\"\">Replication studies: Bad copy</a>为题，作为新闻发表。直到2013年1月，<a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"Center for Open Science（COS）\" class=\"\">Center for Open Science（COS）</a>正式在Virginia University成立，成为心理学家组成的非政府组织来应对这次可重复危机。COS整合了在此之前已经搭建的开放科学框架的平台（<a href=\"http://osf.io/\" data-editable=\"true\" data-title=\"open science framework\" class=\"\">open science framework</a>），开始组织全世界的心理学家进行联合的大规模重复实验。这一年，perspectives on psychological science再次组织<a href=\"http://pps.sagepub.com/content/8/4.toc\" data-editable=\"true\" data-title=\"特刊\">特刊</a>讨论了可重复性以及一些实验方法上的问题。这一期中，Lebel将<a href=\"http://psychdisclosure.org/\" data-editable=\"true\" data-title=\"PsychDisclosure.org\">PsychDisclosure.org</a>推出，提出了研究者要完整报告自己研究的方法部分的要求。2014年，关于重复实验应该如何做，研究者们基本上有一些共识，许多杂志开始鼓励提前注册的重复实验或者提前注册。osf进一步完整，成为一个可以公开注册研究和分享数据的平台。Journal of Experimental Social Psychology上，发表了题为<a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a>的文章。这一年，在social psychology这个杂志<a href=\"http://econtent.hogrefe.com/toc/zsp/45/3\" data-editable=\"true\" data-title=\"5月的一期中\">5月的一期中</a>，也发表了一系列经过提前注册过的重复研究，能够重复原先实验结果的并不多。不过一个比较积极的消息是，由Klein等人发表的多实验室项目（ManyLab）中，对心理学中经典研究的重复，大部分是有结果的。Cumming 也在psychological science上发表了题为<a href=\"http://pss.sagepub.com/content/25/1/7\" data-editable=\"true\" data-title=\"The New Statistics: Why and How\">The New Statistics: Why and How</a>的文章，指出需要在统计方法上进行变革。Psychological science也改变了其审稿的政策，对方法部分不再有字数的限制，开始启用一些强制政策来加强方法部分的严谨性，如要求像Lebel指出的那样报告方法部分四个方面的内容，使用效应量和置信区间等。其他的杂志也有一些相应的调整。不过值得注意的是，2014年5月，剑桥心理学家Schnall在其博客上表达了Social psychology上发表的对她2008年重<a href=\"http://www.psychol.cam.ac.uk/cece/blog\" data-editable=\"true\" data-title=\"复研究的不满\">复研究的不满</a>，认为做重复研究的人是Bully，Dan Gilbert也在Twitter上表达了对进行重复研究的人的<a href=\"https://twitter.com/dantgilbert/status/470199929626193921\" data-editable=\"true\" data-title=\"愤怒\" class=\"\">愤怒</a>。平心而论，热衷于做重复实验的人，确实在对原研究的态度上不太好，在facebook和twiiter上有许多嘲讽。2014年，绍兴文理学院的陈巍博士在《心理技术与应用》杂志上发表了《可重复性:盘旋在具身认知实验室上方的“幽灵”》一文，介绍了在具身认知领域方面可重复性的问题。2015年，最大的事件就是COS于2013年组织的大规模重复实验的<a href=\"http://science.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"结果得以发表\">结果得以发表</a>，许多人期待的结果在Science上发表，其结论是对100项研究的重复，大约39%能够重复出来（根据对重复的标准不同，这个比例有一点变化）。这个研究的结果有大量的数据在osf.io上共享，供研究者去挖掘，而确实也有不少研究者利用这些数据进行了后续的分析。还有一些其他的重复报告也发现先前的一些效应无法重复，如<a href=\"http://psycnet.apa.org/journals/emo/15/1/109/\" data-editable=\"true\" data-title=\"孤独会让人洗热水澡的重复\" class=\"\">孤独会让人洗热水澡的重复</a>、<a href=\"http://pss.sagepub.com/content/early/2015/03/30/0956797614553946.extract\" data-editable=\"true\" data-title=\"权力姿势(power pose\">权力姿势(power pose</a> 。许多人以为，可重复危机基本上就已经确定了，心理学要开始进行艰苦卓绝的方法变革，来提高本领域研究的可重复性了。2015年，温州大学教师教育学院仲晓波老师在&lt;心理科学&gt;上发表了〈心理学实验的可重复性〉，对心理学的可重复性问题从统计角度进行了比较深入的介绍。2016年3月，<a href=\"http://science.sciencemag.org/content/sci/351/6277/1037.2.full.pdf\" data-editable=\"true\" data-title=\"Science上的一个评论\" class=\"\">Science上的一个评论</a>再次引起争议，Gilbert等人分析了COS大规模重复实验的数据，认为三个方面的错误使得他们的不足以得到心理学研究的可重复率只有39%的结论。这一评论再次激起了Nosek等人的<a href=\"http://science.sciencemag.org/content/351/6277/1037.3\" data-editable=\"true\" data-title=\"回应\">回应</a>、博客上的论战以及媒体的报道。然而，这些评论与争议，也无法改变另一个非常著名的心理学效应在重复实验前的倒下：自我损耗（ego-depletion）的重复实验也<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147770\" data-editable=\"true\" data-title=\"未能重复出其效应\">未能重复出其效应</a>，而<a href=\"http://www.ncbi.nlm.nih.gov/pubmed/26076043\" data-editable=\"true\" data-title=\"元分析\">元分析</a>也显示了相似的结果。这个失败让笼罩在心理学家头上的乌云更加密布，因为这个理论非常符合直觉，大量的心理学家投入时间和精力研究这个问题，大量的研究经费投入在这个问题的研究之中。不是一个人的问题，而是一群人的问题！ 当然，2016年，Methodological terrorism的引发的争议也是最火爆的，见我上一篇文章：<a href=\"https://zhuanlan.zhihu.com/p/24728005\" data-editable=\"true\" data-title=\"2016年关于心理学可重复性的主要关注点\" class=\"\">2016年关于心理学可重复性的主要关注点</a>。国内方面，2016年，心理学界的老前辈、北大的朱滢教授在《心理科学进展》上发表题为《“开放科学 数据共享 软件共享”, 你准备好了吗？》的文章，呼吁心理学家重复研究的开放性。聂丹丹与同事在《中国临床心理学杂志》上发表《可重复性:心理学研究不可忽视的实践》，简要地介绍了心理学的可重复危机的相关问题。 我与同事对可重复性问题的详细介绍发表在《心理科学进展》上：<a href=\"https://www.researchgate.net/publication/305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" data-editable=\"true\" data-title=\"心理学研究的可重复性问题：从危机到契机\" class=\"\">心理学研究的可重复性问题：从危机到契机</a>。我们从可重复危机的发展、原因、对策等多个角度对这一危机进行了介绍。同时，我们还报告了我们对国内心理学研究者是否能够正确理解统计指标p值的结果，这个结果是令人震惊但也可以理解的：<img src=\"v2-882a88ae2957f1dd816c0d6aa4ace77e.jpg\" data-rawwidth=\"1653\" data-rawheight=\"991\">在这个文章中，我们也总结了在科研中，相对正确的做法和不正确的做法：<img src=\"v2-778de6c621356bc2c23c3a09ff2b0be5.png\" data-rawwidth=\"1611\" data-rawheight=\"782\">到2016年结束的时候，许多正确的做法在国际上正在成为新的标准。作为中国的研究者，可能需要及时了解这种变化，以及采用新的做法，才能避免在科研中落后。＝＝＝＝＝＝＝＝＝＝＝＝ 招募共同专栏作者分割线 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝作为一名心理学的博士生，我希望有更多的同行一起来宣传相关的知识与技能，共同营造一个开放、透明与可重复的科研气氛。最简单可行的方式之一，就是加入本专栏，作为作者之一，一写分享一些关于加强可重复性相关的知识。我们的在《进展》上的文章虽然不短，但是仍然有许多问题无法涉及，尤其是一些在研究中具体可操作的问题。目前我所想到的包括如下问题：1. 如何进行提前注册（pre-register）? （<a href=\"https://zhuanlan.zhihu.com/p/24775841\" class=\"\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>）2. 如何确定样本量，进行一个有足够统计功效的研究？3. 如何计算效应量及其置信区间？4. 如何使用贝叶斯相关的统计更好地利用数据？5. 如何更有效地对自己进行的多个实验进行元分析，从而对自己研究问题的效应量进行更合理的估计。6. 如何公开自己的数据？ （<a href=\"https://zhuanlan.zhihu.com/p/24974537\" data-editable=\"true\" data-title=\"如何公开自己的数据？ - 知乎专栏\">如何公开自己的数据？ - 知乎专栏</a>）7. 哪些杂志可以发表注册的重复实验？8. 哪些效应已经被大规模的实验重复并且无法重复出来？...如果哪位同行有兴趣写一些相关的文章来介绍这些问题，这将是极好的！或者，如果您其他关于可重复相关的问题，也欢迎您投稿。总之，希望我们能够一起共享这些知识，让开放透明与可重复性的标准能够更多好地普及开来。参考文献Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407-425. doi: 10.1037/a0021524Brandt, M. J., Ijzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., . . . van ‘t Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50(0), 217-224. doi: <a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a>Doyen, S., Klein, O., Pichon, C.-L., &amp; Cleeremans, A. (2012). Behavioral Priming: It’s All in the Mind, but Whose Mind? PLoS One, 7(1), e29081. doi: 10.1371/journal.pone.0029081John, L. K., Loewenstein, G., &amp; Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524-532. doi: 10.1177/0956797611430953Miller, G. (2011). ESP Paper Rekindles Discussion About Statistics. Science, 331(6015), 272-273. doi: 10.1126/science.331.6015.272Simmons, J. P., Nelson, L. D., &amp; Simonsohn, U. (2011). False-Positive Psychology. Psychological Science, 22(11), 1359-1366. doi: 10.1177/0956797611417632陈巍. (2014). 可重复性:盘旋在具身认知实验室上方的“幽灵”. 心理技术与应用(01), 23-25. 胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016). 心理学研究的可重复性问题：从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724/SP.J.1042.2016.01504聂丹丹, 王浩, 罗蓉. (2016). 可重复性:心理学研究不可忽视的实践. 中国临床心理学杂志(04), 618-622. 仲晓波. (2015). 心理学实验的可重复性. 心理科学(04), 807-812. 朱滢. (2016). “开放科学 数据共享 软件共享”, 你准备好了吗？. 心理科学进展, 24(6), 995–996. doi:10.3724/sp.j.1042.2016.00995","updated":"2017-01-09T08:19:01.000Z","canComment":false,"commentPermission":"anyone","commentCount":34,"likeCount":119,"state":"published","isLiked":false,"slug":"24792621","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"/api/posts/24792621/comments"},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"},{"url":"https://www.zhihu.com/topic/20027331","id":"20027331","name":"中国科研"}],"adminClosedComment":false,"href":"/api/posts/24792621","excerptTitle":"","column":{"slug":"psy-os","name":"透明公开可重复的心理学"},"sourceUrl":"","pageCommentsCount":34,"snapshotUrl":"","publishedTime":"2017-01-09T16:19:01+08:00","url":"/p/24792621","summary":"","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":34,"likesCount":119},"24959922":{"title":"elife发表关于Reproducibility Project: Cancer Biology的首批结果","author":"hcp4715","content":"昨天，关于可重复性的问题又出现在了<a href=\"http://www.nature.com/news/cancer-reproducibility-project-releases-first-results-1.21304\" data-editable=\"true\" data-title=\"Nature的新闻\" class=\"\">Nature的新闻</a>之中。这次的主角，并不是心理学，而是癌症生物学。2015年，当Reproducibilitiy Project: Psychology的结果在science上发表并引起轰动的时候，在OSF的网站上，与之并行的还有一个Reproducibility Project，那就是<a href=\"https://osf.io/e81xl/\" data-editable=\"true\" data-title=\"Cancer Biology\">Cancer Biology</a>。这个开始于2014年的项目。发起这个项目的原因之一，可能是由于2012年在Nature发表的一篇文章让人太印象深刻。Begley\t&amp; Ellis (2012)发表了一个评论，标题为：<a href=\"http://www.nature.com/nature/journal/v483/n7391/full/483531a.html\" data-title=\"Drug development: Raise standards for preclinical cancer research\" class=\"\" data-editable=\"true\">Drug development: Raise standards for preclinical cancer research</a>。在这个文章中，他们报告了一个惊人的结果：对53个关于癌症研究的重复实验，只有6个能够确认原来的结论！于是在2014年，一些科学家们决定联合对癌症研究中的一个影响力较大的实验进行重复：<a href=\"http://dx.doi.org/10.7554/eLife.04333\" data-editable=\"true\" data-title=\"An open investigation of the reproducibility of cancer biology research\" class=\"\">An open investigation of the reproducibility of cancer biology research</a>；<a href=\"https://elifesciences.org/content/3/e03981\" data-editable=\"true\" data-title=\"Time to do something about reproducibility\">Time to do something about reproducibility</a>。目前，这个项目在elife这个杂志上有一个专门的页面：<a href=\"https://elifesciences.org/collections/reproducibility-project-cancer-biology\" data-editable=\"true\" data-title=\"eLife\">eLife</a>。癌症生物学的重复项目的首批五个重复实验结果昨天已经在Elife上发表。从这五个发表的研究来看，结果并不是人们想像的重复失败或者成功那么简单。下面这个表格引用自上述的Nature新闻。<img src=\"v2-257e23aa0601478370601a8952fa8bc3.png\" data-rawwidth=\"776\" data-rawheight=\"1127\">从上面的结果来看，5个实验中，两个能够重复出来，一个无法重复，另外两个则得到无法解释的结果。这些结果让一些研究者感叹：<a href=\"http://www.nature.com/news/replication-studies-offer-much-more-than-technical-details-1.21311\" data-editable=\"true\" data-title=\"Replication studies offer much more than technical details\">Replication studies offer much more than technical details</a>。发起这个重复项目的科学家们今天也就此发表了他们的看法。 Brian Nosek: <a href=\"https://elifesciences.org/content/6/e23383\" data-editable=\"true\" data-title=\"Making sense of replications\">Making sense of replications</a>;Elife的Editorial: <a href=\"https://elifesciences.org/content/6/e23693\" class=\"\" data-editable=\"true\" data-title=\"The challenges of replication\">The challenges of replication</a>.这些信息给我的感觉是：在这些重复实验中，进一步暴露了当前科学研究模式的一个很大的不足，即，当无法重复某个实验的结果时，研究者也无法很快判断出这种无法重复的原因是什么。无法找出这些原因，也可能意味着我们对某些问题仍然处于一种无知的状态。","updated":"2017-01-19T14:30:02.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":44,"state":"published","isLiked":false,"slug":"24959922","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-19T22:30:02+08:00","links":{"comments":"/api/posts/24959922/comments"},"url":"/p/24959922","titleImage":"","summary":"","href":"/api/posts/24959922","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":44},"24974537":{"title":"如何公开自己的数据？","author":"liu-wei-54-94","content":" 前言经过了漫长的数据整理和文章审稿过程，由我主要负责管理的大型公开心理-影像数据库（Southwest University Longitudinal Imaging Multimodal (SLIM) Brain\nData Repository）与对应的介绍论文即将在《Scientific Data》上发表。该数据库包括了581名大学生在大学4年期间的3次磁共振记录的大脑数据及其心理行为变量，所耗费的磁共振扫描时间超过1000小时，行为实验时间超过3000小时。（链接在这里：<a href=\"http://fcon_1000.projects.nitrc.org/indi/retro/southwestuni_qiu_index.html\">http://fcon_1000.projects.nitrc.org/indi/retro/southwestuni_qiu_index.html</a>）1000小时的磁共振扫描实验加上3000小时的行为实验耗费了巨大的人力和财力上。为什么我们要公开如此庞大的数据？这其中需要做的工作又有哪些？我将在这篇文章中尽可能的介绍，希望对于也想公开自己研究数据的朋友有所帮助，共同为公开可重复的的研究环境有所贡献。 （1）为什么要公开数据？【1】 \n有效减少在数据采集，数据分析和数据报告中的学术不端行为公开数据（以及研究计划本身）可以有效的减少学术不端行为。最简单的来说：既然可以公开原始数据，基本上说明与之有关的研究的数据并不是伪造的。（心理行为研究的数据其实也比较好伪造，但是基因和影像数据的伪造那就真的是技术活了。。。）再比如说：一些研究者会在数据报告的过程中会选择不报告一些自己不好解释的结果，但是数据一旦公开，网络上的每个人都可以自己探索这个数据库，那么，那些“非期望”的结果将会变得无所遁形。【2】 \n为他人提供教育及研究所需的数据教育方面：我们在学习某些数据分析方法的时候，有时候最头疼的在于没有第一手的数据可以练习。比如我经常听朋友说起，不去开始学习磁共振分析的一个理由就是自己没有数据。随着现在公开的数据库越来越多，能够自由下载的磁共振数据简直是几个硬盘都装不完。研究方面：每个人可以利用公开的数据库发表自己的论文，只需要在致谢里面有所表示就可以了，使得本来需要数十万经费来进行的研究变得只需要电费就可以了。公开数据使得以前相当依赖于资金的研究变得触手可及，去年甚至有利用公开数据库（Human Connectome Project）发表的Science论文。【3】 \n发表论文，获取引用数和国际影响力我在和别的研究者讨论数据共享的时候，有一些人表示：我自己的数据，不留着自己发论文，要给别人用，我图个啥？其实，最直接的来说，可以发表一篇介绍你公开数据库的SCI论文，而且一般来说如果你的数据库足够优质，使用的人多，这篇文章的引用数会比较高，从而给实验室带来的国际影响力加成也是不容忽视的。【4】 \n为自己研究的诚信提供支撑（这一条真是实实在在的好处了。）如果在你投稿的论文里面申明所用的数据都已经公开，大部分时候会给审稿人留下较好的印象。大家会觉得你的研究编造以及滥用数据的可能性比较小，毕竟都大方的把数据都共享出来了，要查你的破绽简直是分分钟的事情。 （2）公开数据的渠道？【1】 \n数据共享平台 一般来说，自己架构数据共享平台难度比较大。（对于行为数据可能还好，对于神经影像，由于原始数据很大，没有专业平台，用户下载会有困难，所以可以使用业内常用的共享平台。 神经科学领域：（1）NeuroMorpho.org ; （2）Functional Connectomes Project\nInternational Neuroimaging Data-Sharing Initiative (FCP/INDI) ; （3）OpenfMRI; \n社会科学领域：（1）Harvard Dataverse ; （2）UK Data Service ReShare ; （3）openICPSR；（4）Open Science Framework 其他领域可以查询NGP集团的推荐，基本所有的科研领域都有对应的数据共享平台 （<a href=\"http://www.nature.com/sdata/policies/repositories\" data-editable=\"true\" data-title=\"Recommended Data Repositories\">Recommended Data Repositories</a>）【2】 \n 期刊 把数据共享以后，如果想发表对应文章同志，可以开始挑选期刊了。比较著名的有Nature Publication Group旗下的Scientific Data以及Elsevier 旗下的Data in Brief。其中Scientific Data 会在2017年收获第一个影响因子，预计不会低于3.0。 （3）具体实施步骤？【1】 \n与数据所有人沟通（通常是导师）首先，我们要做的是和数据的所有人进行沟通，这个人通常是你的导师，或者是实验室的大导师。不要以为是自己收集的数据，所有权就是自己噢，擅自公开的话，导师连杀你的心都有。沟通过程可能会有困难。这个时候，大家不妨少谈理想，多说说公开数据的实际好处。（比如增加国际影响力，增加自己实验室的诚信值等等）【2】 \n按照有关的国际标准整理数据得到了所有人的许可以后，第一个步骤就是整理数据。整理数据第一步就是隐私保护和匿名化。简单来说，需要你从头到尾把自己的数据检查一遍，有没有可能泄露被试隐私的东西。所有可以让第三方追溯到被试身份的信息都需要抹去。比如在磁共振数据中，被试的姓名，年龄，身高，体重等等会自动写入数据的底层，这个时候需要使用专业的软件来抹去这些底层信息。对于磁共振数据还有一个重点就是被试的面部特征也会被记录下来（也就是说，你可以看到被试长什么样子）。这个时候，需要使用特殊的工具抹去扫描的面部信息，防止被试被人认出来。当所有隐私信息都被抹去以后，可以在网络上搜索学界公认的公开数据储存格式和方法。神经影像数据的存储方式可以登录此网站查看<a href=\"http://bids.neuroimaging.io/\" data-editable=\"true\" data-title=\"Brain Imaging Data Structure\">Brain Imaging Data Structure</a>【3】 \n联系数据共享平台进行数据上传和网页设计数据都整理好了以后就可以上传了。这个时候需要和对应的数据平台联系（当然有的是全自动上传），在一个安全稳定快速的网络条件下上传数据。一般遇到了什么问题都是有专人解决的。同时，可以对自己数据库的页面进行一些个性化的设计，包括数据库的logo等等。这个过程一般数据平台可以自动完成，或者有专人协助你。【4】 \n数据库介绍文章的写作和投稿数据库介绍文章的写作和一般的论文写作区别较大，主要包括以下几个重要部分清晰描述：描述数据库的数据包括哪些部分，使用什么工具收集的，对应的任务或者问卷提供相应的参考文献数据结构：主要介绍他人下载的数据包里面的各个文件夹是什么意思，包含哪些文件，文件名使用了简称的，更需要详细说明文件名具体是什么。质量控制：为了让使用者相信你的数据是可靠的，需要报告一些质量控制的指标。比如说问卷的信度，效度，内部一致性；磁共振数据的信噪比，被试头动参数等等。可能用途：如果把自己的数据库当做一个产品的话，这个部分你就要开始销售产品了。可以说说自己的数据库和别人的数据库相比有什么优势，可以用来做什么分析，可能解决的科学问题有哪些。 （4）已公开数据库的维护？【1】 \n与使用者的沟通一般的方式是需要留下管理人员的电子邮箱信息，或者创建一个论坛。这样一来，当用户有使用上的问题时候，可以及时得到反馈和帮助。同时借此可能扩展实验室的外部联系与合作【2】 \n不断完善他人使用所需要的辅助信息通过和用户的沟通，我们可能会意识到有些用户需要的信息，我们并没有在数据共享的时候给出。这个时候，我们需要在网页上定时更新这些信息或者删去有误的信息。","updated":"2017-01-20T14:51:26.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":83,"state":"published","isLiked":false,"slug":"24974537","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-20T22:51:26+08:00","links":{"comments":"/api/posts/24974537/comments"},"url":"/p/24974537","titleImage":"https://pic3.zhimg.com/v2-73a76cd7a6aab3445c98769c66a328c6_r.jpg","summary":"","href":"/api/posts/24974537","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":83},"25089006":{"title":"Center of Open Science与Open Science Framework","author":"hcp4715","content":"利益相关：本人是COS的Ambassador。简单地介绍一下心理学研究中可重复问题出现之后出现的最主要的机构：Center for Open Science （COS）以及它所构建的用于开放科学的平台：Open Science Framework。COS: <a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"The Center for Open Science\">The Center for Open Science</a>OSF: <a href=\"https://osf.io\" data-editable=\"true\" data-title=\"OSF | Home\" class=\"\">OSF | Home</a>OSF早于COS创建，最开始的目的是为了联合世界范围内的心理学家来一起重复一些影响力比较大的研究。这帮人一起完成的项目主要是2015年发表在science上的文章（<a href=\"http://www.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"Estimating the reproducibility of psychological science\" class=\"\">Estimating the reproducibility of psychological science</a>）；以及Manylab项目；虽然COS出现在心理学界的可重复性危机之后，但是它现在已经是一个跨学科的组织，有许多在呼吁加强科研界可重复性的重要人物，如生物医学一直在说大部分研究都是假的的John P.A. Ioannidis，Science的前主编Marcia McNutt。 可以看这个网站：<a href=\"https://cos.io/about/board/\" data-editable=\"true\" data-title=\"Our Board\">Our Board</a>或者<a href=\"https://cos.io/about/team/\" data-editable=\"true\" data-title=\"Our Team\">Our Team</a>。COS的目的是increase openness, integrity, and reproducibility of scholarly research。目前它得到了不少基金的支持。<img src=\"v2-e2ebc5134fdbdc04fc11ee6633417b23.jpg\" data-rawwidth=\"1193\" data-rawheight=\"598\"> 目前COS主要在进行三方面的工作：<img src=\"v2-6741279e483f54d5459a6d77f691ec5d.jpg\" data-rawwidth=\"1186\" data-rawheight=\"814\"> Infrastructure，以前主要是OSF，这个是重点，一会再细说；最近COS新增了preprint服务(<a href=\"https://cos.io/our-products/osf-preprints/\" data-editable=\"true\" data-title=\"OSF Preprints\">OSF Preprints</a>)，大家可以把自己已经完成但是尚未发表的工作预印出来，与之相类似的还有biorxriv:, arXiv: ；Metascience，就是把已经做的很多工作集合起来，让大家看到目前的研究到底是什么样的，目前已经初具规模：<a href=\"http://curatescience.org/\" data-editable=\"true\" data-title=\"Curate Science\" class=\"\">Curate Science</a>；Community则主要是在进行组织与扩散，比如它的Ambassador（<a href=\"https://cos.io/our-communities/become-ambassador/\" data-editable=\"true\" data-title=\"Become an Ambassador\" class=\"\">Become an Ambassador</a>），招人在各自所在地宣传与扩散可重复相关的信息；COS最近与一些学术机构开始合作，加强学术机构在科学方面的integrity。OSF，一个用来预注册研究（pre-register）、公开数据与材料以及进行远程合作的网站。这个网站创建之初是为了方便各地的研究者一起合作完成重复实验。但最近已经成为开放科学研究的一个标志性的平台：许多研究的数据和材料都在上面共享。在这个平台上，有两个大型的重复项目：Reproducibility Project: Psychology和Reproducibility Project: Cancer Biology(见先前的介绍：<a href=\"https://zhuanlan.zhihu.com/p/24959922\" data-editable=\"true\" data-title=\"知乎专栏\">知乎专栏</a>)。OSF在促进公开、透明与可重复的科学研究上，起到了很大的作用。目前来说，它的主要特点有如下：第一、提供一个受到认可的预注册平台，研究者可以在上面注册自己想要做什么研究，这些预注册会变成定格，作为当时注册时的一个凭证，用于将来证明自己注册。预注册的研究原则上是必须公开的，但是你可以选择立即公开还是过一段时间之后再公开；第二、提供免费的数据存储空间，自带版本控制。目前好像没有听说在容量方面有限制。许多文件在在这个网站上打开。第三、可以实际多人远程协作。创建一个project之后，可以添加多人作为有限制进行阅读和编辑的合作者，进行修改时会有邮件提醒，适合多人远程的合作。第四、与其他开源的平台无缝结合：比如github。另外，这个网站上也学习到了github的一功能，比如可以关注他人的project，可以直接把他人的项目完整地复制过来(fork)。这个网站对于大陆的用户来说，一个缺点是注册时的验证码好像被qiang掉了，所以必须开户科学上网的模式才能注册。另外好像也比较慢。","updated":"2017-02-04T20:02:33.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":11,"state":"published","isLiked":false,"slug":"25089006","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-02-05T04:02:33+08:00","links":{"comments":"/api/posts/25089006/comments"},"url":"/p/25089006","titleImage":"https://pic2.zhimg.com/v2-6741279e483f54d5459a6d77f691ec5d_r.jpg","summary":"","href":"/api/posts/25089006","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":11},"25772914":{"title":"如何做可复制的(reproducible)[心理学]研究","author":"hcp4715","content":"注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。注2：本文参考了Rogers Peng的博客：<a href=\"http://simplystatistics.org/2015/12/11/instead-of-research-on-reproducibility-just-do-reproducible-research/\" data-title=\"Instead of research on reproducibility, just do reproducible research\" class=\"\" data-editable=\"true\">Instead of research on reproducibility, just do reproducible research</a>。注3：本文使用可复制这个狭义的概念，仅指数据分析的可重复性，即其他研究者拿到你的数据，使用你描述的方法，能够得到与你一致的结果。第一步，使用代码而点击软件的按钮分析数据。不管使用什么统计分析软件，尽量使用代码来进行分析（SPSS也可以）；推荐使用<a href=\"https://cran.r-project.org/\" data-editable=\"true\" data-title=\"R\">R</a>+<a href=\"https://www.rstudio.com/\" data-title=\"Rstudio\" class=\"\" data-editable=\"true\">Rstudio</a>第二，使用<a href=\"https://github.com/\" data-editable=\"true\" data-title=\"github\">github</a>或 <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>进行版本控制； 第三，使用<a href=\"rmarkdown.rstudio.com/\" data-editable=\"true\" data-title=\"Rmarkdown\">Rmarkdown</a>或者iPython notebooks来进行你的分析；第四，写完文章之后，放到<a href=\"https://arxiv.org/\" data-editable=\"true\" data-title=\"arxiv\">arxiv</a>, <a href=\"http://biorxiv.org/\" data-editable=\"true\" data-title=\"biorxiv\" class=\"\">biorxiv</a>或者<a href=\"https://osf.io/preprints/psyarxiv/\" data-editable=\"true\" data-title=\"psychxiv\">psychxiv</a>去，立刻就可以让大家知晓你的结果；第五，将你的代码或者软件开放（放在<a href=\"https://github.com/\" data-title=\"github\" class=\"\" data-editable=\"true\">github</a>, <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>, 或者<a href=\"https://zhuanlan.zhihu.com/p/25089006\">osf</a>上）；第六，写博客或者在twitter上与其他研究者讨论你的结果。当然，这几点适用于任何的领域，只要把相应的数据分析软件进行替换即可。","updated":"2017-03-15T01:58:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":12,"state":"published","isLiked":false,"slug":"25772914","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-15T09:58:40+08:00","links":{"comments":"/api/posts/25772914/comments"},"url":"/p/25772914","titleImage":"","summary":"","href":"/api/posts/25772914","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":12},"25798593":{"title":"Nature开始遵循促进透明公开(TOP)指南","author":"hcp4715","content":"今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotion Guidelines, TOP）的期刊（<a href=\"http://www.nature.com/news/announcement-transparency-upgrade-for-nature-journals-1.21627\" data-editable=\"true\" data-title=\"Announcement: Transparency upgrade for Nature journals\">Announcement: Transparency upgrade for Nature journals</a>）。什么是TOP？最简单的是看官方的信息：<a href=\"https://cos.io/top\" data-editable=\"true\" data-title=\"TOP Guidelines\">TOP Guidelines</a>。当然，在我们去年在心理学大会的工作坊中，我们对TOP的原则进行过一次总结：<img src=\"v2-0f87367440086e89b242d9e6d493b11a.png\" data-rawwidth=\"914\" data-rawheight=\"762\">英文的总结是Nosek他们在science的<a href=\"http://science.sciencemag.org/content/348/6242/1422\" data-editable=\"true\" data-title=\"论文\">论文</a>中提到的：<img src=\"v2-4c11a39baa770da2363f8974f540255e.png\" data-rawwidth=\"844\" data-rawheight=\"720\"> 此次Nature旗下的杂志也加入TOP指南之下，具有重大的意义。2016年，science杂志已经<a href=\"http://science.sciencemag.org/content/352/6290/1147\" data-editable=\"true\" data-title=\"宣布要按照TOP指南开始增加研究的透明与公开\" class=\"\">宣布要按照TOP指南开始增加研究的透明与公开</a>，而2016年nature表示<a href=\"http://www.nature.com/news/announcement-where-are-the-data-1.20541\" data-editable=\"true\" data-title=\"要加强数据公开的程度却没表示要加入TOP指南的意思\">要加强数据公开的程度却没表示要加入TOP指南的意思</a>。其中一个原因（我个人猜测），可能是因为TOP原则的提出，原本就是science杂志背后的组织AAAS所参与的工作，而nature却没有参与。现在nature的加入，说明透明、公开与可重复的研究已经成为了绝对的主流了。","updated":"2017-03-16T02:14:16.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":18,"state":"published","isLiked":false,"slug":"25798593","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-16T10:14:16+08:00","links":{"comments":"/api/posts/25798593/comments"},"url":"/p/25798593","titleImage":"","summary":"","href":"/api/posts/25798593","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":18},"26042413":{"title":"中国的预印平台：中科院科技论文预发布平台","author":"hcp4715","content":"正如我在<a href=\"https://zhuanlan.zhihu.com/p/25772914\" data-editable=\"true\" data-title=\"如何做可复制的(reproducible)[心理学]研究\" class=\"\">如何做可复制的(reproducible)[心理学]研究</a>中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种未经同行评审（peer review）就发布的论文被称为preprint (预发布或者直译为预印）。长期以来，preprint只有一家，就是<a href=\"https://arxiv.org/\" class=\"\" data-editable=\"true\" data-title=\"arXiv.org e-Print archive\">arXiv.org e-Print archive</a>，这个平台上主要发布物理、计算机、统计等理科的论文。而最近几年，学术界对peer review所存在的问题批判的声音越来越多，preprint也越来越受到认可。与这种日益广泛的认可度相对应，，近两年出现了多家Preprint的平台。比如专门用于生物学：<a href=\"http://biorxiv.org/\" data-editable=\"true\" data-title=\"the preprint server for Biology\">the preprint server for Biology</a>，由著名的冷泉港实验室所支持；又比如，COS这个致力于开放科学的组织（<a href=\"https://zhuanlan.zhihu.com/p/25089006\" class=\"\" data-editable=\"true\" data-title=\"Center of Open Science与Open Science Framework\">Center of Open Science与Open Science Framework</a>），提供了社会科学相关的预印服务（<a href=\"https://osf.io/preprints/\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/preprints/</a>），包括了心理学、社会学等多个社会科学领域。令人兴奋的是，最近中科院也开始提供科技论文的Preprint服务（<a href=\"http://www.chinaxiv.org/home.htm\" data-editable=\"true\" data-title=\"ChinaXiv.org 中国科学院科技论文预发布平台\">ChinaXiv.org 中国科学院科技论文预发布平台</a>）。这个平台接受中文和英文的论文，并且据说通过审核的速度非常快。所以如果您已经写完准备发表的论文，可以考虑先放在这样一个预发布平台上，让您（的团队）的论文迅速被大家所知晓、阅读、引用。","updated":"2017-03-28T05:52:16.000Z","canComment":false,"commentPermission":"anyone","commentCount":4,"likeCount":23,"state":"published","isLiked":false,"slug":"26042413","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-28T13:52:16+08:00","links":{"comments":"/api/posts/26042413/comments"},"url":"/p/26042413","titleImage":"","summary":"","href":"/api/posts/26042413","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":23},"26240816":{"title":"使用Reproducibility Project Psychology的公开数据，发表自己的文章","author":"hcp4715","content":"2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，<a href=\"http://science.sciencemag.org/content/349/6251/aac4716\" data-title=\"这个重复的结果\" class=\"\" data-editable=\"true\">这个重复的结果</a>发表在Science上，让不少人大跌眼镜。<img src=\"v2-18349eb3ecdea58378a7fa79db355509.png\" data-rawwidth=\"1303\" data-rawheight=\"1019\">这个研究的数据也公开在OSF上:<a href=\"https://osf.io/ezcuj/wiki/home/\" data-editable=\"true\" data-title=\"Reproducibility Project: Psychology Wiki\"> Reproducibility Project: Psychology Wiki</a>。由于数据的公开，不少研究者对这批数据进行了分析，并且发表了自己的文章。例如： 使用不同的方法对这批数据进行重新分析的论文： Etz, A., &amp; Vandekerckhove, J. (2016). A bayesian perspective on the reproducibility project: psychology. PLoS One, 11(2), e0149794. doi:10.1371/journal.pone.0149794 Johnson, V. E., Payne, R. D., Wang, T., Asher, A., &amp; Mandal, S. (2016). On the reproducibility of psychological science. Journal of the American Statistical Association. doi:10.1080/01621459.2016.1240079 van Aert, R. C. M., &amp; van Assen, M. A. L. M. (2017). Bayesian evaluation of effect size after replicating an original study. PLoS One, 12(4), e0175302. doi:10.1371/journal.pone.0175302 寻找调节变量的论文： Bench, S. W., Rivera, G. N., Schlegel, R. J., Hicks, J. A., &amp; Lench, H. C. (2017). Does expertise matter in replication? An examination of the reproducibility project: Psychology. Journal of Experimental Social Psychology, 68, 181-184. doi:10.1016/j.jesp.2016.07.003 Van Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., &amp; Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. doi:10.1073/pnas.1521897113 结合新数据进行研究的论文： Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., . . . Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences. doi:10.1073/pnas.1516179112 对这些数据的利用至少说明了一个问题：只要你的想法好，就可以利用公开的数据探索出新的东西。所以，如果你对这个问题有一些有趣的想法，不妨去下载他们的数据来探索探索。","updated":"2017-04-08T01:56:41.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":53,"state":"published","isLiked":false,"slug":"26240816","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-08T09:56:41+08:00","links":{"comments":"/api/posts/26240816/comments"},"url":"/p/26240816","titleImage":"","summary":"","href":"/api/posts/26240816","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":53},"26389943":{"title":"预注册你的研究，可能会赢得1000美元奖金","author":"hcp4715","content":"利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国国务院禁运的国家之一。这确实让人很受打击，这短文且当一个新闻吧。预注册挑战（<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-title=\"Prereg Challenge\" class=\"\" data-editable=\"true\">Prereg Challenge</a>）是Center for Open Science (COS)为了促进科学研究的严谨性而发起的一次公开活动。什么是预注册（pre-register）? 预注册指的是在研究开始之前，即将研究的核心部分进行公开地登记。在心理学的研究中，核心部分包括：研究设计（包括哪些自变量、因变量和控制变量）、研究假设（变量之间的关系是什么？）、预计采用多大的样本量（以及为什么采用这个样本量）、停止收集数据的标准是什么、准备使用何种统计方法、分析过程中使用何种标准排除数据。为什么要进行预注册？预注册的主要作用在区分探索性分析（exploratory）和验证性分析（confirmatory）。探索性分析的目的是为了产生一些新的假设；而验证性分析的目的在于验证先前已经存在的假设是否正确。同一批数据，不能即进行探索分析又进行验证分析（比如在心理测量中，不能使用同一批数据进行探索性因素分析又进行验证性因素分析）。但是在实际的研究中，为了更好地发表结果，研究者往往会把探索性分析当作验证性分析，这就是HARKing（Hypothesize After Results is Known，知道结果之后再提出假设）。HARKing的行为很明显是一种不严谨的做法。但是目前没有很好的办法来判断研究者在论文的手稿中是探索性还是验证性分析。而预注册则正是为了解决这一问题，将研究者在实验前的假设公开注册，实验结束后，其他研究者能够发现哪些是验证性的分析，哪些是需要进一步数据来验证的探索性分析。预注册挑战是什么？这个活动是COS为了鼓励研究者进行预注册的有奖注册活动。这个活动将为1000个研究者/团队提供1000美元的奖励，以鼓励合乎规范的预注册。具体而言，这个活动包括三步：第一、在osf上预注册你的研究计划；第二步，实话研究计划并将其发表在COS认可的学术期刊上；第三步、领取1000美元！预注册你的研究计划，可以参考本专栏先前的文章：<a href=\"https://zhuanlan.zhihu.com/p/24775841\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>。与其他的预注册方式不一样的是，参加预注册挑战，有一些关于预注册的具体要求，详情可以参见：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Review Process。比如，为了保证研究的科学性，会有专门的reviewer对你的研究计划进行评审，评审会按照这些标准来进行：<a href=\"https://osf.io/h4ga8/?_ga=1.157659706.1014065710.1492314764\" data-editable=\"true\" data-title=\"OSF | Reviewer_instructions.docx\">OSF | Reviewer_instructions.docx</a>COS认可的期刊，目前已经包括3000多个学术期刊，涵盖了自然科学和社会科学的各个领域，详情可以见这个网页：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Eligible Journals。COS的这个活动，是科学共同体自发地奖励更为严谨的科研行为。同行们，如果你们近期准备开展新的研究？赶紧加入吧：猛击<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-editable=\"true\" data-title=\"这里\" class=\"\">这里</a>。","updated":"2017-04-16T04:18:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":23,"state":"published","isLiked":false,"slug":"26389943","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-16T12:18:40+08:00","links":{"comments":"/api/posts/26389943/comments"},"url":"/p/26389943","titleImage":"","summary":"","href":"/api/posts/26389943","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":23},"26569257":{"title":"去R语言会议讲可重复性","author":"hcp4715","content":"R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：<a href=\"http://china-r.org/bj2017/\" data-editable=\"true\" data-title=\"第十届中国R会议（北京）\">第十届中国R会议（北京）</a>。 作为一个使用R不久的人，这次斗胆去R语言会议的心理学专场上，与大家交流一下R在加强心理学研究的可重复性中的作用，摘要如下： 自2011年，由于一系列的重复失败事件，可重复性问题成为了心理学界一个持续的热点问题。统计方法严谨性（如过度依赖于p值）和开放性（大量的可疑研究操作）不足是导致心理学研究可重复率过低的重要原因。为了应对心理学中的可重复危机，研究者们倡导使用更加多样的统计方法以及公开透明的研究实践。由于R语言中分析方法的灵活性与开放性，R语言在加强心理学研究的可重复性上可以起到重要作用。首先，R语言能够加强心理学研究中统计的严谨性和统计方法的多样性。由于众多心理学相关的软件包（psych, MBESS, lavaan, BootES, BayesFactor, Metafor等），使用R语言，研究者可以进行多样的统计，避免过度依赖于p值。例如，使用BootES，研究者可以快速地对效应量的置信区间进行估计，使用BayesFactor，研究者可以使用贝叶斯因子来进行统计。其次，R语言能够加强心理学研究中数据分析的公开与透明的程度。与心理学中最常用的SPSS软件相比，R语言代码而非鼠标点击进行数据的预处理以及分析，能够精确地记录数据分析的过程。这对于将数据分析过程透明化具有重大意义。最近，合理使用Rmarkdown的强大功能，能够将数据处理与结果报告结合起来，能够让研究者完全地数据分析与论文撰写无缝结合，例如papaja工具包的出现，可以让研究者直接使用Rmarkdown完成APA格式的文稿写作。正是由于R语言的这些优势，在最近的重复研究中，R语言被广泛地使用。例如，2015，发表在Science上的大规模重复实验中，其数据分析用R完成。<img src=\"v2-af19f3c3bc190d0d88eefd0a505881ff.png\" data-rawwidth=\"618\" data-rawheight=\"197\"> 全部演讲信息：<a href=\"http://china-r.org/bj2017/lectures.html\" data-editable=\"true\" data-title=\"演讲信息\" class=\"\">演讲信息</a>欢迎大家来交流讨论！图片来源：<a href=\"http://china-r.org/img/logo-chinar.png\" data-editable=\"true\" data-title=\"china-r.org 的页面\" class=\"\">http://china-r.org/img/logo-chinar.png</a>","updated":"2017-04-25T11:25:37.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":15,"state":"published","isLiked":false,"slug":"26569257","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-25T19:25:37+08:00","links":{"comments":"/api/posts/26569257/comments"},"url":"/p/26569257","titleImage":"https://pic3.zhimg.com/v2-85b3445834690e882beba31ba9989de2_r.png","summary":"","href":"/api/posts/26569257","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":15},"26595088":{"title":"公开评审与发表后评审","author":"hcp4715","content":"最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫无疑问，唯SCI的标准成为众矢之的。当然，也有人关注Spinger作为出版方本身的责任。不过，相对而言，大家对目前学术杂志采用的同行评审（peer review）制度关注较少。在主流的学术杂志中，同行评审往往采用双盲（审稿人不知道在审谁的文章及作者不知道谁在审）或单盲的做法（作者不知道谁在审稿）。这种做法可能会让审稿过程变成“碰运气”：运气好，碰到欣赏自己研究的审稿人，会很顺利；运气不好，碰到了学术对头，则会很难过，被拒得莫名其妙。在这种同行评审制度之下，有人利用编辑对审稿人审查不严的漏洞，伪造审稿人邮箱，让“自己人”来审稿，从而轻松发表文章。这种伪假审稿的做法，对同行评审的制度形成了压力，让学术杂志编辑的责任更加重大（考虑到他们本身可能是一线科研人员，本来就很忙，这无疑会更加加重他们的工作负荷。在同行评审的制度之下，对于科研工作者来说，文章的发表，似乎就意味到达“终点”。只要文章发表了，就是一种成就。但很明显，对于科研来说，发表论文只是为了与同行交流，而不是终点。因此奖励“发表论文”的做法，实际上与科学的本质不相符合。有人也提到，这次被撤稿的作者们，本身可能不会受到多大的追究。也就是说，现行的学术出版制度之下，文章发表之后是难以对其进行评估的。这些问题可能与公开透明的科学有关：第一、评审的意见与过程不透明，即读者不知道谁是编辑，谁是审稿人，评审的意见是否具有水平。第二、发表后其他研究者的意见无法公开地产生影响，这个问题主要表现为：如果一个本身存在缺陷上的文章，在很好的杂志上发表之后（比如science上12年之前心理学的文章），其错误结论可能会影响很广泛，但是小同行对其更加严格的评论却无法修正这种错误的影响。 对于这两个问题，目前有两个与公开透明相关的解决方案，却在科研人员中并未受到广泛支持。针对评审过程与意见不透明的问题，研究者推荐公开评审（Open peer review）。这种做法意味处理文章的编辑和审稿人信息都要公开，同时审稿意见也公开。对于编辑和审稿人而言，公开而不是匿名地评审意味着要对文章负更多的责任（想想PNAS上社会心理学的文章与某位大牛一直被点名），这也许会让他们在处理文章的时候更加谨慎。目前Frontiers系列杂志如Frontiers in Psychology，就开放了编辑与审稿人信息。国内心理学报的审稿意见已经公开。最近，一些心理学的研究者发起了一个关于公开评审的活动，大家可以去支持一下：<a href=\"https://opennessinitiative.org/\" data-editable=\"true\" data-title=\"Supporting the spread of open research practices\" class=\"\">Supporting the spread of open research practices</a>。针对审稿人以外其他研究者意见，有研究者提出了发表后评审（post-publication review）的做法。即先发表文章，再由同行来评审这个文章是否靠谱，是否有价值。这个做法有点类似大家写网络文章之后大家在下面点赞和留言。当然，小同行的评论与点赞才有价值。目前我所了解的采用发表后评审的杂志好像就只明<a href=\"http://peerj.com/\" data-editable=\"true\" data-title=\"PeerJ\">PeerJ</a>和<a href=\"https://f1000research.com/\" class=\"\" data-editable=\"true\" data-title=\"F1000research\">F1000research</a>，欢迎大家补充。 当然，公开评审与发表后评审可能只是对目前学术出版的补充，一个好学术出版的做法可能是：<a href=\"http://andrewgelman.com/2017/04/19/my-proposal-for-jasa/\" data-editable=\"true\" data-title=\"如Andrew Gelman所建议的：\" class=\"\">如Andrew Gelman所建议的：</a><img src=\"v2-a233e88aa9c1a838ddff7c4e45f8f9c5.png\" data-rawwidth=\"754\" data-rawheight=\"186\">","updated":"2017-04-27T10:04:12.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":22,"state":"published","isLiked":false,"slug":"26595088","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-27T18:04:12+08:00","links":{"comments":"/api/posts/26595088/comments"},"url":"/p/26595088","titleImage":"","summary":"","href":"/api/posts/26595088","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":22},"26763740":{"title":"Scientific Data上与可重复性相关的数据集","author":"hcp4715","content":"Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：<a href=\"https://www.nature.com/sdata/collections/mri-reproducibility\" data-editable=\"true\" data-title=\"Human Brain MRI Reproducibility\">Human Brain MRI Reproducibility</a> <a href=\"https://www.nature.com/sdata/collections/replicationdata\" data-editable=\"true\" data-title=\"Replication Data\">Replication Data</a> 里面有不少有趣的数据，感兴趣的同学可以去围观。","updated":"2017-05-07T08:46:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":8,"state":"published","isLiked":false,"slug":"26763740","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-07T16:46:40+08:00","links":{"comments":"/api/posts/26763740/comments"},"url":"/p/26763740","titleImage":"","summary":"","href":"/api/posts/26763740","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":8},"26853983":{"title":"与心理学数据分析相关的R工具包","author":"hcp4715","content":"注：本文在52brain.com上同步发布：<a href=\"http://home.52brain.com/thread-30349-1-1.html\" data-editable=\"true\" data-title=\"与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -\" class=\"\">与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -</a>为下周末的<a href=\"http://china-r.org/bj2017/index.html\" data-editable=\"true\" data-title=\"R语言会议\">R语言会议</a>热个身，写下自己收集的心理学研究的数据分析相关的R包。R语言做统计已经慢慢成为（国际）心理学的主流了，国内由于盗版SPSS的长期存在，严重阻碍了心理学研究者使用R的步伐。当然，考虑到大部分心理学研究生既怕数学又怕写（简单的）代码（玩笑哈，别太当真），即便在心理学强大的美国，使用R也是一件需要大力去提倡的事情。比如美国心理学会（Association for Psychological Science, APS）针对会员的月刊Observer的三月刊中，就专门推R的使用：<a href=\"http://www.psychologicalscience.org/issue/march-17\" data-editable=\"true\" data-title=\"Association for Psychological Science\">Association for Psychological Science</a>。 我去年上半年在国外交换时，正好时间比较空闲，于是花了大量的时间把自己之前使用SPSS做的分析全部换成了R，慢慢了收集了一些心理学数据分析中能够用到的R包，分享一下，因为好像这些R语言会议上我们不会讲这些包的使用，而主要讲一些R使用的大致方法。欢迎大家补充，一起完善。当然，有许多通用的包在心理学数据分析中也非常重要，比如ggplot2等，在这里就不说了。 Survey Data: psych: personality and psychological research <a href=\"http://personality-project.org/r/psych/\" data-editable=\"true\" data-title=\"Personality Project\">Personality Project</a> SEM: lavaan: latent variable analysis <a href=\"http://lavaan.ugent.be/\" data-editable=\"true\" data-title=\"The lavaan Project\" class=\"\">The lavaan Project</a> OpenMx <a href=\"http://openmx.ssri.psu.edu/\" data-editable=\"true\" data-title=\"OpenMx\">OpenMx</a> Experimental data (RT) ez: easy way to analyze factorial design data.（hcp:做重复测量方式分析的不二选择） <a href=\"https://cran.r-project.org/web/packages/ez/index.html\" data-editable=\"true\" data-title=\"CRAN - Package ez\" class=\"\">CRAN - Package ez</a> jmv: 这个即有R包也有GUI的软件，适合刚从SPSS转过来的同行 <a href=\"https://www.jamovi.org/jmv/\" data-editable=\"true\" data-title=\"jmv r package - jamovi\" class=\"\">jmv r package - jamovi</a> trimr: trim reaction times data. <a href=\"https://cran.r-project.org/web/packages/trimr/\" data-editable=\"true\" data-title=\"CRAN - Package trimr\">CRAN - Package trimr</a> TOSTER: equivalence test <a href=\"https://cran.r-project.org/web/packages/TOSTER/index.html\" data-editable=\"true\" data-title=\"CRAN - Package TOSTER\" class=\"\">CRAN - Package TOSTER</a> BootES:使用bootstrap的方式计算效应量及其置信区间<a href=\"https://cran.r-project.org/web/packages/bootES/index.html\">https://cran.r-project.org/web/packages/bootES/index.html</a> effsize: calculate Cohen's d and confidence intervals <a href=\"https://cran.r-project.org/web/packages/effsize/index.html\" data-editable=\"true\" data-title=\"CRAN - Package effsize\" class=\"\">CRAN - Package effsize</a> compute.es: compute effect size. <a href=\"https://cran.r-project.org/web/packages/compute.es/index.html\" data-editable=\"true\" data-title=\"CRAN - Package compute.es\" class=\"\">CRAN - Package compute.es</a> lsr: Effect size calculations for ANOVAs <a href=\"https://cran.r-project.org/web/packages/lsr/index.html\" data-editable=\"true\" data-title=\"CRAN - Package lsr\">CRAN - Package lsr</a> Linear Mixed-Effects Models lme4: <a href=\"https://cran.r-project.org/web/packages/lme4/index.html\" data-editable=\"true\" data-title=\"CRAN - Package lme4\">CRAN - Package lme4</a> nlme: <a href=\"https://cran.r-project.org/web/packages/nlme/index.html\" data-editable=\"true\" data-title=\"CRAN - Package nlme\" class=\"\">CRAN - Package nlme</a> multinormial model TreeBUGS: <a href=\"https://cran.r-project.org/web/packages/TreeBUGS/index.html\" data-editable=\"true\" data-title=\"CRAN - Package TreeBUGS\" class=\"\">CRAN - Package TreeBUGS</a> ex-Gaussian model: retimes:<a href=\"https://cran.r-project.org/web/packages/retimes/index.html\" class=\"\" data-editable=\"true\" data-title=\"CRAN - Package retimes\">CRAN - Package retimes</a> Drift Diffusion Model: RWiener: <a href=\"https://cran.r-project.org/web/packages/RWiener/index.html\" class=\"\" data-editable=\"true\" data-title=\"CRAN - Package RWiener\">CRAN - Package RWiener</a> Meta-analysis: mvmeta: Multivariate and Univariate Meta-Analysis and Meta-Regression <a href=\"http://cran.r-project.org/web/packages/mvmeta/\" data-editable=\"true\" data-title=\"CRAN - Package mvmeta\">CRAN - Package mvmeta</a> metacor: Meta-analysis of correlation coefficients <a href=\"http://cran.r-project.org/web/packages/metacor/index.html\" data-editable=\"true\" data-title=\"CRAN - Package metacor\">CRAN - Package metacor</a> metafor: <a href=\"http://www.metafor-project.org/doku.php\" data-editable=\"true\" data-title=\"The metafor Package\" class=\"\">The metafor Package</a> related packages: heplots, BaylorEdPsych Bayesian Stats: BayesFactor：<a href=\"http://bayesfactorpcl.r-forge.r-project.org/\" data-editable=\"true\" data-title=\"r-project.org 的页面\">http://bayesfactorpcl.r-forge.r-project.org/</a> BEST（Bayesian Estimation Supersedes the t-Test）：<a href=\"https://cran.r-project.org/web/packages/BEST/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BEST\">CRAN - Package BEST</a> BANOVA <a href=\"https://cran.r-project.org/web/packages/BANOVA/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BANOVA\">CRAN - Package BANOVA</a> BayesMed:<a href=\"https://cran.r-project.org/web/packages/BayesMed/index.html\" data-editable=\"true\" data-title=\"CRAN - Package BayesMed\" class=\"\">CRAN - Package BayesMed</a> Notes on the use of R for psychology experiments and questionnaires by Jonathan Baron <a href=\"http://www.psych.upenn.edu/~baron/rpsych/rpsych.html\" data-editable=\"true\" data-title=\"Notes on the use of R for psychology experiments and questionnaires\">Notes on the use of R for psychology experiments and questionnaires</a> Manuscript preparation papaja：<a href=\"https://github.com/crsh/papaja\" data-editable=\"true\" data-title=\"crsh/papaja\">crsh/papaja</a> apaTables： <a href=\"https://cran.r-project.org/web/packages/apaTables/index.html\" data-editable=\"true\" data-title=\"CRAN - Package apaTables\">CRAN - Package apaTables</a> Check Statistics R package “statcheck”: Extract statistics from articles and recompute values (Epskamp, S., &amp; Nuijten, M. B., 2015) statcheck: Exact statistic from articles and recompute values <a href=\"http://mbnuijten.com/statcheck/\" data-editable=\"true\" data-title=\"statcheck\">statcheck</a> Visualization YaRrr: more information than bar graph <a href=\"https://github.com/ndphillips/yarrr\" data-editable=\"true\" data-title=\"ndphillips/yarrr\">ndphillips/yarrr</a> 国内其实有一个使用R和开发R包的心理学团队，欢迎大家关注：<a href=\"http://www.psychor.club/\" data-editable=\"true\" data-title=\"PsychoR.club\">PsychoR.club</a>。","updated":"2017-05-11T12:58:44.000Z","canComment":false,"commentPermission":"anyone","commentCount":10,"likeCount":129,"state":"published","isLiked":false,"slug":"26853983","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-11T20:58:44+08:00","links":{"comments":"/api/posts/26853983/comments"},"url":"/p/26853983","titleImage":"","summary":"","href":"/api/posts/26853983","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":129},"27262140":{"title":"9个认知心理学实验被成功重复","author":"hcp4715","content":"心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近在PsyArXiv预发布平台上更新了他们最近重复实验的结果。在这个研究中，他们使用Amazon Mechanical Turk来招募实验志愿者，使用Inquisit在线呈现刺激并且收集反应时间，而他们重复的实验，是认知心理学中比较常用实验范式：<img src=\"v2-b96700f344a79338985a46a25058adc7.jpg\" data-rawwidth=\"1743\" data-rawheight=\"3496\"> 这9个认知心理学效应均可以重复，即便重复实验的环境比原实验环境相比不那么好。 当然，这些数据和分析代码都在这里公开了：想练习和观摩可以点这里：<a href=\"https://osf.io/b27fd/\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/b27fd/</a> Zwaan, R., Pecher, D., Paolacci, G., Bouwmeester, S., Verkoeijen, P., Dijkstra, K., &amp; Zeelenberg, R. (2017). Some Psychological Effects Replicate Even Under Potentially Adverse Conditions. PsyArXiv. Retrieved from <a href=\"https://osf.io/preprints/psyarxiv/rbz29\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/preprints/psyarxiv/rbz29</a>","updated":"2017-06-06T01:13:57.000Z","canComment":false,"commentPermission":"anyone","commentCount":21,"likeCount":114,"state":"published","isLiked":false,"slug":"27262140","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-06T09:13:57+08:00","links":{"comments":"/api/posts/27262140/comments"},"url":"/p/27262140","titleImage":"","summary":"","href":"/api/posts/27262140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":21,"likesCount":114},"27518497":{"title":"与浙师大研究生分享可重复性相关的问题","author":"hcp4715","content":"6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对可重复关注的主要事件；导致心理学研究可重复性低的两个主要原因；心理学研究的可重复性现状；国际心理学界提出的解决方案以及我们作为心理学研究工作者应该如何做。这次分享自己的主要感受是：随着时间的推移，可重复性危机是否存在这个问题已经不是关注的重点，重点转向为如何让心理学研究变得更加开放、透明。另外，其实在这个过程中，有非常多的资源可以利用、也有很多合作的机会，这方面其实还挺有意思的。这次远程分享可以算作是COS大使的一部分义务，宣传开放、透明科学。分享的PPT可以在这里下载：<a href=\"https://osf.io/wfzpa/\" data-editable=\"true\" data-title=\"OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\" class=\"\">OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx</a>","updated":"2017-06-22T13:58:55.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":13,"state":"published","isLiked":false,"slug":"27518497","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-22T21:58:55+08:00","links":{"comments":"/api/posts/27518497/comments"},"url":"/p/27518497","titleImage":"https://pic2.zhimg.com/v2-5586b2c47a943c45eb05e9eab8c0431d_r.png","summary":"","href":"/api/posts/27518497","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":13}},"User":{"hcp4715":{"isFollowed":false,"name":"hcp4715","headline":"热爱科学、热爱大脑、热爱户外运动","avatarUrl":"https://pic3.zhimg.com/fecec00f6_s.jpg","isFollowing":false,"type":"people","slug":"hcp4715","profileUrl":"https://www.zhihu.com/people/hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动","isOrgWhiteList":false,"avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"}},"liu-wei-54-94":{"isFollowed":false,"name":"Wei Liu","headline":"认知神经科学科研狗；人品五五开；爱好乱看文献，看轮子哥带逛和美剧","avatarUrl":"https://pic1.zhimg.com/214ce8ec738234144085a7e16e7dda30_s.jpg","isFollowing":false,"type":"people","slug":"liu-wei-54-94","profileUrl":"https://www.zhihu.com/people/liu-wei-54-94","bio":"PhD student; Cognitive Neuroscience","hash":"8f8c1fd5849ed35191d07415fa4ac17a","uid":29785904381952,"isOrg":false,"description":"认知神经科学科研狗；人品五五开；爱好乱看文献，看轮子哥带逛和美剧","isOrgWhiteList":false,"avatar":{"id":"214ce8ec738234144085a7e16e7dda30","template":"https://pic1.zhimg.com/{id}_{size}.jpg"}}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"psy-os":{"pins":["24792621"],"followersCount":16748,"creator":{"profileUrl":"https://www.zhihu.com/people/hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动","isOrgWhiteList":false,"slug":"hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"name":"hcp4715"},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19551432","id":"19551432","name":"心理学"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"}],"activateState":"activated","href":"/api/columns/psy-os","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":22,"id":113570,"name":"心理学研究方法"},{"postsCount":14,"id":99306,"name":"心理统计"},{"postsCount":6,"id":404,"name":"心理学"},{"postsCount":5,"id":154747,"name":"开放数据"},{"postsCount":3,"id":9288,"name":"研究方法"},{"postsCount":2,"id":2232,"name":"科研"},{"postsCount":2,"id":27607,"name":"学术论文"},{"postsCount":2,"id":67664,"name":"R"},{"postsCount":2,"id":116933,"name":"科研工具"},{"postsCount":1,"id":4170,"name":"开源"},{"postsCount":1,"id":1362,"name":"癌症"},{"postsCount":1,"id":63708,"name":"大数据"},{"postsCount":1,"id":181207,"name":"可重复性（reproducibility）"},{"postsCount":1,"id":9781,"name":"中国科学院"},{"postsCount":1,"id":13740,"name":"社会心理学"},{"postsCount":1,"id":15317,"name":"认知心理学"},{"postsCount":1,"id":23174,"name":"神经科学"},{"postsCount":1,"id":161276,"name":"中国科研"},{"postsCount":1,"id":181206,"name":"Open Science"},{"postsCount":1,"id":42810,"name":"发表论文"}],"pendingName":"","avatar":{"id":"v2-90f768fa93197bff498b7ce5c0a52be5","template":"https://pic2.zhimg.com/{id}_{size}.jpg"},"canManage":false,"description":"心理学以及其他一些学科受到可重复性问题的困扰。作为Center for Open Science的Ambassador，本人将致力于传播与透明、开放和可重复性科学相关的知识和支持，以期能够为促进科学的可重复性做一点点贡献。欢迎志同道合者合作！","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"psy-os","name":"透明公开可重复的心理学","url":"/psy-os","intro":"如何加强心理学研究的透明、公开与可重复性","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":25,"canPost":false,"FULLINFO":true}},"columnPosts":{"psy-os":{"entity":["27518497","27262140","26853983","26763740","26595088","26569257","26389943","26240816","26042413","25798593","25772914","24775841","25089006","24974537","24959922","24792621","24728005","24299896","24298944","24175191"],"next":{"rel":"next","href":"/api/columns/psy-os/posts?limit=20&offset=20","query":{"limit":"20","offset":"20"}}}},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}