Center for Open Science非官方博客

如何加强研究的透明、公开与可重复性

20723 人关注

置顶文章

心理学中目前可以参与的国际合作项目

正如我在上一篇文章中提到了的，国内研究者（尤其是研究生）可以通过在线平台来参与国际合作。本文就作为目前正在进行的国际合作项目消息的窗口，会经常更新。为了保证自己不因为更新花太多…查看全文

hcp4715

8 days ago

17 赞0 条评论

最新文章

使用StudySwap、RRR等参与国际合作研究
心理学的可重复性问题已经成为大部分人所接受的事实。在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 20…查看全文
hcp4715
13 days ago
20 赞1 条评论
什么？以后p < .005才是统计上显著！
在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字：比如我所…查看全文
hcp4715
a month ago
345 赞44 条评论
Mini Meta-analysis或者单个论文中的元分析
今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的…查看全文
hcp4715
2 months ago
40 赞3 条评论
与浙师大研究生分享可重复性相关的问题
6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对…查看全文
hcp4715
2 months ago
18 赞1 条评论
9个认知心理学实验被成功重复
心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近…查看全文
hcp4715
2 months ago
126 赞21 条评论
与心理学数据分析相关的R工具包
注：本文在52brain.com上同步发布：与心理学数据分析相关的R工具包 - 基础知识库我爱脑科学－心心水滴论坛 -为下周末的R语言会议热个身，写下自己收集的心理学研究的数据分析相关的R包。R…查看全文
hcp4715
3 months ago
140 赞10 条评论
Scientific Data上与可重复性相关的数据集
Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：Human Brain MRI ReproducibilityReplication Data里面有不少有趣的数据，感兴趣的同…查看全文
hcp4715
3 months ago
8 赞0 条评论
公开评审与发表后评审
最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫…查看全文
hcp4715
4 months ago
22 赞3 条评论
去R语言会议讲可重复性
R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：第十届中国R会…查看全文
hcp4715
4 months ago
15 赞0 条评论
预注册你的研究，可能会赢得1000美元奖金
利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国…查看全文
hcp4715
4 months ago
23 赞6 条评论
使用Reproducibility Project Psychology的公开数据，发表自己的文章
2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，这个重复的结果发表在Science上，让不少人大跌眼镜。这个研究的数据也公开在OSF…查看全文
hcp4715
4 months ago
53 赞2 条评论
中国的预印平台：中科院科技论文预发布平台
正如我在如何做可复制的(reproducible)[心理学]研究中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种…查看全文
hcp4715
5 months ago
28 赞4 条评论
Nature开始遵循促进透明公开(TOP)指南
今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotio…查看全文
hcp4715
5 months ago
21 赞14 条评论
如何做可复制的(reproducible)[心理学]研究
注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。注2：本文参考了Rogers Peng的博客：Instead…查看全文
hcp4715
5 months ago
12 赞6 条评论
如何预注册（Pre-register）你的研究？
注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划…查看全文
hcp4715
5 months ago
20 赞0 条评论
Center of Open Science与Open Science Framework
利益相关：本人是COS的Ambassador。简单地介绍一下心理学研究中可重复问题出现之后出现的最主要的机构：Center for Open Science （COS）以及它所构建的用于开放科学的平台…查看全文
hcp4715
6 months ago
11 赞0 条评论
如何公开自己的数据？
前言经过了漫长的数据整理和文章审稿过程，由我主要负责管理的大型公开心理-影像数据库（Southwest Univ…查看全文
Wei Liu
7 months ago
85 赞3 条评论
elife发表关于Reproducibility Project: Cancer Biology的首批结果
昨天，关于可重复性的问题又出现在了Nature的新闻之中。这次的主角，并不是心理学，而是癌症生物学。2015年，当Reproducibilitiy Project: Psychology的结果在science上发表并引起轰动的时…查看全文
hcp4715
7 months ago
46 赞6 条评论
心理学可重复危机简史及专栏共同作者招募！
注1：此文修改自我在自己的一篇博客，对可重复危机进行回顾。注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：Replication in Psychol…查看全文
hcp4715
7 months ago
122 赞34 条评论

{"database":{"Post":{"24775841":{"title":"如何预注册（Pre-register）你的研究？","author":"hcp4715","content":"注：本文意在提供一个简单快速的预注册（Pre-register）的指导，关于预注册的优点，以及大家对预注册存在的担忧，以后再说。 预注册是什么？简单来说，就是在你的实验开始之前把你的研究计划登记在册，坦诚地说明你的计划，避免HARKing (Hypothesizing After the Results are Known)。最近一些学术期刊在推行Registered Reports，就是向杂志提供你的研究计划，杂志方进行第一次审稿（有评审意见），然后如果杂志方表示认可你的计划，接受你的方案，然后你再收集数据，分析，写文章，最后再提交，杂志再来第二次审稿。具体见（<a href=\"https://cos.io/rr/\" class=\"\">https://cos.io/rr/</a>）<img src=\"v2-0de703d40fe147e237cfe74b063947b7.png\" data-rawwidth=\"1347\" data-rawheight=\"298\"> 怎么预注册？首先，选择一个合适的平台。目前，据我所知，有两个比较受到认可的平台：osf v. aspredicted。OSF（open sciene framework），前一篇文章中提到过（<a href=\"https://zhuanlan.zhihu.com/p/25089006\" data-editable=\"true\" data-title=\"Center of Open Science与Open Science Framework\">Center of Open Science与Open Science Framework</a>）。aspredicted(<a href=\"https://aspredicted.org/\" data-editable=\"true\" data-title=\"AsPredicted: Home\" class=\"\">AsPredicted: Home</a>)，这个网站一开始是为了让预注册更加简化、方便，也是不少人的选择。但是现在OSF中提供了多种预注册的方式，所以总体来说，我更推荐OSF。以下说在OSF上如何注册。第二，到OSF注册。注册不难，现在需要.edu的邮箱，另外是需要一个验证，这个验证的网站被墙了，所以注册的时候要在能够越过墙的方式下进来。第三，在OSF的页面，创建一个新的project:<img src=\"v2-0330e1711cff54d76038b6fce64d4fa9.png\" data-rawwidth=\"1465\" data-rawheight=\"372\">这个Project里有不少信息，只填写标题即可创建：<img src=\"v2-e20310808b007da8d844040da39d80a9.png\" data-rawwidth=\"746\" data-rawheight=\"581\"> 创建完了之后，打开这个project的页面后，会发现这个Project里有许多选项和相应的功能，这个是OSF提供给研究者进行数据保存以及合作等的功能。对于预注册来说，很简单，点击Registrations:<img src=\"v2-aee8c1d926f92b4cbd5777a8e2fdb24e.png\" data-rawwidth=\"1510\" data-rawheight=\"900\"> 然后，开始一个新的注册：<img src=\"v2-898a3005394c40ae1bf1938bec2d0fe7.png\" data-rawwidth=\"1209\" data-rawheight=\"304\">然后会发现，有许多种不同的注册方式：<img src=\"v2-49fe005c73cc1d344e32bd4f1fb45ea7.png\" data-rawwidth=\"1125\" data-rawheight=\"715\">点击每个注册方式后，都有相应的说明，大家可以根据自己的需要进行注册。第一个Prereg Challenge是目前COS推荐的方式，这是有奖挑战！如果以这种方式注册之后，会有人来审你的研究设计，并且可能会提出反馈。反馈之后如果有问题，修改实验设计，再提交。没有问题之后，可以开始收集数据。如果最后文章发表到他们认可的杂志上，则可以得到1000美元的奖励。是一个机会。AsPredicted Preregisteration，就是跟AsPredicted网站上一样的方式，只问一些关键的问题，适合于急着要去收集数据的情况。如果是重复实验的话，那就需要选择后面的方式了，Replication Recipe。这个是APS认可的。以下为AsPredicted Preregistration的截图：<img src=\"v2-88f52a2ea668dc60790f2af814f75b59.png\" data-rawwidth=\"1048\" data-rawheight=\"733\"><img src=\"v2-697c9cd5d9fba6a68f282c2a41874270.png\" data-rawwidth=\"1058\" data-rawheight=\"786\"><img src=\"v2-d5b1eb375ddd2882a52cbe40c9da0941.png\" data-rawwidth=\"1105\" data-rawheight=\"751\"> 最后，填写好了之后，会有一个选择：是现在就立刻公开你预注册的研究设计，还是等一段时间再公开(enter embargo)？这个就看你自己的选择了。但记住：注册的目的，最终还是为了公开。<img src=\"v2-fcd2182e3a1d9cc967a0137c0b7638b8.png\" data-rawwidth=\"2312\" data-rawheight=\"666\">希望对大家有帮助！","updated":"2017-03-09T05:39:29.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":20,"state":"published","isLiked":false,"slug":"24775841","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-09T13:39:29+08:00","links":{"comments":"/api/posts/24775841/comments"},"url":"/p/24775841","titleImage":"","summary":"","href":"/api/posts/24775841","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":20},"24792621":{"title":"心理学可重复危机简史及专栏共同作者招募！","author":"hcp4715","content":"注1：此文修改自我在自己的一篇<a href=\"http://huchuanpeng.com/2016/04/09/what-is-replication-crisis/\" data-editable=\"true\" data-title=\"博客\">博客</a>，对可重复危机进行回顾。注2：关于心理学可重复的问题，有一个网站非常好以时间线的方式展现了一些重要的事件，有兴趣可以围观：<a href=\"https://psyborgs.github.io/projects/replication-in-psychology/\" data-editable=\"true\" data-title=\"Replication in Psychology: A Historical Perspective\" class=\"\">Replication in Psychology: A Historical Perspective</a>。注3：利益相关，本人为Center for Open Science的<a href=\"https://cos.io/involved_participate/#tab_1\" data-editable=\"true\" data-title=\"ambassador\" class=\"\">ambassador</a>，有责任宣传加强研究的可重复相关的知识。注4：文章最后招募有兴趣的同行加入本专栏的写作，可以直接拖到最后。最近几年，心理学研究所能够制造的大新闻，大概就是可重复危机了。这个问题已经受到了非常广泛的关注，wiki peida也收录了可重复危机(replication crisis)的<a href=\"https://en.wikipedia.org/wiki/Replication_crisis\" data-editable=\"true\" data-title=\"词条\">词条</a>。可重复性问题到底是从何时开始的？作为一个喜欢追踪文献的博士狗，“有幸”在这个危机开始的时候，围观了一系列在science和nature上被报道而引起广泛关注的事件，在这里把个人所了解的相关事件作一个回顾。事件1：Bem (2011)的预见未来的实验。在这个标题为“Feeling the future”的文章中，已经是知名社会心理学教授的Bem在人格与社会心理学的顶级期刊Journal of Personality and Social Psychology上指出：通过9个实验，包括了1000多名被试，他发现了未来发生的事件，可能会影响到被试当前行为反应。在这个颇具有预见性的讨论中，他讨论了统计方法、可重复性和这种预见未来现象的问题。当然，心理学界的人很快提出了质疑，两个研究小组采用贝叶斯统计对他的数据进行了分析，表明无法从数据中得到这个推断。更加晚一些重复实验也没有发现Bem的这个结果。此时，人们还无法预知，这个事件将成为心理学可重复危机的一部分。science此时也只是用相当平淡的口吻给了一个评论：<a href=\"http://science.sciencemag.org/content/331/6015/272\" data-editable=\"true\" data-title=\"ESP paper rekindles discussion about statistics\" class=\"\">ESP paper rekindles discussion about statistics</a>。事件2：到2011年年末，另一重磅事件，彻底让人们开始反思心理学中方法的严谨性了。这就是Stapel的<a href=\"http://www.guokr.com/article/437083/\" data-editable=\"true\" data-title=\"论文造假事件\">论文造假事件</a>。Stapel本人是荷兰Tilburg University社会心理学的教授，刻板印象方面的专家。2011年4月8号，他在science上发表一篇题为 “Coping with Chaos: How Disordered Contexts Promote Stereotyping and Discrimination”的论文。这对于当时的我来说，实在是太有趣了：凌乱的环境居然会加重人们的刻板印象，太神奇了！对于这种有趣的研究，我很快在心理学与脑科学的论坛52brain.com上进行了<a href=\"http://52brain.com/thread-12960-1-1.html\" data-editable=\"true\" data-title=\"传播\">传播</a>。但是到了2011年11月01日，Nature报道，Stapel的这篇论文涉嫌造假，标题是“<a href=\"http://www.nature.com/news/2011/111101/full/479015a.html\" data-editable=\"true\" data-title=\"Report finds massive fraud at Dutch universities\" class=\"\">Report finds massive fraud at Dutch universities</a>”，而Science也<a href=\"http://science.sciencemag.org/content/334/6060/1202.1\" data-editable=\"true\" data-title=\"撤回了此论文\" class=\"\">撤回了此论文</a>（2011.12.02）。此后，nature 和science都对这个事件进行了持续的关注。Stapel之所以能够被发现是数据造假，是因为他的研究生举报（想想如果没有研究生举报，他会继续作假到什么时候？）。而Tilburg于2012年12月的调查报告显示，在他职业生涯中发表的137篇论文中，有55篇数据完全是捏造的。此外，还包括他指导的10个博士生博士毕业论文中的数据。在另外10篇论文中，当时还无法断定是否有造假行为。Science在报道这个最终报告的时，提出一个事实：整个心理学领域都有无法推脱的责任（<a href=\"http://science.sciencemag.org/content/338/6112/1270\" data-editable=\"true\" data-title=\"Final Report on Stapel Also Blames Field As a Whole\" class=\"\">Final Report on Stapel Also Blames Field As a Whole</a>），因为Stapel的55篇数据造假的论文中，审稿过程中完全没有发现问题。而这并不是说审稿的过程是无法发现问题的，因为在2012年，宾大沃顿商学院的Uri Simonsohn通过对Smeesters已经发表的两篇论文结果进行了仔细的检查之后，怀疑作者的数据有问题，随后Smeesters所在的大学对其进行了调查，Smeesters声称自己由于某些客观原因，原始数据丢失，但是其所在大学无法接受他的这个理由，接受了其辞职（见science的<a href=\"http://www.sciencemag.org/content/337/6090/21.short\" data-editable=\"true\" data-title=\"报道\">报道</a>）。事件3：还是回到2011年，Simmons, Nelson, &amp; Simonsohn 在psychological science上发表了一篇名为False-Positive Psychology的论文，在这个论文中，指出了心理学研究中，有一些比较常见的做法会让整个领域的假阳性过高。不过这个文章仅在学术界引起了一些关注，媒体的报道相对较少。也是这一年，Virginia University的Brian Nosek在google group里成立了一个叫做open science framework的讨论组，11月7日发起一个倡议，建议对2008年发表的研究进行大规模的重复，这应该就是后来的Open Science Framework的萌芽。事件4：2012年1月，无法重复的启动研究。在中国的农历尚未到2012年之时，社会心理学的社交网络圈爆发了一个新闻：著名的老年启动效应无法重复出来。记得在哈佛的幸福课（positive psychology）中，讲课的老师就引用过这个研究，让我印象深刻：当大学生看到一系列老年相关的词汇之后，他们走出实验室的速度会变慢，也就是说，变得更像老年人…….。当时我并没有特别在意这个研究。但是2012年1月，开源杂志Plos One发表了Doyen等人一个<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0029081\" data-editable=\"true\" data-title=\"研究\" class=\"\">研究</a>，声称无法重复出这个著名的效应。他们做了两个实验，第一个实验完全重复Bargh等人的实验，第二个则对参与实验的人进行了某种暗示，再现了这个效应。对于这个结果，科普作者Ed Yong进行了<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/01/18/primed-by-expectations--why-a-classic-psychology-experiment-isnt-what-it-seemed/\" data-editable=\"true\" data-title=\"报道\">报道</a>，并且开头引用了心理学教科书中著名的历史安全“<a href=\"https://en.wikipedia.org/wiki/Clever_Hans\" data-editable=\"true\" data-title=\"聪明的汉斯\">聪明的汉斯</a>”的故事，暗示原作者们Bargh等在方法上的严谨性。正常情况下，这种无法重复的原因多种多样，对于批评可能也无需太在意。但是Bargh作为自动化加工(automatic process)方面的权威，面对这个研究和报道，表示非常愤怒，在自己的博客上进行了激烈的反击，对重复实验的作者、发表重复实验的杂志以及报道这个重复实验的科普作者进行抨击，语言比较激烈，后来删除了该博客（可以从<a href=\"http://blogs.discovermagazine.com/neuroskeptic/2012/11/02/john-barghs-transient-and-ephemeral-blogs/#.VwgyaaQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>和<a href=\"http://blogs.discovermagazine.com/notrocketscience/2012/03/10/failed-replication-bargh-psychology-study-doyen/#.VwgyrqQrJhE\" data-editable=\"true\" data-title=\"这里\">这里</a>找到当时其他博客上的一些引用）。正如其他信息的传播一样，客观理性的内容往往很难引起注意，但是充满情绪的内容总是非常广泛地传播，于是Bargh的博客在社会心理学家之间传播开来。Bargh这个博客引起广泛争议的同时，应该说是再次让社会心理学家们感受到了可重复问题的压力。于是一个原本不太受到关注的网站进入了大家的视野，这就是<a href=\"http://psychfiledrawer.org/\" data-editable=\"true\" data-title=\"Now Open for Beta Testing\" class=\"\">psychfiledrawer</a>。这个网站的目的是让心理学家把自己未发表的数据上传，以减少在论文发表中对阳性结果偏爱而阴性结果无法发表的这个问题。原本没有人多少人关注这个网站，但是Bargh事件之后，许多人纷纷把自己重复过的数据上传。更有意思的是，诺贝尔经济学奖得主卡尼曼也站出来说话了。在题为“<a href=\"http://www.nature.com/polopoly_fs/7.6716.1349271308!/suppinfoFile/Kahneman%20Letter.pdf\" data-editable=\"true\" data-title=\"A proposal to deal with questions about priming effects\">A proposal to deal with questions about priming effects</a>”的邮件中，他老人家让社会心理学家解决自己领域的问题。这个邮件内容也有不少的阅读者。事情发展到2012年，越来越多的重复失败结果被曝光，要么是在一些网站上公开数据，要么是在一些学术期刊上发表。而对于Bem预见未来的实验，也有重复实验的<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0033423\" data-editable=\"true\" data-title=\"报告\" class=\"\">报告</a>在plos one上发表出来。Michigan大学Lawrence Sanna辞职，原因是Simonsohn怀疑他的数据有问题，nature进行了<a href=\"http://www.nature.com/news/uncertainty-shrouds-psychologist-s-resignation-1.10968\" data-editable=\"true\" data-title=\"报道\">报道</a>。心理学家也开始讨论怎样的重复才能算是一个合格的重复实验。于是有了提前注册（pre-register）、然后按照注册的方法进行实验，最后来报告结果。perspectives on psychological science上，也有<a href=\"http://pps.sagepub.com/content/7/6/528.short\" data-editable=\"true\" data-title=\"专刊\">专刊</a>来讨论可重复性的问题，这一次非常集中地讨论了与可重复性相关的问题。同样重要的是，2012年，John等人关于可疑研究操作（Questionable Research Practices）的<a href=\"http://pss.sagepub.com/content/23/5/524.abstract\" data-editable=\"true\" data-title=\"调查报告发表\" class=\"\">调查报告发表</a>，心理学家们承认，自己在研究的实践中，一些通常的做法其实是大大地增加了假阳性的概率的。同样是2012年，科普作者Ed Yong回顾了一系列事件之后，认为在社会心理学领域存在着可重复危机，这一报道在nature上以<a href=\"http://www.nature.com/news/replication-studies-bad-copy-1.10634\" data-editable=\"true\" data-title=\"Replication studies: Bad copy\" class=\"\">Replication studies: Bad copy</a>为题，作为新闻发表。直到2013年1月，<a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"Center for Open Science（COS）\" class=\"\">Center for Open Science（COS）</a>正式在Virginia University成立，成为心理学家组成的非政府组织来应对这次可重复危机。COS整合了在此之前已经搭建的开放科学框架的平台（<a href=\"http://osf.io/\" data-editable=\"true\" data-title=\"open science framework\" class=\"\">open science framework</a>），开始组织全世界的心理学家进行联合的大规模重复实验。这一年，perspectives on psychological science再次组织<a href=\"http://pps.sagepub.com/content/8/4.toc\" data-editable=\"true\" data-title=\"特刊\">特刊</a>讨论了可重复性以及一些实验方法上的问题。这一期中，Lebel将<a href=\"http://psychdisclosure.org/\" data-editable=\"true\" data-title=\"PsychDisclosure.org\">PsychDisclosure.org</a>推出，提出了研究者要完整报告自己研究的方法部分的要求。2014年，关于重复实验应该如何做，研究者们基本上有一些共识，许多杂志开始鼓励提前注册的重复实验或者提前注册。osf进一步完整，成为一个可以公开注册研究和分享数据的平台。Journal of Experimental Social Psychology上，发表了题为<a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a>的文章。这一年，在social psychology这个杂志<a href=\"http://econtent.hogrefe.com/toc/zsp/45/3\" data-editable=\"true\" data-title=\"5月的一期中\">5月的一期中</a>，也发表了一系列经过提前注册过的重复研究，能够重复原先实验结果的并不多。不过一个比较积极的消息是，由Klein等人发表的多实验室项目（ManyLab）中，对心理学中经典研究的重复，大部分是有结果的。Cumming 也在psychological science上发表了题为<a href=\"http://pss.sagepub.com/content/25/1/7\" data-editable=\"true\" data-title=\"The New Statistics: Why and How\">The New Statistics: Why and How</a>的文章，指出需要在统计方法上进行变革。Psychological science也改变了其审稿的政策，对方法部分不再有字数的限制，开始启用一些强制政策来加强方法部分的严谨性，如要求像Lebel指出的那样报告方法部分四个方面的内容，使用效应量和置信区间等。其他的杂志也有一些相应的调整。不过值得注意的是，2014年5月，剑桥心理学家Schnall在其博客上表达了Social psychology上发表的对她2008年重<a href=\"http://www.psychol.cam.ac.uk/cece/blog\" data-editable=\"true\" data-title=\"复研究的不满\">复研究的不满</a>，认为做重复研究的人是Bully，Dan Gilbert也在Twitter上表达了对进行重复研究的人的<a href=\"https://twitter.com/dantgilbert/status/470199929626193921\" data-editable=\"true\" data-title=\"愤怒\" class=\"\">愤怒</a>。平心而论，热衷于做重复实验的人，确实在对原研究的态度上不太好，在facebook和twiiter上有许多嘲讽。2014年，绍兴文理学院的陈巍博士在《心理技术与应用》杂志上发表了《可重复性:盘旋在具身认知实验室上方的“幽灵”》一文，介绍了在具身认知领域方面可重复性的问题。2015年，最大的事件就是COS于2013年组织的大规模重复实验的<a href=\"http://science.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"结果得以发表\">结果得以发表</a>，许多人期待的结果在Science上发表，其结论是对100项研究的重复，大约39%能够重复出来（根据对重复的标准不同，这个比例有一点变化）。这个研究的结果有大量的数据在osf.io上共享，供研究者去挖掘，而确实也有不少研究者利用这些数据进行了后续的分析。还有一些其他的重复报告也发现先前的一些效应无法重复，如<a href=\"http://psycnet.apa.org/journals/emo/15/1/109/\" data-editable=\"true\" data-title=\"孤独会让人洗热水澡的重复\" class=\"\">孤独会让人洗热水澡的重复</a>、<a href=\"http://pss.sagepub.com/content/early/2015/03/30/0956797614553946.extract\" data-editable=\"true\" data-title=\"权力姿势(power pose\">权力姿势(power pose</a> 。许多人以为，可重复危机基本上就已经确定了，心理学要开始进行艰苦卓绝的方法变革，来提高本领域研究的可重复性了。2015年，温州大学教师教育学院仲晓波老师在&lt;心理科学&gt;上发表了〈心理学实验的可重复性〉，对心理学的可重复性问题从统计角度进行了比较深入的介绍。2016年3月，<a href=\"http://science.sciencemag.org/content/sci/351/6277/1037.2.full.pdf\" data-editable=\"true\" data-title=\"Science上的一个评论\" class=\"\">Science上的一个评论</a>再次引起争议，Gilbert等人分析了COS大规模重复实验的数据，认为三个方面的错误使得他们的不足以得到心理学研究的可重复率只有39%的结论。这一评论再次激起了Nosek等人的<a href=\"http://science.sciencemag.org/content/351/6277/1037.3\" data-editable=\"true\" data-title=\"回应\">回应</a>、博客上的论战以及媒体的报道。然而，这些评论与争议，也无法改变另一个非常著名的心理学效应在重复实验前的倒下：自我损耗（ego-depletion）的重复实验也<a href=\"http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0147770\" data-editable=\"true\" data-title=\"未能重复出其效应\">未能重复出其效应</a>，而<a href=\"http://www.ncbi.nlm.nih.gov/pubmed/26076043\" data-editable=\"true\" data-title=\"元分析\">元分析</a>也显示了相似的结果。这个失败让笼罩在心理学家头上的乌云更加密布，因为这个理论非常符合直觉，大量的心理学家投入时间和精力研究这个问题，大量的研究经费投入在这个问题的研究之中。不是一个人的问题，而是一群人的问题！ 当然，2016年，Methodological terrorism的引发的争议也是最火爆的，见我上一篇文章：<a href=\"https://zhuanlan.zhihu.com/p/24728005\" data-editable=\"true\" data-title=\"2016年关于心理学可重复性的主要关注点\" class=\"\">2016年关于心理学可重复性的主要关注点</a>。国内方面，2016年，心理学界的老前辈、北大的朱滢教授在《心理科学进展》上发表题为《“开放科学 数据共享 软件共享”, 你准备好了吗？》的文章，呼吁心理学家重复研究的开放性。聂丹丹与同事在《中国临床心理学杂志》上发表《可重复性:心理学研究不可忽视的实践》，简要地介绍了心理学的可重复危机的相关问题。 我与同事对可重复性问题的详细介绍发表在《心理科学进展》上：<a href=\"https://www.researchgate.net/publication/305766854_xinlixueyanjiudekezhongfuxingwenticongweijidaoqiji\" data-editable=\"true\" data-title=\"心理学研究的可重复性问题：从危机到契机\" class=\"\">心理学研究的可重复性问题：从危机到契机</a>。我们从可重复危机的发展、原因、对策等多个角度对这一危机进行了介绍。同时，我们还报告了我们对国内心理学研究者是否能够正确理解统计指标p值的结果，这个结果是令人震惊但也可以理解的：<img src=\"v2-882a88ae2957f1dd816c0d6aa4ace77e.jpg\" data-rawwidth=\"1653\" data-rawheight=\"991\">在这个文章中，我们也总结了在科研中，相对正确的做法和不正确的做法：<img src=\"v2-778de6c621356bc2c23c3a09ff2b0be5.png\" data-rawwidth=\"1611\" data-rawheight=\"782\">到2016年结束的时候，许多正确的做法在国际上正在成为新的标准。作为中国的研究者，可能需要及时了解这种变化，以及采用新的做法，才能避免在科研中落后。＝＝＝＝＝＝＝＝＝＝＝＝ 招募共同专栏作者分割线 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝作为一名心理学的博士生，我希望有更多的同行一起来宣传相关的知识与技能，共同营造一个开放、透明与可重复的科研气氛。最简单可行的方式之一，就是加入本专栏，作为作者之一，一写分享一些关于加强可重复性相关的知识。我们的在《进展》上的文章虽然不短，但是仍然有许多问题无法涉及，尤其是一些在研究中具体可操作的问题。目前我所想到的包括如下问题：1. 如何进行提前注册（pre-register）? （<a href=\"https://zhuanlan.zhihu.com/p/24775841\" class=\"\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>）2. 如何确定样本量，进行一个有足够统计功效的研究？3. 如何计算效应量及其置信区间？4. 如何使用贝叶斯相关的统计更好地利用数据？5. 如何更有效地对自己进行的多个实验进行元分析，从而对自己研究问题的效应量进行更合理的估计。6. 如何公开自己的数据？ （<a href=\"https://zhuanlan.zhihu.com/p/24974537\" data-editable=\"true\" data-title=\"如何公开自己的数据？ - 知乎专栏\">如何公开自己的数据？ - 知乎专栏</a>）7. 哪些杂志可以发表注册的重复实验？8. 哪些效应已经被大规模的实验重复并且无法重复出来？...如果哪位同行有兴趣写一些相关的文章来介绍这些问题，这将是极好的！或者，如果您其他关于可重复相关的问题，也欢迎您投稿。总之，希望我们能够一起共享这些知识，让开放透明与可重复性的标准能够更多好地普及开来。参考文献Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407-425. doi: 10.1037/a0021524Brandt, M. J., Ijzerman, H., Dijksterhuis, A., Farach, F. J., Geller, J., Giner-Sorolla, R., . . . van ‘t Veer, A. (2014). The Replication Recipe: What makes for a convincing replication? Journal of Experimental Social Psychology, 50(0), 217-224. doi: <a href=\"http://dx.doi.org/10.1016/j.jesp.2013.10.005\" data-editable=\"true\" data-title=\"The Replication Recipe: What makes for a convincing replication?\">The Replication Recipe: What makes for a convincing replication?</a>Doyen, S., Klein, O., Pichon, C.-L., &amp; Cleeremans, A. (2012). Behavioral Priming: It’s All in the Mind, but Whose Mind? PLoS One, 7(1), e29081. doi: 10.1371/journal.pone.0029081John, L. K., Loewenstein, G., &amp; Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524-532. doi: 10.1177/0956797611430953Miller, G. (2011). ESP Paper Rekindles Discussion About Statistics. Science, 331(6015), 272-273. doi: 10.1126/science.331.6015.272Simmons, J. P., Nelson, L. D., &amp; Simonsohn, U. (2011). False-Positive Psychology. Psychological Science, 22(11), 1359-1366. doi: 10.1177/0956797611417632陈巍. (2014). 可重复性:盘旋在具身认知实验室上方的“幽灵”. 心理技术与应用(01), 23-25. 胡传鹏, 王非, 过继成思, 宋梦迪, 隋洁, 彭凯平. (2016). 心理学研究的可重复性问题：从危机到契机. 心理科学进展, 24(9), 1504–1518 doi:10.3724/SP.J.1042.2016.01504聂丹丹, 王浩, 罗蓉. (2016). 可重复性:心理学研究不可忽视的实践. 中国临床心理学杂志(04), 618-622. 仲晓波. (2015). 心理学实验的可重复性. 心理科学(04), 807-812. 朱滢. (2016). “开放科学 数据共享 软件共享”, 你准备好了吗？. 心理科学进展, 24(6), 995–996. doi:10.3724/sp.j.1042.2016.00995","updated":"2017-01-09T08:19:01.000Z","canComment":false,"commentPermission":"anyone","commentCount":34,"likeCount":122,"state":"published","isLiked":false,"slug":"24792621","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-09T16:19:01+08:00","links":{"comments":"/api/posts/24792621/comments"},"url":"/p/24792621","titleImage":"","summary":"","href":"/api/posts/24792621","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":34,"likesCount":122},"24959922":{"title":"elife发表关于Reproducibility Project: Cancer Biology的首批结果","author":"hcp4715","content":"昨天，关于可重复性的问题又出现在了<a href=\"http://www.nature.com/news/cancer-reproducibility-project-releases-first-results-1.21304\" data-editable=\"true\" data-title=\"Nature的新闻\" class=\"\">Nature的新闻</a>之中。这次的主角，并不是心理学，而是癌症生物学。2015年，当Reproducibilitiy Project: Psychology的结果在science上发表并引起轰动的时候，在OSF的网站上，与之并行的还有一个Reproducibility Project，那就是<a href=\"https://osf.io/e81xl/\" data-editable=\"true\" data-title=\"Cancer Biology\">Cancer Biology</a>。这个开始于2014年的项目。发起这个项目的原因之一，可能是由于2012年在Nature发表的一篇文章让人太印象深刻。Begley\t&amp; Ellis (2012)发表了一个评论，标题为：<a href=\"http://www.nature.com/nature/journal/v483/n7391/full/483531a.html\" data-title=\"Drug development: Raise standards for preclinical cancer research\" class=\"\" data-editable=\"true\">Drug development: Raise standards for preclinical cancer research</a>。在这个文章中，他们报告了一个惊人的结果：对53个关于癌症研究的重复实验，只有6个能够确认原来的结论！于是在2014年，一些科学家们决定联合对癌症研究中的一个影响力较大的实验进行重复：<a href=\"http://dx.doi.org/10.7554/eLife.04333\" data-editable=\"true\" data-title=\"An open investigation of the reproducibility of cancer biology research\" class=\"\">An open investigation of the reproducibility of cancer biology research</a>；<a href=\"https://elifesciences.org/content/3/e03981\" data-editable=\"true\" data-title=\"Time to do something about reproducibility\">Time to do something about reproducibility</a>。目前，这个项目在elife这个杂志上有一个专门的页面：<a href=\"https://elifesciences.org/collections/reproducibility-project-cancer-biology\" data-editable=\"true\" data-title=\"eLife\">eLife</a>。癌症生物学的重复项目的首批五个重复实验结果昨天已经在Elife上发表。从这五个发表的研究来看，结果并不是人们想像的重复失败或者成功那么简单。下面这个表格引用自上述的Nature新闻。<img src=\"v2-257e23aa0601478370601a8952fa8bc3.png\" data-rawwidth=\"776\" data-rawheight=\"1127\">从上面的结果来看，5个实验中，两个能够重复出来，一个无法重复，另外两个则得到无法解释的结果。这些结果让一些研究者感叹：<a href=\"http://www.nature.com/news/replication-studies-offer-much-more-than-technical-details-1.21311\" data-editable=\"true\" data-title=\"Replication studies offer much more than technical details\">Replication studies offer much more than technical details</a>。发起这个重复项目的科学家们今天也就此发表了他们的看法。 Brian Nosek: <a href=\"https://elifesciences.org/content/6/e23383\" data-editable=\"true\" data-title=\"Making sense of replications\">Making sense of replications</a>;Elife的Editorial: <a href=\"https://elifesciences.org/content/6/e23693\" class=\"\" data-editable=\"true\" data-title=\"The challenges of replication\">The challenges of replication</a>.这些信息给我的感觉是：在这些重复实验中，进一步暴露了当前科学研究模式的一个很大的不足，即，当无法重复某个实验的结果时，研究者也无法很快判断出这种无法重复的原因是什么。无法找出这些原因，也可能意味着我们对某些问题仍然处于一种无知的状态。","updated":"2017-01-19T14:30:02.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":46,"state":"published","isLiked":false,"slug":"24959922","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-19T22:30:02+08:00","links":{"comments":"/api/posts/24959922/comments"},"url":"/p/24959922","titleImage":"","summary":"","href":"/api/posts/24959922","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":46},"24974537":{"title":"如何公开自己的数据？","author":"liu-wei-54-94","content":" 前言经过了漫长的数据整理和文章审稿过程，由我主要负责管理的大型公开心理-影像数据库（Southwest University Longitudinal Imaging Multimodal (SLIM) Brain\nData Repository）与对应的介绍论文即将在《Scientific Data》上发表。该数据库包括了581名大学生在大学4年期间的3次磁共振记录的大脑数据及其心理行为变量，所耗费的磁共振扫描时间超过1000小时，行为实验时间超过3000小时。（链接在这里：<a href=\"http://fcon_1000.projects.nitrc.org/indi/retro/southwestuni_qiu_index.html\">http://fcon_1000.projects.nitrc.org/indi/retro/southwestuni_qiu_index.html</a>）1000小时的磁共振扫描实验加上3000小时的行为实验耗费了巨大的人力和财力上。为什么我们要公开如此庞大的数据？这其中需要做的工作又有哪些？我将在这篇文章中尽可能的介绍，希望对于也想公开自己研究数据的朋友有所帮助，共同为公开可重复的的研究环境有所贡献。 （1）为什么要公开数据？【1】 \n有效减少在数据采集，数据分析和数据报告中的学术不端行为公开数据（以及研究计划本身）可以有效的减少学术不端行为。最简单的来说：既然可以公开原始数据，基本上说明与之有关的研究的数据并不是伪造的。（心理行为研究的数据其实也比较好伪造，但是基因和影像数据的伪造那就真的是技术活了。。。）再比如说：一些研究者会在数据报告的过程中会选择不报告一些自己不好解释的结果，但是数据一旦公开，网络上的每个人都可以自己探索这个数据库，那么，那些“非期望”的结果将会变得无所遁形。【2】 \n为他人提供教育及研究所需的数据教育方面：我们在学习某些数据分析方法的时候，有时候最头疼的在于没有第一手的数据可以练习。比如我经常听朋友说起，不去开始学习磁共振分析的一个理由就是自己没有数据。随着现在公开的数据库越来越多，能够自由下载的磁共振数据简直是几个硬盘都装不完。研究方面：每个人可以利用公开的数据库发表自己的论文，只需要在致谢里面有所表示就可以了，使得本来需要数十万经费来进行的研究变得只需要电费就可以了。公开数据使得以前相当依赖于资金的研究变得触手可及，去年甚至有利用公开数据库（Human Connectome Project）发表的Science论文。【3】 \n发表论文，获取引用数和国际影响力我在和别的研究者讨论数据共享的时候，有一些人表示：我自己的数据，不留着自己发论文，要给别人用，我图个啥？其实，最直接的来说，可以发表一篇介绍你公开数据库的SCI论文，而且一般来说如果你的数据库足够优质，使用的人多，这篇文章的引用数会比较高，从而给实验室带来的国际影响力加成也是不容忽视的。【4】 \n为自己研究的诚信提供支撑（这一条真是实实在在的好处了。）如果在你投稿的论文里面申明所用的数据都已经公开，大部分时候会给审稿人留下较好的印象。大家会觉得你的研究编造以及滥用数据的可能性比较小，毕竟都大方的把数据都共享出来了，要查你的破绽简直是分分钟的事情。 （2）公开数据的渠道？【1】 \n数据共享平台 一般来说，自己架构数据共享平台难度比较大。（对于行为数据可能还好，对于神经影像，由于原始数据很大，没有专业平台，用户下载会有困难，所以可以使用业内常用的共享平台。 神经科学领域：（1）NeuroMorpho.org ; （2）Functional Connectomes Project\nInternational Neuroimaging Data-Sharing Initiative (FCP/INDI) ; （3）OpenfMRI; \n社会科学领域：（1）Harvard Dataverse ; （2）UK Data Service ReShare ; （3）openICPSR；（4）Open Science Framework 其他领域可以查询NGP集团的推荐，基本所有的科研领域都有对应的数据共享平台 （<a href=\"http://www.nature.com/sdata/policies/repositories\" data-editable=\"true\" data-title=\"Recommended Data Repositories\">Recommended Data Repositories</a>）【2】 \n 期刊 把数据共享以后，如果想发表对应文章同志，可以开始挑选期刊了。比较著名的有Nature Publication Group旗下的Scientific Data以及Elsevier 旗下的Data in Brief。其中Scientific Data 会在2017年收获第一个影响因子，预计不会低于3.0。 （3）具体实施步骤？【1】 \n与数据所有人沟通（通常是导师）首先，我们要做的是和数据的所有人进行沟通，这个人通常是你的导师，或者是实验室的大导师。不要以为是自己收集的数据，所有权就是自己噢，擅自公开的话，导师连杀你的心都有。沟通过程可能会有困难。这个时候，大家不妨少谈理想，多说说公开数据的实际好处。（比如增加国际影响力，增加自己实验室的诚信值等等）【2】 \n按照有关的国际标准整理数据得到了所有人的许可以后，第一个步骤就是整理数据。整理数据第一步就是隐私保护和匿名化。简单来说，需要你从头到尾把自己的数据检查一遍，有没有可能泄露被试隐私的东西。所有可以让第三方追溯到被试身份的信息都需要抹去。比如在磁共振数据中，被试的姓名，年龄，身高，体重等等会自动写入数据的底层，这个时候需要使用专业的软件来抹去这些底层信息。对于磁共振数据还有一个重点就是被试的面部特征也会被记录下来（也就是说，你可以看到被试长什么样子）。这个时候，需要使用特殊的工具抹去扫描的面部信息，防止被试被人认出来。当所有隐私信息都被抹去以后，可以在网络上搜索学界公认的公开数据储存格式和方法。神经影像数据的存储方式可以登录此网站查看<a href=\"http://bids.neuroimaging.io/\" data-editable=\"true\" data-title=\"Brain Imaging Data Structure\">Brain Imaging Data Structure</a>【3】 \n联系数据共享平台进行数据上传和网页设计数据都整理好了以后就可以上传了。这个时候需要和对应的数据平台联系（当然有的是全自动上传），在一个安全稳定快速的网络条件下上传数据。一般遇到了什么问题都是有专人解决的。同时，可以对自己数据库的页面进行一些个性化的设计，包括数据库的logo等等。这个过程一般数据平台可以自动完成，或者有专人协助你。【4】 \n数据库介绍文章的写作和投稿数据库介绍文章的写作和一般的论文写作区别较大，主要包括以下几个重要部分清晰描述：描述数据库的数据包括哪些部分，使用什么工具收集的，对应的任务或者问卷提供相应的参考文献数据结构：主要介绍他人下载的数据包里面的各个文件夹是什么意思，包含哪些文件，文件名使用了简称的，更需要详细说明文件名具体是什么。质量控制：为了让使用者相信你的数据是可靠的，需要报告一些质量控制的指标。比如说问卷的信度，效度，内部一致性；磁共振数据的信噪比，被试头动参数等等。可能用途：如果把自己的数据库当做一个产品的话，这个部分你就要开始销售产品了。可以说说自己的数据库和别人的数据库相比有什么优势，可以用来做什么分析，可能解决的科学问题有哪些。 （4）已公开数据库的维护？【1】 \n与使用者的沟通一般的方式是需要留下管理人员的电子邮箱信息，或者创建一个论坛。这样一来，当用户有使用上的问题时候，可以及时得到反馈和帮助。同时借此可能扩展实验室的外部联系与合作【2】 \n不断完善他人使用所需要的辅助信息通过和用户的沟通，我们可能会意识到有些用户需要的信息，我们并没有在数据共享的时候给出。这个时候，我们需要在网页上定时更新这些信息或者删去有误的信息。","updated":"2017-01-20T14:51:26.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":85,"state":"published","isLiked":false,"slug":"24974537","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-01-20T22:51:26+08:00","links":{"comments":"/api/posts/24974537/comments"},"url":"/p/24974537","titleImage":"https://pic3.zhimg.com/v2-73a76cd7a6aab3445c98769c66a328c6_r.jpg","summary":"","href":"/api/posts/24974537","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":85},"25089006":{"title":"Center of Open Science与Open Science Framework","author":"hcp4715","content":"利益相关：本人是COS的Ambassador。简单地介绍一下心理学研究中可重复问题出现之后出现的最主要的机构：Center for Open Science （COS）以及它所构建的用于开放科学的平台：Open Science Framework。COS: <a href=\"https://cos.io/\" data-editable=\"true\" data-title=\"The Center for Open Science\">The Center for Open Science</a>OSF: <a href=\"https://osf.io\" data-editable=\"true\" data-title=\"OSF | Home\" class=\"\">OSF | Home</a>OSF早于COS创建，最开始的目的是为了联合世界范围内的心理学家来一起重复一些影响力比较大的研究。这帮人一起完成的项目主要是2015年发表在science上的文章（<a href=\"http://www.sciencemag.org/content/349/6251/aac4716.abstract\" data-editable=\"true\" data-title=\"Estimating the reproducibility of psychological science\" class=\"\">Estimating the reproducibility of psychological science</a>）；以及Manylab项目；虽然COS出现在心理学界的可重复性危机之后，但是它现在已经是一个跨学科的组织，有许多在呼吁加强科研界可重复性的重要人物，如生物医学一直在说大部分研究都是假的的John P.A. Ioannidis，Science的前主编Marcia McNutt。 可以看这个网站：<a href=\"https://cos.io/about/board/\" data-editable=\"true\" data-title=\"Our Board\">Our Board</a>或者<a href=\"https://cos.io/about/team/\" data-editable=\"true\" data-title=\"Our Team\">Our Team</a>。COS的目的是increase openness, integrity, and reproducibility of scholarly research。目前它得到了不少基金的支持。<img src=\"v2-e2ebc5134fdbdc04fc11ee6633417b23.jpg\" data-rawwidth=\"1193\" data-rawheight=\"598\"> 目前COS主要在进行三方面的工作：<img src=\"v2-6741279e483f54d5459a6d77f691ec5d.jpg\" data-rawwidth=\"1186\" data-rawheight=\"814\"> Infrastructure，以前主要是OSF，这个是重点，一会再细说；最近COS新增了preprint服务(<a href=\"https://cos.io/our-products/osf-preprints/\" data-editable=\"true\" data-title=\"OSF Preprints\">OSF Preprints</a>)，大家可以把自己已经完成但是尚未发表的工作预印出来，与之相类似的还有biorxriv:, arXiv: ；Metascience，就是把已经做的很多工作集合起来，让大家看到目前的研究到底是什么样的，目前已经初具规模：<a href=\"http://curatescience.org/\" data-editable=\"true\" data-title=\"Curate Science\" class=\"\">Curate Science</a>；Community则主要是在进行组织与扩散，比如它的Ambassador（<a href=\"https://cos.io/our-communities/become-ambassador/\" data-editable=\"true\" data-title=\"Become an Ambassador\" class=\"\">Become an Ambassador</a>），招人在各自所在地宣传与扩散可重复相关的信息；COS最近与一些学术机构开始合作，加强学术机构在科学方面的integrity。OSF，一个用来预注册研究（pre-register）、公开数据与材料以及进行远程合作的网站。这个网站创建之初是为了方便各地的研究者一起合作完成重复实验。但最近已经成为开放科学研究的一个标志性的平台：许多研究的数据和材料都在上面共享。在这个平台上，有两个大型的重复项目：Reproducibility Project: Psychology和Reproducibility Project: Cancer Biology(见先前的介绍：<a href=\"https://zhuanlan.zhihu.com/p/24959922\" data-editable=\"true\" data-title=\"知乎专栏\">知乎专栏</a>)。OSF在促进公开、透明与可重复的科学研究上，起到了很大的作用。目前来说，它的主要特点有如下：第一、提供一个受到认可的预注册平台，研究者可以在上面注册自己想要做什么研究，这些预注册会变成定格，作为当时注册时的一个凭证，用于将来证明自己注册。预注册的研究原则上是必须公开的，但是你可以选择立即公开还是过一段时间之后再公开；第二、提供免费的数据存储空间，自带版本控制。目前好像没有听说在容量方面有限制。许多文件在在这个网站上打开。第三、可以实际多人远程协作。创建一个project之后，可以添加多人作为有限制进行阅读和编辑的合作者，进行修改时会有邮件提醒，适合多人远程的合作。第四、与其他开源的平台无缝结合：比如github。另外，这个网站上也学习到了github的一功能，比如可以关注他人的project，可以直接把他人的项目完整地复制过来(fork)。这个网站对于大陆的用户来说，一个缺点是注册时的验证码好像被qiang掉了，所以必须开户科学上网的模式才能注册。另外好像也比较慢。","updated":"2017-02-04T20:02:33.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":11,"state":"published","isLiked":false,"slug":"25089006","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-02-05T04:02:33+08:00","links":{"comments":"/api/posts/25089006/comments"},"url":"/p/25089006","titleImage":"https://pic2.zhimg.com/v2-6741279e483f54d5459a6d77f691ec5d_r.jpg","summary":"","href":"/api/posts/25089006","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":11},"25772914":{"title":"如何做可复制的(reproducible)[心理学]研究","author":"hcp4715","content":"注1：本文提供一个极简略的说明，因为每一个步骤之下，都可能有非常多的细节，不做不知道，做的时候，能够通过google等手段找到相应的解决方案。注2：本文参考了Rogers Peng的博客：<a href=\"http://simplystatistics.org/2015/12/11/instead-of-research-on-reproducibility-just-do-reproducible-research/\" data-title=\"Instead of research on reproducibility, just do reproducible research\" class=\"\" data-editable=\"true\">Instead of research on reproducibility, just do reproducible research</a>。注3：本文使用可复制这个狭义的概念，仅指数据分析的可重复性，即其他研究者拿到你的数据，使用你描述的方法，能够得到与你一致的结果。第一步，使用代码而点击软件的按钮分析数据。不管使用什么统计分析软件，尽量使用代码来进行分析（SPSS也可以）；推荐使用<a href=\"https://cran.r-project.org/\" data-editable=\"true\" data-title=\"R\">R</a>+<a href=\"https://www.rstudio.com/\" data-title=\"Rstudio\" class=\"\" data-editable=\"true\">Rstudio</a>第二，使用<a href=\"https://github.com/\" data-editable=\"true\" data-title=\"github\">github</a>或 <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>进行版本控制； 第三，使用<a href=\"rmarkdown.rstudio.com/\" data-editable=\"true\" data-title=\"Rmarkdown\">Rmarkdown</a>或者iPython notebooks来进行你的分析；第四，写完文章之后，放到<a href=\"https://arxiv.org/\" data-editable=\"true\" data-title=\"arxiv\">arxiv</a>, <a href=\"http://biorxiv.org/\" data-editable=\"true\" data-title=\"biorxiv\" class=\"\">biorxiv</a>或者<a href=\"https://osf.io/preprints/psyarxiv/\" data-editable=\"true\" data-title=\"psychxiv\">psychxiv</a>去，立刻就可以让大家知晓你的结果；第五，将你的代码或者软件开放（放在<a href=\"https://github.com/\" data-title=\"github\" class=\"\" data-editable=\"true\">github</a>, <a href=\"https://bitbucket.org/\" data-title=\"bitbucket\" class=\"\" data-editable=\"true\">bitbucket</a>, 或者<a href=\"https://zhuanlan.zhihu.com/p/25089006\">osf</a>上）；第六，写博客或者在twitter上与其他研究者讨论你的结果。当然，这几点适用于任何的领域，只要把相应的数据分析软件进行替换即可。","updated":"2017-03-15T01:58:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":6,"likeCount":12,"state":"published","isLiked":false,"slug":"25772914","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-15T09:58:40+08:00","links":{"comments":"/api/posts/25772914/comments"},"url":"/p/25772914","titleImage":"","summary":"","href":"/api/posts/25772914","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":12},"25798593":{"title":"Nature开始遵循促进透明公开(TOP)指南","author":"hcp4715","content":"今天Nature杂志的Editoial宣布，在通过一系列旨在增强nature及其子刊上发表研究的可重复政策之后，Nature集团下的期刊正式也开始成为遵循促进透明公开指南（Transparency Openness Promotion Guidelines, TOP）的期刊（<a href=\"http://www.nature.com/news/announcement-transparency-upgrade-for-nature-journals-1.21627\" data-editable=\"true\" data-title=\"Announcement: Transparency upgrade for Nature journals\">Announcement: Transparency upgrade for Nature journals</a>）。什么是TOP？最简单的是看官方的信息：<a href=\"https://cos.io/top\" data-editable=\"true\" data-title=\"TOP Guidelines\">TOP Guidelines</a>。当然，在我们去年在心理学大会的工作坊中，我们对TOP的原则进行过一次总结：<img src=\"v2-0f87367440086e89b242d9e6d493b11a.png\" data-rawwidth=\"914\" data-rawheight=\"762\">英文的总结是Nosek他们在science的<a href=\"http://science.sciencemag.org/content/348/6242/1422\" data-editable=\"true\" data-title=\"论文\">论文</a>中提到的：<img src=\"v2-4c11a39baa770da2363f8974f540255e.png\" data-rawwidth=\"844\" data-rawheight=\"720\"> 此次Nature旗下的杂志也加入TOP指南之下，具有重大的意义。2016年，science杂志已经<a href=\"http://science.sciencemag.org/content/352/6290/1147\" data-editable=\"true\" data-title=\"宣布要按照TOP指南开始增加研究的透明与公开\" class=\"\">宣布要按照TOP指南开始增加研究的透明与公开</a>，而2016年nature表示<a href=\"http://www.nature.com/news/announcement-where-are-the-data-1.20541\" data-editable=\"true\" data-title=\"要加强数据公开的程度却没表示要加入TOP指南的意思\">要加强数据公开的程度却没表示要加入TOP指南的意思</a>。其中一个原因（我个人猜测），可能是因为TOP原则的提出，原本就是science杂志背后的组织AAAS所参与的工作，而nature却没有参与。现在nature的加入，说明透明、公开与可重复的研究已经成为了绝对的主流了。","updated":"2017-03-16T02:14:16.000Z","canComment":false,"commentPermission":"review","commentCount":14,"likeCount":21,"state":"published","isLiked":false,"slug":"25798593","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-16T10:14:16+08:00","links":{"comments":"/api/posts/25798593/comments"},"url":"/p/25798593","titleImage":"","summary":"","href":"/api/posts/25798593","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":14,"likesCount":21},"26042413":{"title":"中国的预印平台：中科院科技论文预发布平台","author":"hcp4715","content":"正如我在<a href=\"https://zhuanlan.zhihu.com/p/25772914\">如何做可复制的(reproducible)[心理学]研究</a>中所提到，做开放和可重复的研究很重要的一步是快速地公开你最新的研究成果，让同行能够获知你（的团队）最近得到了什么有趣的结果。这种未经同行评审（peer review）就发布的论文被称为preprint (预发布或者直译为预印）。预印本在社会科学领域也可能叫做working paper长期以来，preprint只有一家，就是康奈尔大学图书馆（Cornell University Library）支持的<a href=\"https://arxiv.org/\">arXiv</a>，这个平台上主要发布物理、计算机、统计等理科的论文。其实在社会科学领域，也有一个开放存放working paper的平台，叫做：Social Science Research Networks: <a href=\"https://www.ssrn.com/en/\">SSRN</a>。而最近几年，各种原因导致学术界对preprint越来越青睐。与这种日益广泛的认可度相对应，，近两年出现了多家preprint的平台。比如专门用于生物学：biorXiv (<a href=\"http://biorxiv.org/\">the preprint server for Biology</a>)，由著名的冷泉港实验室所支持；又比如，COS这个致力于开放科学的组织（<a href=\"https://zhuanlan.zhihu.com/p/25089006\">见我的介绍</a>），提供了社会科学相关的预印服务，包括心理学、法律、社会学等多个领域：<a href=\"https://osf.io/preprints/\">https://osf.io/preprints/</a>。。而前面提到的SSRN，在不久前被科学出版巨头Elsiver收购，据说有一些问题。令人兴奋的是，最近中科院也开始提供科技论文的Preprint服务（<a href=\"http://www.chinaxiv.org/home.htm\">ChinaXiv</a>，中文名字叫：中国科学院科技论文预发布平台）。这个平台接受中文和英文的论文，并且据说通过审核的速度非常快。所以如果您已经写完准备发表的论文，可以考虑先放在这样一个预发布平台上，让您（的团队）的论文迅速被大家所知晓、阅读、引用。","updated":"2017-03-28T05:52:16.000Z","canComment":false,"commentPermission":"review","commentCount":4,"likeCount":28,"state":"published","isLiked":false,"slug":"26042413","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-03-28T13:52:16+08:00","links":{"comments":"/api/posts/26042413/comments"},"url":"/p/26042413","titleImage":"","summary":"","href":"/api/posts/26042413","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":4,"likesCount":28},"26240816":{"title":"使用Reproducibility Project Psychology的公开数据，发表自己的文章","author":"hcp4715","content":"2012年，200多名心理学研究者通过OSF这个合作平台，联合对2008年发表的100项心理学研究进行了重复。2015年，<a href=\"http://science.sciencemag.org/content/349/6251/aac4716\" data-title=\"这个重复的结果\" class=\"\" data-editable=\"true\">这个重复的结果</a>发表在Science上，让不少人大跌眼镜。<img src=\"v2-18349eb3ecdea58378a7fa79db355509.png\" data-rawwidth=\"1303\" data-rawheight=\"1019\">这个研究的数据也公开在OSF上:<a href=\"https://osf.io/ezcuj/wiki/home/\" data-editable=\"true\" data-title=\"Reproducibility Project: Psychology Wiki\"> Reproducibility Project: Psychology Wiki</a>。由于数据的公开，不少研究者对这批数据进行了分析，并且发表了自己的文章。例如： 使用不同的方法对这批数据进行重新分析的论文： Etz, A., &amp; Vandekerckhove, J. (2016). A bayesian perspective on the reproducibility project: psychology. PLoS One, 11(2), e0149794. doi:10.1371/journal.pone.0149794 Johnson, V. E., Payne, R. D., Wang, T., Asher, A., &amp; Mandal, S. (2016). On the reproducibility of psychological science. Journal of the American Statistical Association. doi:10.1080/01621459.2016.1240079 van Aert, R. C. M., &amp; van Assen, M. A. L. M. (2017). Bayesian evaluation of effect size after replicating an original study. PLoS One, 12(4), e0175302. doi:10.1371/journal.pone.0175302 寻找调节变量的论文： Bench, S. W., Rivera, G. N., Schlegel, R. J., Hicks, J. A., &amp; Lench, H. C. (2017). Does expertise matter in replication? An examination of the reproducibility project: Psychology. Journal of Experimental Social Psychology, 68, 181-184. doi:10.1016/j.jesp.2016.07.003 Van Bavel, J. J., Mende-Siedlecki, P., Brady, W. J., &amp; Reinero, D. A. (2016). Contextual sensitivity in scientific reproducibility. Proceedings of the National Academy of Sciences, 113(23), 6454–6459. doi:10.1073/pnas.1521897113 结合新数据进行研究的论文： Dreber, A., Pfeiffer, T., Almenberg, J., Isaksson, S., Wilson, B., Chen, Y., . . . Johannesson, M. (2015). Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences. doi:10.1073/pnas.1516179112 对这些数据的利用至少说明了一个问题：只要你的想法好，就可以利用公开的数据探索出新的东西。所以，如果你对这个问题有一些有趣的想法，不妨去下载他们的数据来探索探索。","updated":"2017-04-08T01:56:41.000Z","canComment":false,"commentPermission":"anyone","commentCount":2,"likeCount":53,"state":"published","isLiked":false,"slug":"26240816","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-08T09:56:41+08:00","links":{"comments":"/api/posts/26240816/comments"},"url":"/p/26240816","titleImage":"","summary":"","href":"/api/posts/26240816","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":2,"likesCount":53},"26389943":{"title":"预注册你的研究，可能会赢得1000美元奖金","author":"hcp4715","content":"利益相关：本文为是为Center for Open Science（COS）宣传这一旨在鼓励研究者进行提前注册的活动。本人为COS的ambassodor。刚才有朋友提示，中国的研究者无法参加这个挑战，因为中国是美国国务院禁运的国家之一。这确实让人很受打击，这短文且当一个新闻吧。预注册挑战（<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-title=\"Prereg Challenge\" class=\"\" data-editable=\"true\">Prereg Challenge</a>）是Center for Open Science (COS)为了促进科学研究的严谨性而发起的一次公开活动。什么是预注册（pre-register）? 预注册指的是在研究开始之前，即将研究的核心部分进行公开地登记。在心理学的研究中，核心部分包括：研究设计（包括哪些自变量、因变量和控制变量）、研究假设（变量之间的关系是什么？）、预计采用多大的样本量（以及为什么采用这个样本量）、停止收集数据的标准是什么、准备使用何种统计方法、分析过程中使用何种标准排除数据。为什么要进行预注册？预注册的主要作用在区分探索性分析（exploratory）和验证性分析（confirmatory）。探索性分析的目的是为了产生一些新的假设；而验证性分析的目的在于验证先前已经存在的假设是否正确。同一批数据，不能即进行探索分析又进行验证分析（比如在心理测量中，不能使用同一批数据进行探索性因素分析又进行验证性因素分析）。但是在实际的研究中，为了更好地发表结果，研究者往往会把探索性分析当作验证性分析，这就是HARKing（Hypothesize After Results is Known，知道结果之后再提出假设）。HARKing的行为很明显是一种不严谨的做法。但是目前没有很好的办法来判断研究者在论文的手稿中是探索性还是验证性分析。而预注册则正是为了解决这一问题，将研究者在实验前的假设公开注册，实验结束后，其他研究者能够发现哪些是验证性的分析，哪些是需要进一步数据来验证的探索性分析。预注册挑战是什么？这个活动是COS为了鼓励研究者进行预注册的有奖注册活动。这个活动将为1000个研究者/团队提供1000美元的奖励，以鼓励合乎规范的预注册。具体而言，这个活动包括三步：第一、在osf上预注册你的研究计划；第二步，实话研究计划并将其发表在COS认可的学术期刊上；第三步、领取1000美元！预注册你的研究计划，可以参考本专栏先前的文章：<a href=\"https://zhuanlan.zhihu.com/p/24775841\" data-editable=\"true\" data-title=\"如何提前注册（Pre-register）你的研究？ - 知乎专栏\">如何提前注册（Pre-register）你的研究？ - 知乎专栏</a>。与其他的预注册方式不一样的是，参加预注册挑战，有一些关于预注册的具体要求，详情可以参见：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Review Process。比如，为了保证研究的科学性，会有专门的reviewer对你的研究计划进行评审，评审会按照这些标准来进行：<a href=\"https://osf.io/h4ga8/?_ga=1.157659706.1014065710.1492314764\" data-editable=\"true\" data-title=\"OSF | Reviewer_instructions.docx\">OSF | Reviewer_instructions.docx</a>COS认可的期刊，目前已经包括3000多个学术期刊，涵盖了自然科学和社会科学的各个领域，详情可以见这个网页：<a href=\"https://cos.io/our-services/prereg-more-information/\" data-editable=\"true\" data-title=\"More About the Preregistration Challenge\" class=\"\">More About the Preregistration Challenge</a>中的Eligible Journals。COS的这个活动，是科学共同体自发地奖励更为严谨的科研行为。同行们，如果你们近期准备开展新的研究？赶紧加入吧：猛击<a href=\"https://cos.io/prereg/?utm_source=ambassador&amp;utm_medium=email&amp;utm_campaign=prereg-prom\" data-editable=\"true\" data-title=\"这里\" class=\"\">这里</a>。","updated":"2017-04-16T04:18:40.000Z","canComment":false,"commentPermission":"review","commentCount":6,"likeCount":23,"state":"published","isLiked":false,"slug":"26389943","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-16T12:18:40+08:00","links":{"comments":"/api/posts/26389943/comments"},"url":"/p/26389943","titleImage":"","summary":"","href":"/api/posts/26389943","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":6,"likesCount":23},"26569257":{"title":"去R语言会议讲可重复性","author":"hcp4715","content":"R语言会议是统计之都组织关于R的交流会议，感觉目前在中文的R语言圈里影响力不小。今年是R语言会议的第10年，举办的地点在清华大学计学研究中心。报名地址：<a href=\"http://china-r.org/bj2017/\" data-editable=\"true\" data-title=\"第十届中国R会议（北京）\">第十届中国R会议（北京）</a>。 作为一个使用R不久的人，这次斗胆去R语言会议的心理学专场上，与大家交流一下R在加强心理学研究的可重复性中的作用，摘要如下： 自2011年，由于一系列的重复失败事件，可重复性问题成为了心理学界一个持续的热点问题。统计方法严谨性（如过度依赖于p值）和开放性（大量的可疑研究操作）不足是导致心理学研究可重复率过低的重要原因。为了应对心理学中的可重复危机，研究者们倡导使用更加多样的统计方法以及公开透明的研究实践。由于R语言中分析方法的灵活性与开放性，R语言在加强心理学研究的可重复性上可以起到重要作用。首先，R语言能够加强心理学研究中统计的严谨性和统计方法的多样性。由于众多心理学相关的软件包（psych, MBESS, lavaan, BootES, BayesFactor, Metafor等），使用R语言，研究者可以进行多样的统计，避免过度依赖于p值。例如，使用BootES，研究者可以快速地对效应量的置信区间进行估计，使用BayesFactor，研究者可以使用贝叶斯因子来进行统计。其次，R语言能够加强心理学研究中数据分析的公开与透明的程度。与心理学中最常用的SPSS软件相比，R语言代码而非鼠标点击进行数据的预处理以及分析，能够精确地记录数据分析的过程。这对于将数据分析过程透明化具有重大意义。最近，合理使用Rmarkdown的强大功能，能够将数据处理与结果报告结合起来，能够让研究者完全地数据分析与论文撰写无缝结合，例如papaja工具包的出现，可以让研究者直接使用Rmarkdown完成APA格式的文稿写作。正是由于R语言的这些优势，在最近的重复研究中，R语言被广泛地使用。例如，2015，发表在Science上的大规模重复实验中，其数据分析用R完成。<img src=\"v2-af19f3c3bc190d0d88eefd0a505881ff.png\" data-rawwidth=\"618\" data-rawheight=\"197\"> 全部演讲信息：<a href=\"http://china-r.org/bj2017/lectures.html\" data-editable=\"true\" data-title=\"演讲信息\" class=\"\">演讲信息</a>欢迎大家来交流讨论！图片来源：<a href=\"http://china-r.org/img/logo-chinar.png\" data-editable=\"true\" data-title=\"china-r.org 的页面\" class=\"\">http://china-r.org/img/logo-chinar.png</a>","updated":"2017-04-25T11:25:37.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":15,"state":"published","isLiked":false,"slug":"26569257","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-25T19:25:37+08:00","links":{"comments":"/api/posts/26569257/comments"},"url":"/p/26569257","titleImage":"https://pic3.zhimg.com/v2-85b3445834690e882beba31ba9989de2_r.png","summary":"","href":"/api/posts/26569257","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":15},"26595088":{"title":"公开评审与发表后评审","author":"hcp4715","content":"最近Springer撤回107篇肿瘤生物文章，这个消息在国内科研圈应该算是个“大新闻”。对于中国研究者而言，这可能又是一次对学术声誉的打击，而且还不小。于是不少分析这个问题背后的原因，毫无疑问，唯SCI的标准成为众矢之的。当然，也有人关注Spinger作为出版方本身的责任。不过，相对而言，大家对目前学术杂志采用的同行评审（peer review）制度关注较少。在主流的学术杂志中，同行评审往往采用双盲（审稿人不知道在审谁的文章及作者不知道谁在审）或单盲的做法（作者不知道谁在审稿）。这种做法可能会让审稿过程变成“碰运气”：运气好，碰到欣赏自己研究的审稿人，会很顺利；运气不好，碰到了学术对头，则会很难过，被拒得莫名其妙。在这种同行评审制度之下，有人利用编辑对审稿人审查不严的漏洞，伪造审稿人邮箱，让“自己人”来审稿，从而轻松发表文章。这种伪假审稿的做法，对同行评审的制度形成了压力，让学术杂志编辑的责任更加重大（考虑到他们本身可能是一线科研人员，本来就很忙，这无疑会更加加重他们的工作负荷。在同行评审的制度之下，对于科研工作者来说，文章的发表，似乎就意味到达“终点”。只要文章发表了，就是一种成就。但很明显，对于科研来说，发表论文只是为了与同行交流，而不是终点。因此奖励“发表论文”的做法，实际上与科学的本质不相符合。有人也提到，这次被撤稿的作者们，本身可能不会受到多大的追究。也就是说，现行的学术出版制度之下，文章发表之后是难以对其进行评估的。这些问题可能与公开透明的科学有关：第一、评审的意见与过程不透明，即读者不知道谁是编辑，谁是审稿人，评审的意见是否具有水平。第二、发表后其他研究者的意见无法公开地产生影响，这个问题主要表现为：如果一个本身存在缺陷上的文章，在很好的杂志上发表之后（比如science上12年之前心理学的文章），其错误结论可能会影响很广泛，但是小同行对其更加严格的评论却无法修正这种错误的影响。 对于这两个问题，目前有两个与公开透明相关的解决方案，却在科研人员中并未受到广泛支持。针对评审过程与意见不透明的问题，研究者推荐公开评审（Open peer review）。这种做法意味处理文章的编辑和审稿人信息都要公开，同时审稿意见也公开。对于编辑和审稿人而言，公开而不是匿名地评审意味着要对文章负更多的责任（想想PNAS上社会心理学的文章与某位大牛一直被点名），这也许会让他们在处理文章的时候更加谨慎。目前Frontiers系列杂志如Frontiers in Psychology，就开放了编辑与审稿人信息。国内心理学报的审稿意见已经公开。最近，一些心理学的研究者发起了一个关于公开评审的活动，大家可以去支持一下：<a href=\"https://opennessinitiative.org/\" data-editable=\"true\" data-title=\"Supporting the spread of open research practices\" class=\"\">Supporting the spread of open research practices</a>。针对审稿人以外其他研究者意见，有研究者提出了发表后评审（post-publication review）的做法。即先发表文章，再由同行来评审这个文章是否靠谱，是否有价值。这个做法有点类似大家写网络文章之后大家在下面点赞和留言。当然，小同行的评论与点赞才有价值。目前我所了解的采用发表后评审的杂志好像就只明<a href=\"http://peerj.com/\" data-editable=\"true\" data-title=\"PeerJ\">PeerJ</a>和<a href=\"https://f1000research.com/\" class=\"\" data-editable=\"true\" data-title=\"F1000research\">F1000research</a>，欢迎大家补充。 当然，公开评审与发表后评审可能只是对目前学术出版的补充，一个好学术出版的做法可能是：<a href=\"http://andrewgelman.com/2017/04/19/my-proposal-for-jasa/\" data-editable=\"true\" data-title=\"如Andrew Gelman所建议的：\" class=\"\">如Andrew Gelman所建议的：</a><img src=\"v2-a233e88aa9c1a838ddff7c4e45f8f9c5.png\" data-rawwidth=\"754\" data-rawheight=\"186\">","updated":"2017-04-27T10:04:12.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":22,"state":"published","isLiked":false,"slug":"26595088","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-04-27T18:04:12+08:00","links":{"comments":"/api/posts/26595088/comments"},"url":"/p/26595088","titleImage":"","summary":"","href":"/api/posts/26595088","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":22},"26763740":{"title":"Scientific Data上与可重复性相关的数据集","author":"hcp4715","content":"Scientific Data是一个专门用来发表对数据描述的文章，在这个期刊里，有一些文章集是与可重复性相关的：<a href=\"https://www.nature.com/sdata/collections/mri-reproducibility\" data-editable=\"true\" data-title=\"Human Brain MRI Reproducibility\">Human Brain MRI Reproducibility</a> <a href=\"https://www.nature.com/sdata/collections/replicationdata\" data-editable=\"true\" data-title=\"Replication Data\">Replication Data</a> 里面有不少有趣的数据，感兴趣的同学可以去围观。","updated":"2017-05-07T08:46:40.000Z","canComment":false,"commentPermission":"anyone","commentCount":0,"likeCount":8,"state":"published","isLiked":false,"slug":"26763740","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-07T16:46:40+08:00","links":{"comments":"/api/posts/26763740/comments"},"url":"/p/26763740","titleImage":"","summary":"","href":"/api/posts/26763740","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":0,"likesCount":8},"26853983":{"title":"与心理学数据分析相关的R工具包","author":"hcp4715","content":"注：本文在52brain.com上同步发布：<a href=\"http://home.52brain.com/thread-30349-1-1.html\">与心理学数据分析相关的R工具包 - 基础知识库 我爱脑科学－心心水滴论坛 -</a>为下周末的<a href=\"http://china-r.org/bj2017/index.html\">R语言会议</a>热个身，写下自己收集的心理学研究的数据分析相关的R包。R语言做统计已经慢慢成为（国际）心理学的主流了，国内由于盗版SPSS的长期存在，严重阻碍了心理学研究者使用R的步伐。当然，考虑到大部分心理学研究生既怕数学又怕写（简单的）代码（玩笑哈，别太当真），即便在心理学强大的美国，使用R也是一件需要大力去提倡的事情。比如美国心理学会（Association for Psychological Science, APS）针对会员的月刊Observer的三月刊中，就专门推R的使用：<a href=\"http://www.psychologicalscience.org/issue/march-17\">Association for Psychological Science</a>。 我去年上半年在国外交换时，正好时间比较空闲，于是花了大量的时间把自己之前使用SPSS做的分析全部换成了R，慢慢了收集了一些心理学数据分析中能够用到的R包，分享一下，因为好像这些R语言会议上我们不会讲这些包的使用，而主要讲一些R使用的大致方法。欢迎大家补充，一起完善。当然，有许多通用的包在心理学数据分析中也非常重要，比如ggplot2等，在这里就不说了。 Survey Data:psych: personality and psychological research<a href=\"http://personality-project.org/r/psych/\">Personality Project</a> SEM:lavaan: latent variable analysis<a href=\"http://lavaan.ugent.be/\">The lavaan Project</a> OpenMx<a href=\"http://openmx.ssri.psu.edu/\">OpenMx</a> Experimental data (RT)ez: easy way to analyze factorial design data.（hcp:做重复测量方式分析的不二选择）<a href=\"https://cran.r-project.org/web/packages/ez/index.html\">CRAN - Package ez</a> jmv: 这个即有R包也有GUI的软件，适合刚从SPSS转过来的同行<a href=\"https://www.jamovi.org/jmv/\">jmv r package - jamovi</a> trimr: trim reaction times data.<a href=\"https://cran.r-project.org/web/packages/trimr/\">CRAN - Package trimr</a> TOSTER: equivalence test<a href=\"https://cran.r-project.org/web/packages/TOSTER/index.html\">CRAN - Package TOSTER</a> BootES:使用bootstrap的方式计算效应量及其置信区间<a href=\"https://cran.r-project.org/web/packages/bootES/index.html\">https://cran.r-project.org/web/packages/bootES/index.html</a>effsize: calculate Cohen's d and confidence intervals <a href=\"https://cran.r-project.org/web/packages/effsize/index.html\">CRAN - Package effsize</a> compute.es: compute effect size. <a href=\"https://cran.r-project.org/web/packages/compute.es/index.html\">CRAN - Package compute.es</a> lsr: Effect size calculations for ANOVAs <a href=\"https://cran.r-project.org/web/packages/lsr/index.html\">CRAN - Package lsr</a> Linear Mixed-Effects Models lme4: <a href=\"https://cran.r-project.org/web/packages/lme4/index.html\">CRAN - Package lme4</a> nlme: <a href=\"https://cran.r-project.org/web/packages/nlme/index.html\">CRAN - Package nlme</a> multinormial model TreeBUGS: <a href=\"https://cran.r-project.org/web/packages/TreeBUGS/index.html\">CRAN - Package TreeBUGS</a> ex-Gaussian model: retimes:<a href=\"https://cran.r-project.org/web/packages/retimes/index.html\">CRAN - Package retimes</a> Drift Diffusion Model: RWiener: <a href=\"https://cran.r-project.org/web/packages/RWiener/index.html\">CRAN - Package RWiener</a> Meta-analysis:关于使用R做元分析有一个专门的页面：<a href=\"https://cran.r-project.org/web/views/MetaAnalysis.html\">CRAN Task View: Meta-Analysis</a> mvmeta: Multivariate and Univariate Meta-Analysis and Meta-Regression <a href=\"http://cran.r-project.org/web/packages/mvmeta/\">CRAN - Package mvmeta</a> metacor: Meta-analysis of correlation coefficients <a href=\"http://cran.r-project.org/web/packages/metacor/index.html\">CRAN - Package metacor</a> metafor: <a href=\"http://www.metafor-project.org/doku.php\">The metafor Package</a>metaSEM: 用SEM的方法来做元分析。<a href=\"https://cran.r-project.org/web/packages/metaSEM/index.html\">CRAN - Package metaSEM</a> related packages: heplots, BaylorEdPsych Bayesian Stats: BayesFactor：<a href=\"http://bayesfactorpcl.r-forge.r-project.org/\">http://bayesfactorpcl.r-forge.r-project.org/</a> BEST（Bayesian Estimation Supersedes the t-Test）：<a href=\"https://cran.r-project.org/web/packages/BEST/index.html\">CRAN - Package BEST</a> BANOVA <a href=\"https://cran.r-project.org/web/packages/BANOVA/index.html\">CRAN - Package BANOVA</a> BayesMed:<a href=\"https://cran.r-project.org/web/packages/BayesMed/index.html\">CRAN - Package BayesMed</a> Notes on the use of R for psychology experiments and questionnaires by Jonathan Baron <a href=\"http://www.psych.upenn.edu/~baron/rpsych/rpsych.html\">Notes on the use of R for psychology experiments and questionnaires</a> Manuscript preparation papaja：<a href=\"https://github.com/crsh/papaja\">crsh/papaja</a> apaTables： <a href=\"https://cran.r-project.org/web/packages/apaTables/index.html\">CRAN - Package apaTables</a> Check Statistics R package “statcheck”: Extract statistics from articles and recompute values (Epskamp, S., &amp; Nuijten, M. B., 2015) statcheck: Exact statistic from articles and recompute values <a href=\"http://mbnuijten.com/statcheck/\">statcheck</a> Visualization YaRrr: more information than bar graph <a href=\"https://github.com/ndphillips/yarrr\">ndphillips/yarrr</a> 国内其实有一个使用R和开发R包的心理学团队，欢迎大家关注：<a href=\"http://www.psychor.club/\">PsychoR.club</a>。","updated":"2017-05-11T12:58:44.000Z","canComment":false,"commentPermission":"review","commentCount":10,"likeCount":140,"state":"published","isLiked":false,"slug":"26853983","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-05-11T20:58:44+08:00","links":{"comments":"/api/posts/26853983/comments"},"url":"/p/26853983","titleImage":"","summary":"","href":"/api/posts/26853983","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":10,"likesCount":140},"27262140":{"title":"9个认知心理学实验被成功重复","author":"hcp4715","content":"心理学中的可重复危机搞在人心惶惶，似乎对所有的结果都产生了怀疑，但是最近的一项重复研究表明，经典的实验效应还是很稳定的。Erasumus University Rotterdam的Rolf A. Zwaan及其同事最近在PsyArXiv预发布平台上更新了他们最近重复实验的结果。在这个研究中，他们使用Amazon Mechanical Turk来招募实验志愿者，使用Inquisit在线呈现刺激并且收集反应时间，而他们重复的实验，是认知心理学中比较常用实验范式：<img src=\"v2-b96700f344a79338985a46a25058adc7.jpg\" data-rawwidth=\"1743\" data-rawheight=\"3496\"> 这9个认知心理学效应均可以重复，即便重复实验的环境比原实验环境相比不那么好。 当然，这些数据和分析代码都在这里公开了：想练习和观摩可以点这里：<a href=\"https://osf.io/b27fd/\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/b27fd/</a> Zwaan, R., Pecher, D., Paolacci, G., Bouwmeester, S., Verkoeijen, P., Dijkstra, K., &amp; Zeelenberg, R. (2017). Some Psychological Effects Replicate Even Under Potentially Adverse Conditions. PsyArXiv. Retrieved from <a href=\"https://osf.io/preprints/psyarxiv/rbz29\" data-editable=\"true\" data-title=\"osf.io 的页面\">https://osf.io/preprints/psyarxiv/rbz29</a>","updated":"2017-06-06T01:13:57.000Z","canComment":false,"commentPermission":"anyone","commentCount":21,"likeCount":126,"state":"published","isLiked":false,"slug":"27262140","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-06T09:13:57+08:00","links":{"comments":"/api/posts/27262140/comments"},"url":"/p/27262140","titleImage":"","summary":"","href":"/api/posts/27262140","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":21,"likesCount":126},"27518497":{"title":"与浙师大研究生分享可重复性相关的问题","author":"hcp4715","content":"6月14号，受浙江师范大学心理学系主任李新宇博士的邀请，我通过网络与研究生们分享了我对心理学研究中可重复性问题的一些认识。这次分享的主要介绍如下内容：引发心理学对可重复关注的主要事件；导致心理学研究可重复性低的两个主要原因；心理学研究的可重复性现状；国际心理学界提出的解决方案以及我们作为心理学研究工作者应该如何做。这次分享自己的主要感受是：随着时间的推移，可重复性危机是否存在这个问题已经不是关注的重点，重点转向为如何让心理学研究变得更加开放、透明。另外，其实在这个过程中，有非常多的资源可以利用、也有很多合作的机会，这方面其实还挺有意思的。这次远程分享可以算作是COS大使的一部分义务，宣传开放、透明科学。分享的PPT可以在这里下载：<a href=\"https://osf.io/wfzpa/\" data-editable=\"true\" data-title=\"OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx\" class=\"\">OSF | 浙师大_心理学中的重复危机与解决_20170615_hcp.pptx</a>","updated":"2017-06-22T13:58:55.000Z","canComment":false,"commentPermission":"anyone","commentCount":1,"likeCount":18,"state":"published","isLiked":false,"slug":"27518497","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-22T21:58:55+08:00","links":{"comments":"/api/posts/27518497/comments"},"url":"/p/27518497","titleImage":"https://pic2.zhimg.com/v2-5586b2c47a943c45eb05e9eab8c0431d_r.png","summary":"","href":"/api/posts/27518497","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":18},"27589342":{"title":"Mini Meta-analysis或者单个论文中的元分析","author":"hcp4715","content":"今天在北京大学决策与神经经济学博士生研讨会上报告自己的研究时，展示了对自己的系列实验进行的一个元分析。展示结束之后，有同学对我的这个元分析非常感兴趣，问起这个事情来。挺有意思的是，好像大家对这个方法不太熟悉，这里做一个非常简单的介绍。首先，元分析(meta-analysis)，从本质上讲就是采用统计的方法，将多个研究中的数据结果综合起来，从而对研究的效应进行一个量化的总结。元分析最早可能是用来证明吸烟与肺癌之间的关系（应该是出自《The Emperor of All Maladies》，细节记不清楚了，如有错误请指正）。当时烟草企业要极力否认这种关系，而人类研究往往无法进行因果推断，动物研究无法直接用到人类身上，在这种情况下，统计学家们使用元分析的方法综合了各种证据，指出吸烟与肺癌之间的关系是不可否认的，才有了后来烟草包装上的提示。正因为元分析是对研究的量化总结，因为，从某种意义上讲，只要有2个以上的实验/研究，就可以做元分析。在心理学中的可重复性问题受到广泛关注中，La Trobe University的 Geoff Cumming在psychological science上发表了一篇名为《The New Statistics: Why and How》的文章，在这个文章中，专门讲了元分析的知识，并且在给研究的25条建议中，提倡使用元分析：<blockquote>Use small- or large-scale meta-analysis whenever that helps build a cumulative discipline.</blockquote>那么，随后，有一些研究者专门提出了使用小规模的元分析，帮助作者来对自己的研究现象达到一个更加精确的效应量估计。主要有如下： Goh, J. X., Hall, J. A., &amp; Rosenthal, R. (2016). Mini Meta-Analysis of Your Own Studies: Some Arguments on Why and a Primer on How. Social and Personality Psychology Compass, 10(10), 535-549. doi:10.1111/spc3.12267 这个文章的一作是华人，他们提供了一个在线的excel工具，可以使用。 McShane, B. B., &amp; Böckenholt, U. (2017). Single-Paper Meta-Analysis: Benefits for Study Summary, Theory Testing, and Replicability. Journal of Consumer Research, 43(6), 1048-1063. doi:10.1093/jcr/ucw085这个文章也提供了一个在线的工具，直接搜索文章的名字可以找到。 Ueno, T., Fastrich, G. M., &amp; Murayama, K. (2016). Meta-Analysis to Integrate Effect Sizes Within an Article: Possible Misuse and Type I Error Inflation. Journal of Experimental Psychology: General, 145(5), 643-654. doi:10.1037/xge0000159这个文章主要是提供一些使用这种mini meta-analysis的时候要注意的事项。 这里需要提一下另一篇JEPG的文章：Tuk, M. A., Zhang, K., &amp; Sweldens, S. (2015). The propagation of self-control: Self-control in one domain simultaneously improves self-control in other domains. Journal of Experimental Psychology: General, 144(3), 639–354. doi:10.1037/xge0000065这篇文章是JEPG的副主编 Michael Inzlicht处理的，他自己后来说这个审稿过程非常有意义：<a href=\"http://sometimesimwrong.typepad.com/wrong/2015/11/guest-post-a-tale-of-two-papers.html\" data-editable=\"true\" data-title=\"Guest Post: A Tale of Two Papers\">Guest Post: A Tale of Two Papers</a>。我引用了关键的几处：<blockquote>To illustrate, let me tell you the story of two papers I edited. The first paper contained 7 experiments, often with outliers removed and covariates included, and reported effect sizes in the medium to large range all supporting the main hypothesis. The second paper contained 18 experiments, didn’t exclude anyone or add any covariates, and reported small effect sizes that sometimes were contrary to the hypothesis. The first paper found 7 out of 7 significant results; the second paper contained 2 significant effects out of 18.These were not two papers. They were two versions of the same paper.......Despite high marks from reviewers enthralled with the topic, I decided to reject the first paper because of signs of non-robustness. ...I invited the authors to submit this second paper and after a few rounds of revision, the paper was accepted. Their meta-analytic effect, unlike almost all others in the field, is based on a body of data that is not warped by the file drawer. Clearly, we now know that all data warrant independent replication; but to me, these data are trustworthy. </blockquote>所以，如果你有多个研究，有的显著，有的不显著。现在也许你可以考虑做一个元分析来让你的研究更加可靠。如果说非要我提供一些具有可操作性的做法的话，我推荐这个使用R的网页：<a href=\"https://scienceofpsych.wordpress.com/2015/08/07/when-study-1-and-study-2-disagree-practical-recommendations-for-researchers/\" class=\"\" data-editable=\"true\" data-title=\"When Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers\">When Study 1 &amp; Study 2 Disagree: Practical Recommendations for Researchers</a>。","updated":"2017-06-27T14:17:27.000Z","canComment":false,"commentPermission":"anyone","commentCount":3,"likeCount":40,"state":"published","isLiked":false,"slug":"27589342","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-06-27T22:17:27+08:00","links":{"comments":"/api/posts/27589342/comments"},"url":"/p/27589342","titleImage":"","summary":"","href":"/api/posts/27589342","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":3,"likesCount":40},"28050349":{"title":"什么？以后p < .005才是统计上显著！","author":"hcp4715","content":"在twitter上看到一直在推广开放科学的心理学家Brian Nosek的一个tweet：<img src=\"v2-15b4dc30c80b1a2696bf7450a2bf8190.png\" data-rawwidth=\"724\" data-rawheight=\"587\">这个消息可能是一个大新闻，因为点开这个文章一看，72个作者里，有许多在心理学研究方法上经常出现的名字： <img src=\"v2-af1431b30c530bb8d8d75d127a96ee0f.png\" data-rawwidth=\"533\" data-rawheight=\"331\">比如我所知道的：E.-J. Wagenmakers, Christopher Chambers（推pre-register的大牛）, Zoltan Dienes, Ernst Fehr （神经经济学的大牛）, Steve Goodman, Anthony Greenwald （IAT的开发者）, Larry Hedge (Handbook of Meta-analysis的主编)；Scott E. Maxwell （心理学关于统计功效的许多文章是他发的）等等。还有知识分子的主编之一谢宇老师！这72个人在一起想搞的事情就是：当前研究中常用的统计指标p值中，使用.05作为显著性的阈值太不靠谱了，需要更加严格一些，使用.005（粗体是我加的，不是原文）：<blockquote>Results that would currently be called “significant” but do not meet the new threshold should instead be called “suggestive.” While statisticians have known the relative weakness of using p ≈ 0.05 as a threshold for discovery and the proposal to lower it to 0.005 is not new (1, 2), a critical mass of researchers now endorse this change.</blockquote>但是，这个文章也明确说明：对.005这个值的推荐，实际上在对新现象的探索性研究中，以及在零假设显著性检验（NHST）这个方法中。为什么要将显著性的阈值从.05到.005？比如，对于有些研究者来说，这没有意义啊，因为他们可能觉得贝叶斯方法更好（比如Wagenmakers等）。有研究者直接在FB上批评： <img src=\"v2-3e376298ddcc087b4684a670a11e8773.png\" data-rawwidth=\"575\" data-rawheight=\"645\"> 但实际上作者们的考虑是（粗体是我加的，不是原文）：<blockquote>changing the P-value threshold is simple, aligns with the training undertaken by many researchers, and might quickly achieve broad acceptance.</blockquote> 为什么选择.005呢？作者们写下如下两点原因：第一、.005大约与贝叶斯因子的14~26相对应，是比较强的证据；第二、.005在许多研究领域者能够较好地控制假阳性（关于假阳性的控制，可以看这个帖子：<a href=\"https://zhuanlan.zhihu.com/p/23334271\">控制一类错误和二类错误</a>）； 作者们也考虑到了可能的反对声音：<blockquote>The false negative rate would become unacceptably high. ... The proposal does not address multiple hypothesis testing, P-hacking, publication bias, low power, or other biases (e.g., confounding, selective reporting, measurement error), which are arguably the bigger problems. ... The appropriate threshold for statistical significance should be different for different research communities. .... Changing the significance threshold is a distraction from the real solution, which is to replace null hypothesis significance testing (and bright-line thresholds) with more focus on effect sizes and confidence intervals, treating the P-value as a continuous measure, and/or a Bayesian method. ... </blockquote>这些提出的预想的反对声音也止不住研究者有其他的批评，大家可以去这个帖子围观（需要翻*墙）：https://www.facebook.com/groups/853552931365745/permalink/1453935681327464/当然，大家可能最关心的是：以后真的会用.005作为标准吗？这个问题比较难说，但可能Nature human behaviour会采用这个标准。这个新杂志出来后，已经就可重复性的问题发了几篇editorial了，加上这个众多大佬的宣言式的论文，有可能会成为一些比较前卫杂志的新标准。目前这个文章的预印本在这里可以下载（什么是预印本？看这里<a href=\"https://zhuanlan.zhihu.com/p/26042413\">中国的预印平台：ChinaXiv</a>）：<a href=\"https://osf.io/preprints/psyarxiv/mky9j/\">https://osf.io/preprints/psyarxiv/mky9j/</a> 2017.07.23 22:45更新：这个文章目前在facebook和twitter上引起了非常大的争议，一些争议点我慢慢跟进。","updated":"2017-07-22T20:22:20.000Z","canComment":false,"commentPermission":"review","commentCount":44,"likeCount":345,"state":"published","isLiked":false,"slug":"28050349","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-07-23T04:22:20+08:00","links":{"comments":"/api/posts/28050349/comments"},"url":"/p/28050349","titleImage":"","summary":"","href":"/api/posts/28050349","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":44,"likesCount":345},"28335375":{"title":"使用StudySwap、RRR等参与国际合作研究","author":"hcp4715","content":"心理学的可重复性问题已经成为大部分人所接受的事实。在对这个问题的探索和分析中，有过不少有名的大规模国际合作研究。例如，对11个经典心理学实验进行重复的ManyLab项目(Klein et al., 2014. Soc. Psych.)。另一个更有名的是2015年在science上以Open Science Collaboration 之名发表的研究（Open Science Collaboration, 2015），当然还有后续的Manylab项目（Ebersole et al., 2016）。这种跨国的合作项目，正在成为一种新的开展研究的形式，有一些研究者在进行推广。由于本人一直对可重复性问题非常关注，因此也有幸参过两个以Many Lab形式开展的跨国合作。这两个研究均使用问卷为主，研究问题是社会心理学问题。其中第一个项目“<a href=\"https://osf.io/6b289/\">The Human Penguin Project</a>” 已经基本完成，文章正在审稿之中，而借助这个数据，组织这个项目的合作者Hans在Brain &amp; Behavioural Science（BBS）上对一个文章进行评论（见下图）；第二个项目4月份完成了数据收集，正在分析之中。 <img src=\"v2-e5bdcaba0a226e863f38c6796121117a.png\" data-rawwidth=\"925\" data-rawheight=\"524\"> 正好，最近有研究者在推荐这种研究的方式（Randy McCarthy 和Chris Chartier 的<a href=\"http://random-error-social-psychology.blogspot.sg/2017/08/the-benefits-of-crowdsourced-research.html\">博客</a>；Lakens的博客<a href=\"http://daniellakens.blogspot.sg/2017/08/towards-more-collaborative-science-with.html\">博客</a>，需要科学上网）。所以我也在这里推荐国内的研究多（尤其是研究生）多参与这种合作，因为这种方式（对研究生的训练）有如下几个好处：第一，参与和熟悉提前注册(Pre-register)。一般这种公开的研究，均需要提前注册，通过参与这种合作，能够了解提前注册的要求和流程。第二，获得实验材料、实验程序以及数据分析代码。一般这种集体合作，均使用开源的工具来完成整个实验，所以极可能可以获得python代码写成的实验程序和使用R写成的数据分析代码。第三，参与国际合作，了解国际研究的流程，扩展自己的学术关系网络。这一点对于欧美研究者来说不是问题，但是对于国内学者还说还是挺有好处的。第四，参与高水平的研究，提升自身影响。比如，对博士生在读的我来说，名字能出现在BBS上也是一个非常 开心的事情。 此外，对于整个科学界来说，这种集体合作完成的研究相对单个研究小组的研究来说，也有如下优势：第一：提前注册，即在研究之前就已经把研究方案公开，避免了可疑研究操作和p-hacking；第二：多研究组多国研究团队共同完成，具有跨文化的特点，效应是否稳定，一目了然；第三：由于是多个团队完成，所以样本量大，统计效力强；第四：因为已经提前注册，所以收集完数据就会被收录，没有出版偏误，不管是否显著，都报告。第五，避免各个组独立重复造成的过度工作，对于科研界整体来说，实际上节约了很多资源。 那么，如何参与这样的合作？我了解的这样几个途径：第一个是<a href=\"https://osf.io/view/studyswap/\">StudySwap</a>。在这个网站上，你可以看到有哪些研究者正在发起合作研究。同时，你觉得你的研究很需要国际合作，也可以发布你的研究计划，招募合作者！ <img src=\"v2-8271eb8ec4f55229e35ec470c4c113ab.png\" data-rawwidth=\"180\" data-rawheight=\"132\"> 第二个，美国Association for Psychological Science (APS)组织的Registered Replication Reports(<a href=\"https://www.psychologicalscience.org/publications/replication\">RRR</a>)。关注他们是否有新的项目开展。去年12月我参与过一个重复项目，后来因为毕业前事情太多退出了。当时他们是使用python写的实验程序，我觉得是一个很好的机会。另外，就是可以和大牛一起合作，APS的RRR是Daniel Simons组织的，你可能不一定记得这个名字，但是你一定听说过注意盲视（看不见黑猩猩的那个实验）第三个，Psi Chi's Network for International Collaborative Exchange ：<a href=\"https://osf.io/juupx/\">NICE</a>。还有一个目前未宣布的计划：Collabra: Psychology这个新杂志将有一些Nexus的特刊，主要是一个叫做Collections^2的提前注册的研究。 Reference: Ebersole, C. R., Atherton, O. E., Belanger, A. L., Skulborstad, H. M., Allen, J. M., Banks, J. B., . . . Nosek, B. A. (2016). Many Labs 3: Evaluating participant pool quality across the academic semester via replication. Journal of Experimental Social Psychology, 67, 68-82. doi:<a href=\"http://dx.doi.org/10.1016/j.jesp.2015.10.012\">10.1016/j.jesp.2015.10.012</a>Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š., Bernstein, M. J., . . . Nosek, B. A. (2014). Investigating variation in replicability: a “many labs” replication project. Social Psychology, 45(3), 142–152. doi:10.1027/1864-9335/a000178Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), 943. doi:10.1126/science.aac4716","updated":"2017-08-05T13:51:26.000Z","canComment":false,"commentPermission":"review","commentCount":1,"likeCount":20,"state":"published","isLiked":false,"slug":"28335375","isTitleImageFullScreen":false,"rating":"none","sourceUrl":"","publishedTime":"2017-08-05T21:51:26+08:00","links":{"comments":"/api/posts/28335375/comments"},"url":"/p/28335375","titleImage":"","summary":"","href":"/api/posts/28335375","meta":{"previous":null,"next":null},"snapshotUrl":"","commentsCount":1,"likesCount":20},"28435594":{"title":"心理学中目前可以参与的国际合作项目","author":"hcp4715","content":"正如我在上一篇<a href=\"https://zhuanlan.zhihu.com/p/28335375\">文章</a>中提到了的，国内研究者（尤其是研究生）可以通过在线平台来参与国际合作。本文就作为目前正在进行的国际合作项目消息的窗口，会经常更新。为了保证自己不因为更新花太多时间，我尽量保持简洁，也不负责翻译了，因为要参与这个项目的话，肯定还需要大家能够熟练使用英文交流的。 <h2>项目1： The Pipeline Project 2</h2>项目介绍：组织者是Martin Schweinsberg，ESMT Berlin的组织行为学助理教授：<a href=\"https://www.esmt.org/martin-schweinsberg\">Martin Schweinsberg</a>。是第二次进行了。The Pipeline Project 2之前，有一个The Pipeline Project，现在已经发表了2篇文章，一篇是报告其研究结果：<a href=\"http://www.sciencedirect.com/science/article/pii/S0022103115300019\">The pipeline project: Pre-publication independent replications of a single laboratory‘s research pipeline</a>；另一篇是专门描述和分享他们的数据：<a href=\"https://www.nature.com/articles/sdata201682\">Data from a pre-publication independent replication initiative examining ten moral judgement effects</a>。参与方式：<a href=\"https://osf.io/mqkpf/wiki/home/\">pipeline project 2 Wiki</a>。如果发现这个网页上的两个链接找不开，可以看这里：<a href=\"https://osf.io/eh7z8/\">The Pipeline Project 2 Year Two</a>和这里<a href=\"https://osf.io/ks546/\">Pipeline Project 2 Study materials</a>。后面的问题，可以直接跟Martin联系。<h2>项目2：Psi Chi's Network for International Collaborative Exchange (NICE)</h2>项目介绍：The Psi Chi Research Advisory Committee is seeking volunteers (students or faculty) who are interested in developing a network of researchers to collaborate on cross-cultural research projects following a crowdsourcing research model. Please click on the following link (<a href=\"https://docs.google.com/spreadsheets/d/1x0EV-6l5ijI7dgP7dDj9s8BNzG4godkvvdYdnry-LFc/edit?usp=sharing\">https://docs.google.com/spreadsheets/d/1x0EV-6l5ijI7dgP7dDj9s8BNzG4godkvvdYdnry-LFc/edit?usp=sharing</a>) to indicate which area(s) you are interested in becoming involved in and to submit your contact information.You can: 1) volunteer for the planning committee, 2) facilitate coordination among researchers, 3) submit and support research topics, and/or 4) connect with other researchers interested in cross cultural investigations.You can also contact John Edlund, Psi Chi Research Director (<a href=\"mailto:research.director@psichi.org\">research.director@psichi.org</a>) for more information. Importantly, this Psi Chi initiative is open to faculty and student researchers regardless of whether your college or university has a Psi Chi chapter参与方式：<a href=\"https://osf.io/juupx/wiki/home/\">Psi Chi&amp;amp;#x27;s Network for International Collaborative Exchange (NICE) Wiki</a>；或者直接打开介绍中的google文档，把自己的信息加入（我已经加入）；或者给组织者发邮件；<h2>项目3：Many Labs 5 (ML5) replication of Albarracín et al. 2008, Study 7</h2>项目介绍：The current study seeks to revise Albarracín et al.’s (2008) method to test whether expert review and revision can improve replicability of results. Multiple replication teams will then randomly assign participants to the old protocol compared to the new protocol.<blockquote>Albarracín et al. (2008), Study 7, tested whether priming action or inaction goals, vs. no goal, and then satisfying those goals (compared to not satisfying them) would be associated with greater responding on a subsequent cognitive task. It was hypothesized that unsatisfied action and inaction goals would result in greater or lesser responding, respectively, compared to no goal. Results (N = 98) showed the predicted 3 (goal: action, inaction, no goal) x 2 (task type: active vs. inactive) interaction, supporting the hypotheses.</blockquote>参与方式：<a href=\"https://osf.io/beptk/wiki/home/\">Needed: Data collection partners for Many Labs 5 (ML5) replication of Albarracín et al. 2008, Study 7 Wiki</a>","updated":"2017-08-10T06:22:13.000Z","canComment":false,"commentPermission":"review","commentCount":0,"likeCount":17,"state":"published","isLiked":false,"slug":"28435594","isTitleImageFullScreen":false,"rating":"none","titleImage":"","links":{"comments":"/api/posts/28435594/comments"},"topics":[{"url":"https://www.zhihu.com/topic/20085166","id":"20085166","name":"Open Science"},{"url":"https://www.zhihu.com/topic/20085168","id":"20085168","name":"可重复性（reproducibility）"},{"url":"https://www.zhihu.com/topic/20024953","id":"20024953","name":"国际合作"}],"adminClosedComment":false,"href":"/api/posts/28435594","excerptTitle":"","sourceUrl":"","pageCommentsCount":0,"snapshotUrl":"","publishedTime":"2017-08-10T14:22:13+08:00","url":"/p/28435594","summary":"","reviewingCommentsCount":0,"meta":{"previous":null,"next":null},"commentsCount":0,"likesCount":17}},"User":{"hcp4715":{"isFollowed":false,"name":"hcp4715","headline":"热爱科学、热爱大脑、热爱户外运动","avatarUrl":"https://pic3.zhimg.com/fecec00f6_s.jpg","isFollowing":false,"type":"people","slug":"hcp4715","bio":"社会认知神经科学里的搬砖工","hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"description":"热爱科学、热爱大脑、热爱户外运动","profileUrl":"https://www.zhihu.com/people/hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"liu-wei-54-94":{"isFollowed":false,"name":"Wei Liu","headline":"认知神经科学科研狗；人品五五开；爱好乱看文献，看轮子哥带逛和美剧","avatarUrl":"https://pic1.zhimg.com/214ce8ec738234144085a7e16e7dda30_s.jpg","isFollowing":false,"type":"people","slug":"liu-wei-54-94","bio":"PhD student; Cognitive Neuroscience","hash":"8f8c1fd5849ed35191d07415fa4ac17a","uid":29785904381952,"isOrg":false,"description":"认知神经科学科研狗；人品五五开；爱好乱看文献，看轮子哥带逛和美剧","profileUrl":"https://www.zhihu.com/people/liu-wei-54-94","avatar":{"id":"214ce8ec738234144085a7e16e7dda30","template":"https://pic1.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false}},"Comment":{},"favlists":{}},"me":{},"global":{},"columns":{"next":{},"psy-os":{"pins":["28435594"],"followersCount":20723,"creator":{"bio":"社会认知神经科学里的搬砖工","isFollowing":false,"hash":"d8954fe3c18476158f4f9379874c80be","uid":31198994759680,"isOrg":false,"slug":"hcp4715","isFollowed":false,"description":"热爱科学、热爱大脑、热爱户外运动","name":"hcp4715","profileUrl":"https://www.zhihu.com/people/hcp4715","avatar":{"id":"fecec00f6","template":"https://pic3.zhimg.com/{id}_{size}.jpg"},"isOrgWhiteList":false},"topics":[{"url":"https://www.zhihu.com/topic/19884670","id":"19884670","name":"心理学研究方法"},{"url":"https://www.zhihu.com/topic/19551432","id":"19551432","name":"心理学"},{"url":"https://www.zhihu.com/topic/19841766","id":"19841766","name":"心理统计"}],"activateState":"activated","href":"/api/columns/psy-os","acceptSubmission":true,"firstTime":false,"postTopics":[{"postsCount":24,"id":113570,"name":"心理学研究方法"},{"postsCount":14,"id":99306,"name":"心理统计"},{"postsCount":8,"id":181206,"name":"Open Science"},{"postsCount":7,"id":181207,"name":"可重复性（reproducibility）"},{"postsCount":6,"id":404,"name":"心理学"},{"postsCount":3,"id":154747,"name":"开放数据"},{"postsCount":2,"id":9288,"name":"研究方法"},{"postsCount":2,"id":27607,"name":"学术论文"},{"postsCount":2,"id":116933,"name":"科研工具"},{"postsCount":2,"id":67664,"name":"R"},{"postsCount":1,"id":23174,"name":"神经科学"},{"postsCount":1,"id":1362,"name":"癌症"},{"postsCount":1,"id":26499,"name":"学术期刊"},{"postsCount":1,"id":13740,"name":"社会心理学"},{"postsCount":1,"id":4170,"name":"开源"},{"postsCount":1,"id":63708,"name":"大数据"},{"postsCount":1,"id":15317,"name":"认知心理学"},{"postsCount":1,"id":160412,"name":"国际合作"},{"postsCount":1,"id":161276,"name":"中国科研"},{"postsCount":1,"id":2232,"name":"科研"},{"postsCount":1,"id":9781,"name":"中国科学院"}],"pendingName":"","avatar":{"id":"v2-706215a95e610108c1459bbfed2b3f69","template":"https://pic2.zhimg.com/{id}_{size}.png"},"canManage":false,"description":"可重复性问题成为科研中的一个重要问题。本专栏将致力于传播与开放、透明和可重复性科学相关的知识，并提供相关支持，以期能够为促进科学的可重复性做一点点贡献。欢迎志同道合者合作！","pendingTopics":[],"nameCanEditUntil":0,"reason":"","banUntil":0,"slug":"psy-os","name":"Center for Open Science非官方博客","url":"/psy-os","intro":"如何加强研究的透明、公开与可重复性","topicsCanEditUntil":0,"activateAuthorRequested":"none","commentPermission":"anyone","following":false,"postsCount":29,"canPost":false,"FULLINFO":true}},"columnPosts":{"psy-os":{"entity":["28435594","28335375","28050349","27589342","27518497","27262140","26853983","26763740","26595088","26569257","26389943","26240816","26042413","25798593","25772914","24775841","25089006","24974537","24959922","24792621"],"next":{"rel":"next","href":"/api/columns/psy-os/posts?limit=20&offset=20","query":{"limit":"20","offset":"20"}}}},"columnSettings":{"colomnAuthor":[],"uploadAvatarDetails":"","contributeRequests":[],"contributeRequestsTotalCount":0,"inviteAuthor":""},"postComments":{},"postReviewComments":{"comments":[],"newComments":[],"hasMore":true},"favlistsByUser":{},"favlistRelations":{},"promotions":{},"switches":{"couldAddVideo":false},"draft":{"titleImage":"","titleImageSize":{},"isTitleImageFullScreen":false,"canTitleImageFullScreen":false,"title":"","titleImageUploading":false,"error":"","content":"","draftLoading":false,"globalLoading":false,"pendingVideo":{"resource":null,"error":null}},"drafts":{"draftsList":[],"next":{}},"config":{"userNotBindPhoneTipString":{}},"recommendPosts":{"articleRecommendations":[],"columnRecommendations":[]},"env":{"isAppView":false,"appViewConfig":{"content_padding_top":128,"content_padding_bottom":56,"content_padding_left":16,"content_padding_right":16,"title_font_size":22,"body_font_size":16,"is_dark_theme":false,"can_auto_load_image":true,"app_info":"OS=iOS"},"isApp":false},"sys":{}}